di Alessandro Pozzi, Istituto italiano di Valutazione

La riflessione che si intende proporre in questo capitolo concerne la contestualizzazione delle pratiche di valutazione – e in particolare di valutazione di impatto – in seno alle esperienze progettuali sviluppate secondo logiche di coprogettazione.
La coprogettazione rappresenta una modalità di lavoro congiunto fra pubblico e privato che investe l’intero processo di costruzione di una politica sociale, dalla fase di ideazione a quella di progettazione vera e propria, a quella gestionale e di realizzazione dell’intervento (De Ambrogio, Guidetti, 2016). All’interno di questo processo, la valutazione riveste un ruolo di primo piano, sia per le sue peculiarità rendicontative (necessità pratica e deontologica di rendere conto alla collettività dei risultati dell’intervento e di come le risorse sono state spese), sia per le sue peculiarità formative (individuare in corso d’opera ciò che non funziona ed ipotizzare soluzioni migliorative), tanto che il tema del “controllo” (esteso a quello più ampio della valutazione) rappresenta uno degli otto pilastri dei modelli di coprogettazione indicati dalla economista premio Nobel Elinor Ostrom nel volume “Governing the Commons: The Evolution of Institutions for Collective Action” (Cambridge University Press, 1990) che ancor oggi viene adottato come modello di riferimento per le prassi di coprogettazione.

Tra le diverse forme di valutazione, quella afferente all’impatto rappresenta la più complessa e di difficile attuazione in quanto connessa alla verifica degli obiettivi generali dei progetti e alla quantificazione dei cambiamenti (nelle modalità di produzione di servizi e, più in generale, nella governance dei sistemi di welfare) che le esperienze di coprogettazione generano nel contesto territoriale in cui sono inserite (Vecchio L., Miglioretti M., Colombo M., 2016). Tali cambiamenti sono per loro natura difficilmente misurabili in quanto presentano forti interdipendenze con fattori esogeni all’azione progettuale, sono di lungo periodo (si manifestano oltre il termine del ciclo di vita del progetto) e sono il più delle volte caratterizzati da un elevato grado di intangibilità. Prevedere la valutazione di impatto comporta dunque una pianificazione delle risorse distribuite in un tempo mediamente più lungo della vita dell’intervento e deve contemplare il ricorso a metodi di ricerca in grado di “isolare” gli effetti del progetto da tutte le variabili esterne che nel frattempo possono aver inciso sul contesto di intervento.

Quel nesso causale fra progetto e cambiamenti
Negli ultimi anni si è fatta strada anche nelle scienze sociali l’idea che sia possibile stabilire con esattezza la sussistenza di un nesso causale tra il progetto (o la politica) attuata ed i cambiamenti osservati, pervenendo all’identificazione del contributo netto del progetto, separato da altri fattori – estranei all’azione – che impattano comunque sui destinatari finali, sulle loro condizioni o comportamenti. In quest’ottica, l’impatto di un progetto può essere definito come la differenza tra ciò che è accaduto a valle della sua realizzazione (situazione fattuale) e ciò che sarebbe accaduto se quella stessa politica non fosse stata realizzata (situazione controfattuale).

La ricostruzione e la successiva misurazione dei cambiamenti intercorsi, può dunque avvenire mediante l’osservazione della situazione contro fattuale, ovvero attraverso la creazione di un gruppo di controllo composto da soggetti molto simili a quelli esposti all’intervento (questi ultimi sono detti collettivamente gruppo sperimentale). Tale separazione ha lo scopo di comprendere se i cambiamenti che si osservano tra i destinatari siano “merito” del progetto (e le risorse ad esso dedicate siano dunque “ben spese”) o non siano piuttosto dovuti a modifiche da ricondursi ad altri fattori contestuali. Nonostante la letteratura consideri il metodo sperimentale quale uno degli approcci più attendibili per valutare gli effetti di una politica pubblica, si registrano nel nostro Paese una scarsità di esperienze valutative che si ispirano a tale approccio.
Tale mancanza è da ricercarsi in ragioni di tipo etico (la disponibilità di campioni di controllo non è scontata, specie in riferimento a target di ricerca sensibili) in difficoltà di ordine tecnico o logistico (le ricerche di tipo sperimentale hanno in genere costi superiori rispetto ad altre tipologie di ricerca valutativa) e, in ultimo, in una cultura valutativa ancora sottodimensionata che spesso inibisce l’investimento di risorse volte a valutare la reale efficacia degli interventi.

Benché dunque il disegno sperimentale sia contemplato con enfasi nella letteratura metodologica e sia suffragato da sperimentazioni condotte in altre realtà (in primis, quella anglosassone) non si può nascondere la sua difficile realizzabilità di fatto quando si lavora nell’ambito delle politiche sociali, ed in particolare quando vi è una corresponsabilità nella gestione degli interventi (come spesso accade nella co-progettazione), le prestazioni sono caratterizzate da una forte componente emotiva e relazionale (si pensi ai progetti di carattere educativo), le modalità di segnalazione e presa in carico sono per lo più informali, la natura dei destinatari è rappresentata da individui con un elevato grado di fragilità o disagio e vi è un’impossibilità (etica e deontologica) di assegnare casualmente gli utenti in due gruppi distinti. Sebbene, dunque, il quadro di realtà che caratterizza gli interventi in co-progettazione dissuada, il più delle volte, dal rigoroso utilizzo di metodologie controfattuali, riteniamo che la ricostruzione – anche quantitativa – del valore aggiunto dell’intervento possa avve nire attraverso una commistione di approcci e metodologie che tengano conto sia della dimensione più positivista-sperimentale della valutazione (Rossi P., Freeman H., 1982), che consentono ovvero di verificare e misurare il raggiungimento degli obiettivi, sia di quella più costruttivista (Fetterman, 2001), in grado cioè di ricostruire i cambiamenti in corso d’opera e rendere visibili la produzione di valore per le persone, le organizzazioni e la comunità in genere.

Il Quadro logico di progetto
Sul primo versante, uno degli strumenti che forse più di altri costringe la rete di partner a ragionare per obiettivi e risultati attesi, è rappresentato dal Quadro Logico di progetto. Il Quadro Logico (in inglese logical framework o logframe) è uno strumento fondamentale del project management. In sede di ideazione, il suo utilizzo consente di sintetizzare in un’unica matrice tutta la struttura dell’iniziativa che si intende realizzare.

La prima colonna del Quadro Logico identifica la logica dell’intervento, ovvero l’insieme di obiettivi (generali e specifici), risultati e attività che – a diversi livelli – illustrano la ragion d’essere del progetto e ne riassumono la strategia operativa. Per ciascuna azione vengono inoltre identificati degli indicatori (di realizzazione) che consentono la quantificazione delle attività previste, così come per ciascun obiettivo specifico vengono individuati degli indicatori di risultato (di output). A livello più generale, anche all’obiettivo (o agli obiettivi) generale corrispondono degli indicatori di outcome, che si propongono di misurare l’impatto dell’intervento nel medio-lungo periodo.
Per ciascuno di questi parametri vengono identificati dei valori di sufficienza attesi che potranno essere utilizzati in sede di monitoraggio come soglie di allerta, il superamento dei quali darà origine a misure di auto-correzione. Mentre gli indicatori di realizzazione, fortemente ancorati alle attività che il progetto si propone di realizzare, e gli indicatori di risultato, ancorati invece all’esito di tali azioni e all’effetto da queste prodotte, sono di per sé facilmente identificabili, la costruzione degli indicatori di impatto (outcome) può risultare più difficoltosa. Questo perché, come osservato in premessa, gli obiettivi generali sono per loro natura meno definiti rispetto agli obiettivi specifici, sono di lungo periodo (si manifestano dopo il termine del progetto) e sono caratterizzati da forti interdipendenze con fattori esogeni all’azione progettuale.

Gli indicatori di impatto
In una prospettiva di co-progettazione, anche la costruzione degli indicatori di impatto richiede la partecipazione attiva dei partner, che saranno chiamati ad interrogarsi su quali evidenze -meglio di altresono in grado di esprimere e attestare un effettivo cambiamento nel contesto sociale in cui il progetto interviene (“cosa ci consente di dire che il progetto ha raggiunto i suoi obiettivi?”, “Quali evidenze dobbiamo considerare per poter dire che l’intervento è stato efficace?”).

Vi sono, a tal riguardo, alcune tecniche di esplicitazione che possono favorire l’emersione di un pensiero comune attorno all’impatto di un progetto. Tra queste, una tecnica di certificata efficacia è rappresentata dalla Scala delle Priorità Obbligate (SPO) che consente di gerarchizzare, attribuendone un valore ordinale, gli indicatori contenuti in un paniere precedentemente selezionato tramite lo strumento del brainstorming o del gruppo nominale (Bezzi, Baldrini, 2006). Una volta individuati gli indicatori di outcome e i relativi valori attesi, e inseriti questi all’interno del Quadro Logico, sarà necessario prevedere un loro monitoraggio periodico, con l’intento di favorire una comparazione longitudinale dello stato di avanzamento delle attività, ed ipotizzare altresì che la rilevazione possa seguire la conclusione delle attività per un periodo medio-lungo (ad esempio un biennio), in quanto è questo il lasso di tempo necessario per poter osservare dei cambiamenti significativi sul contesto. In questo quadro, l’impiego del Logical Framework ed il suo aggiornamento periodico rappresenta un supporto fondamentale per il monitoraggio del progetto, così come la sua rilettura al termine del ciclo di vita dell’intervento favorisce la ricostruzione dell’impatto, nella misura in cui i dati – inseriti in una logica di tipo interpretativo – consentono l’attribuzione di valore ad uno specifico evaluando (Stame, 1998).

L’esclusivo impiego di approcci basati sulla verifica di conformità tra quanto inizialmente progettato e quanto effettivamente realizzato (ovvero centrati prevalentemente sul delivery system e con un’opzione generale a favore del quantitativo), rischia però di essere poco funzionale alla misurazione dell’impatto degli interventi sviluppati secondo logiche di co-progettazione che, per loro natura, non sono “oggetti fissi e immodificabili” bensì processi che costruiscono progressivamente opzioni, possibilità e percorsi di cambiamento differenti. Una strategia che consente di ricostruire lo stato di attuazione degli obiettivi del progetto, valorizzando altresì “le innovazioni, gli adattamenti in corso d’opera e le soluzioni individuate” (Lichtner, 1999) è quella di accostare la verifica del Quadro Logico con strumenti in grado di approfondire i cambiamenti che intercorrono nel contesto, grazie all’attuazione del progetto.

Una tecnica che ben si adatta a questo scopo è la Most Significant Change, sviluppata da Rick Davies e Jess Dart all’inizio degli anni Duemila per la valutazione di progetti complessi, in particolare nell’ambito della cooperazione internazionale (Davies & Dart, 2005). La Most Significann Change (MSC) è una forma partecipativa di valutazione che consiste nella raccolta di storie di cambiamenti significativi da parte dei soggetti che sono stati coinvolti nel programma. La MSC si basa sul principio che le narrazioni (scritte e orali) prodotte dai soggetti che vivono il territorio in cui insiste l’intervento (si pensi ad un quartiere, ad una piccola città, ma anche ad una scuola, una struttura residenziale) rappresentano una risorsa importante per l’identificazione dei cambiamenti – previsti e imprevisti – apportati dal progetto, ma anche un potente strumento per apprezzare l’evoluzione – sociale, culturale, economica – che ne è derivata.

La raccolta delle testimonianze
La raccolta delle narrazioni avviene attraverso l’impiego di metodi partecipativi di osservazione diretta (interviste, storytelling, diari di bordo, delphi group) che consentono la raccolta delle testimonianze dei diversi gruppi di beneficiari (Stame, Lo Presti, 2013). È in questa logica che amministratori, operatori dei servizi, insegnanti, ma anche semplici cittadini, possono essere sollecitati a raccontare la propria esperienza, narrare eventi significativi che li hanno visti coinvolti e riflettere attorno ai cambiamenti apportati dall’intervento.

Una volta che le storie sono state raccolte, esse vengono valutate e selezionate da un ulteriore gruppo di stakeholder a vario titolo interessati ai risultati della rilevazione (quali, ad esempio, i rappresentanti dei diversi partner) con l’intento di ricostruire gli outcome che possono essere considerati più rilevanti, cercando altresì di approfondire come e perché si sono prodotti. L’obiettivo è pervenire alla definizione di un congruo numero di storie in grado di far emergere i risultati (positivi o negativi) conseguiti dal progetto.

La proposta di calibrare la misurazione dell’impatto, affiancando la costruzione di indicatori di outcome all’impiego di approcci più marcatamente qualitativi, nasce dalla constatazione che le finalità che la valutazione intende perseguire si focalizzano sulla necessità di definire e analizzare una serie di elementi causali rispetto all’efficacia e all’impatto delle esperienze di coprogettazione. In tal senso, la riflessione che emerge dall’impiego di metodi qualitativi (come la MSC) favorisce uno scambio aperto e interattivo con i beneficiari dell’intervento e consente un approfondimento dei loro livelli di interpretazione soggettiva, nell’ambito di un approccio di tipo costruttivista, che tende a valorizzare il potenziale partecipativo, dialogico e riflessivo della valutazione.

(Tratto da numero 3 di Vdossier anno 2016)