Nicoletta Stame. autrice del libro ““La Valutazione Pluralista” Franco Angeli 2016

Il tema della valutazione dell’impatto sociale rappresenta per le associazioni un tema contraddittorio, di fronte al quale reagiscono con aspetti a volte emotivi (la paura di essere giudicati), a volte spazientiti (un altro carico di adempimenti!), a volte ragionevoli (come si fa? Qual è il metodo giusto?). Ne abbiamo parlato con Nicoletta Stame che ha insegnato Valutazione delle Politiche pubbliche all’università “La Sapienza” di Roma  e autrice del libro “La Valutazione Pluralista” (Franco Angeli 2016).

Si può valutare il volontariato ed è utile farlo?
Si può valutare tutto, ed è utile perché è utile la valutazione. Bisogna vedere che cosa vuol dire valutazione di impatto sociale, in particolare, nel non profit, perché c’è confusione in questo ambito. C’è l’idea che valutare significhi misurare cose oggettive, e che ci sono cose che oggettive non sono, ma valutare non vuol dire misurare. Valutare è capire se quello che si sta facendo, per un certo scopo, è fatto bene, al fine di migliorarlo. Quindi l’obiettivo della valutazione è conoscere per migliorare: in qualunque situazione mi trovo, ho bisogno di sapere che cosa sto facendo e se lo sto facendo, se posso migliorarlo. Chi dice di non voler essere valutato, forse ha paura che si scopra che non lavora bene, e chi pensa di non poter essere valutato lo pensa perché sa che gli altri hanno quel concetto di valutazione, basato sulla misurazione.

Non basta fare un’analisi di quello che si sta facendo?
C’è differenza tra conoscere qualche cosa – fare un’analisi di quello che si sta facendo – e conoscere qualche cosa per migliorare. La valutazione è questo. Io faccio sempre l’esempio della povertà: ci sono tutti gli studi statistici sulle varie forme di povertà, i trend, i soggetti colpiti, l’aspetto educativo… Sappiamo che cosa è e come è fatta la povertà: questa è l’analisi. Ci sono invece dei progetti che vogliono ridurre la povertà in un certo campo o territorio: hanno raggiunto obiettivi? A chi sono serviti? Chi ha imparato da questi progetti? Come possiamo migliorare quella situazione? Questa è la valutazione: è un’analisi di un progetto o di un’azione, allo scopo di ottimizzarli e conoscere quali risultati sono stati ottenuti. E quindi si pone il problema di quale tipo di risultati si possono raggiungere. Infatti spesso si fa confusione tra i risultati a breve, medio e lungo periodo, ossia tra output, outcome e impatto. Il problema è la confusione tra impatto e outcome, perché l’impatto per definizione è l’effetto a lunga scadenza. Per esempio: io oggi faccio un progetto, mettiamo, per gli anziani: il risultato è che il progetto l’ho fatto, gli anziani stanno meglio, e questo è l’outcome (è cambiato qualcosa nella vita di quelle persone). L’impatto invece è l’effetto a lunga scadenza sulla società: la società sta meglio, perché gli anziani sono attivi, c’è meno disuguaglianza eccetera. Questa è la definizione tradizionale di impatto ma, da qualche tempo, l’uso che si fa di questa parola è diverso. Si pensa che l’impatto sia il cambiamento avvenuto in una certa situazione, appena il progetto è stato fatto. Su questa differenza di tempo – breve e lungo – e di spazio – la situazione nella quale si agisce o il contesto sociale più ampio – si arriva alla conclusione che l’impatto sia la misurazione del miglioramento, con la conseguente ricerca di indicatori oggettivi.

Ci sono modelli di valutazione che “funzionano” meglio?
Io sono spaventata quando qualcuno dice “studiamo dei modelli”. Lo SROI (Social return on investment – ritorno sociale sull’investimento – ndr) , ad esempio, è un modello che monetizza tutto, perché basato sul fatto che far fare un certo servizio al volontariato costa di meno di quel che costerebbe se fosse fatto dal Pubblico. Ma noi pensiamo che sia solo una questione di risparmio, o pensiamo che se il volontariato fa un certo servizio riesce a dargli quella qualità che non ci sarebbe, se si seguisse un iter più burocratico, perché entra a capire alcune cose che altrimenti non si darebbero capite, perché ha quella valenza più sociale, di empatia, di comprensione dei bisogni? Tutto questo va analizzato, se l’obiettivo è capire se la situazione è migliorata o no.

Ma come si possono misurare questi risultati qualitativi?
La parola “misurare” implica dei numeri, quindi la quantificazione. Ma certe cose si possono capire descrivendole, analizzando le persone. La cosa importante è occuparsi di quegli aspetti qualitativi del sociale, che noi pensiamo siano la ragione per cui si fa un progetto. Qual è la ragione per cui si fa una certa attività con gli anziani? Chi la fa, lo sa: sa che c’è un bisogno, ha capito che altri non rispondono. Se lo fa solo perché ha ricevuto dei soldi per farlo, allora va bene quel model-lo là. Però, se veramente pensa di stare facendo un servizio utile a delle persone che ne hanno bisogno, perché ha identificato un problema e perché ha le capacità di rispondere ad esso, tutto questo può essere benissimo scritto, raccontato e anche trasformato in indicatori. Però gli indicatori sono l’ultima cosa a cui pensare: alla fine di tutto il ragionamento, posso anche arrivare a formulare un numero, ma se imposto tutto sul numero, non riesco a dimostrare che cosa sto facendo.

Quello che le associazioni temono è che, essendo valutate su un progetto, non otterranno altri finanziamenti, se la valutazione non è soddisfacente.
Ma sono due cose diverse, la valutazione e il controllo. Se lei mi dice: io voglio realizzare un’attività per accogliere gli immigrati, si riferisce ad un concetto complesso: l’accoglienza degli immigrati può implicare dargli da mangiare, da dormire, insegnargli l’italiano, fare in modo che non subiscano attacchi razzisti e tante altre cose. Il finanziatore vuol sapere che cosa ho fatto con quei soldi: è questo il controllo ed è giusto che ci sia. Il problema è un altro: quell’attività, che risultati ha prodotto, in termini di accoglienza? È buona l’accoglienza che avete fatto voi, o è migliore quella che ha fatto un altro gruppo, che sta da un’altra parte, che ha usato metodi diversi? Questa è l’attività di valutazione: troppo spesso ci si accontenta di sapere che i fondi sono stati spesi in modo lecito e non ci si fanno troppe domande su quello che viene dopo. Ma, soprattutto, chi riceve il finanziamento deve volerlo dimostrare, che ha fatto un’accoglienza fatta bene. Però, per farlo, deve elaborare che cosa è accoglienza. Perché è stata fatta un’attività piuttosto che un’altra? Può succedere che avete fatto un contratto e avete detto che volevate prendere 100 persone, poi avete capito che, prendendone solo 80, potevate trattarle molto meglio. Allora dovete dimostrare che, non avendo fatto esattamente quello che era previsto, avete fatto una cosa migliore. Quindi quello che distingue la valutazione è questa tensione al miglioramento e quello che serve, allora, è il “pensare valutativo”. La valutazione non dovrebbe essere una cosa che fa chi ti guarda dall’esterno, ma una processo che nasce dall’interno, da quelli che ragionano su quello che stanno facendo. E che magari si fanno aiutare dall’esterno. È ovvio che chi sta facendo un’attività, non si ferma ogni minuto a pensare e a prendere appunti, però l’elemento di autoriflessione su quello che si sta facendo dovrebbe essere alla base di tutto.

Quindi anche gli indicatori devono essere individuati dall’associazione.
Se dall’interno non viene niente, allora viene dall’esterno. Se gli indicatori sono: quante persone avete preso, quanti pasti avete dato… sono scontati. Se l’indicatore è: sono soddisfatte le persone…?, allora è più complicato, perché bisogna cominciare a definire in cosa potrebbe consistere, la soddisfazione del beneficiario. Certi indicatori sono ovviamente dati dal “sistema”, diciamo così, ma altri no. Per questo si parla di valutazione partecipata, e la prima cosa cui si deve partecipare è proprio questo, ossia decidere quali sono gli aspetti di valore che si vogliono evidenziare.

E gli altri aspetti della valutazione partecipata?
Valutazione partecipata vuol dire che partecipo nel momento in cui decido che cosa voglio andare a guardare per la valutazione, e poi partecipo nel modo in cui la faccio. Per cui, per esempio, chi fa una valutazione partecipata è costantemente in contatto con le persone con cui lavora e cerca di avere la loro valutazione, la loro opinione: è molto di più del questionario fatto alla fine del progetto.

Lei ha detto che non va bene cercare un modello. Ma qualche punto di riferimento serve.
In realtà dipende da che cosa si intende per modello. Se significa che arriva un’agenzia esterna con il suo modellino – che in realtà è fatto di questionari, caselle da riempire – me lo mette davanti e io devo aderire, non va bene, sia perché è un modello generico che non rispetta la specificità dell’associazione e del suo lavoro, sia perché i criteri sono elaborati, appunto, dall’esterno. Come ho detto, il problema invece è quello del pensare valutativo, quindi sono le persone che fanno il progetto che devono avere questa tensione ad autovalutarsi. Le indicazioni metodologiche possono servire, ma l’idea di modello è troppo rigida e i metodi di valutazione devono essere adatti alla situazione in cui si lavora.

Niente SROI, quindi. E l’analisi controfattuale?
Si dice che una buona valutazione di impatto si fa con l’analisi controfattuale, basata sull’idea che posso stabilire che qualche cosa funzioni bene, se la paragono a quello che sarebbe successo se non ci fosse stato quell’intervento. “Controfattuale” vuol dire costruire nella mia mente una situazione in cui quell’intervento non c’è, per poterla paragonare a quella che si è creata dopo che l’ho fatto. Ma non esiste una situazione ferma e una che si muove, perché tutte si muovono. E poi è un confronto che può avvenire solo in situazioni semplici, piccole, brevi, mentre di solito questi interventi si collocano all’interno di situazioni complesse. Quindi può andare bene in certi casi, ma non in altri. Infatti, quando si chiedono esempi di valutazione controfattuale, vengono portati i corsi di formazione: il ragazzo che ha fatto il corso ha ottenuto il lavoro? Lo avrebbe ottenuto anche senza il corso? Sono domande a cui è facile rispondere, ma che tra l’altro fotografano il breve periodo, perché nel lungo molto può cambiare e certi programmi possono avere un risultato nel breve periodo, altri no. Ripeto: gli aspetti metodologici della valutazione si riferiscono alla situazione particolare e si devono scegliere ogni volta.

C’è anche un problema dell’uso che viene fatto di queste valutazioni. Si possono prendere alla lettera? Si possono usare come base per decisioni future?  Ogni valutazione è un giudizio.
Certo. Ma se una cosa va male lo teniamo nascosto? Continuiamo a sprecare soldi? Non è questo l’interesse collettivo. Se uno lavora bene e ha un’idea di cosa è “bene”, e lo dimostra, non deve avere paura di mettersi in discussione, piuttosto bisogna diventare bravi a dimostrare che si sta lavorando bene. In realtà di solito ci si lamenta che le valutazioni non sono usate, nel senso che le decisioni siano prese per motivi politici o clientelari, indipendentemente dai risultati raggiunti. Questa osservazione la fa chi ha fatto una valutazione fatta bene. Bisogna quindi cercare di essere più convincenti, di far conoscere di più le cose, di creare un’opinione pubblica favorevole a quello che si sta facendo. Più le valutazioni sono fatte bene, più è difficile ignorarle.

articolo tratto da
“La lezione. Solidarietà non contabilità. A scuola di valutazione con i prof Zamagni e Stame”
Vdossier numero 2 2019

Analisi e riflessione. Discussione e dibattito su idee, proposte, giudizi, opinioni e commenti. Questa è la missione di Vdossier.