Lo stato dell’arte. In Calabria, la valutazione degli effetti delle politiche pubbliche ha finora ricevuto poca attenzione nei processi di attuazione dei piani di sviluppo finanziati con risorse regionali, nazionali e comunitarie. L’implicazione di questa bassa attenzione è che nessuno conosce quale sia stato l’impatto reale di queste azioni. Ciò è vero sia se si considerano misure specifiche, sia se si tengono in considerazione i piani di intervento nella loro complessità. Questa conclusione vale qualsiasi sia la variabile obiettivo che si può prendere in esame per misurare l’impatto di una politica. A livello macroeconomico, nessuno conosce, per esempio, l’impatto sul mercato del lavoro del POR Calabria 2007-2013, così come non si ha traccia di come i fondi strutturali abbiano influenzato il PIL regionale (aggregato e pro-capite). In modo analogo, a livello più disaggregato, non è noto, per esempio, quale possa essere stata l’innovazione addizionale generata dalle imprese che sono state beneficiarie delle azioni attivate nell’ambito del POR Calabria 2007-2013 (Progetto CalabriaInnova e dei Poli di Innovazione) o del PON Ricerca e Competitività 2007-2013.
La sintesi del recente passato. La replica ingegneristico-manageriale che di solito viene formulata a simili argomentazioni è che si tratta di conclusioni forti, azzardate e non rispondenti al vero. E’ una posizione che, tende, in maniera comprensibile, a valorizzare il lavorio istituzionale che si fa nella gestione delle politiche. Lo spirito è condivisibile, ma la sostanza è inequivocabilmente basata su ipotesi e conclusioni del tutto inadeguate. Si afferma, per esempio, che molta informazione che aiuta a capire l’impatto delle politiche è riportata nella documentazione prodotta direttamente o indirettamente dalla Regione Calabria (quando si parla di interventi gestiti su base regionale). Quella documentazione, però, è del tutto inutile ai fini della valutazione, perché è pensata per altri scopi (rendicontazione e controllo). In altre parole, non consentendo di rispondere al quesito di fondo “che cosa sarebbe successo in assenza della politica?”, i rapporti e gli studi della Regione Calabria non forniscono alcuna evidenza empirica sull’impatto socio-economico che è effettivamente ascrivibile ad una specifica politica, ad un progetto o ad un intero piano di intervento. Un esempio aiuta a capire il punto della discussione. Immaginiamo di osservare nel corso del tempo un incremento delle innovazioni di prodotto introdotte dalle imprese calabresi beneficiarie di un intervento (un sussidio; un servizio). Oppure, immaginiamo che aumenti il numero di ricercatori assunti da parte delle imprese che aderiscono ad un programma a supporto dell’occupazione di quei particolari profili professionali. La maggiore innovatività delle imprese e l’incremento occupazionale dei ricercatori non possono essere considerati l’effetto finale dell’aiuto pubblico, poiché possono dipendere da fattori diversi dalla politica quali, per esempio, la presenza di una dinamica naturale degli eventi (la trasformazione osservata si sarebbe potuta verificare comunque), oppure dalle specifiche caratteristiche delle imprese beneficiarie. Poiché questi esempi sono rappresentativi del quadro di riferimento generale di come è stata trattata la valutazione in Calabria, la prima implicazione logica che se ne deduce è che la programmazione e l’implementazione delle politiche avviene senza sapere quanto siano state utili in precedenza. Questa è la prima lezione che si apprende dal passato. Una ragione alla base di questa cattiva pratica è stata la mancanza di obbligatorietà: predisporre un serio piano di valutazione non era richiesto dall’UE e, quindi, realizzarlo non è stato considerato utile. Perché se fosse stato giudicato utile, si sarebbe potuto realizzare anche in assenza di obblighi istituzionali.
L’idea della valutazione nella S3 Calabria. Oggi la Regione Calabria ha iniziato a introdurre nel lessico burocratese il termine “valutazione”. Ne è esempio la 3S Calabria (Smart Specilisation Strategy), ossia il documento che traccia le linee guida delle politiche per l’Innovazione in Calabria per il periodo di programmazione 2014-2020. La sezione 9 dell’S3 (Monitoraggio, valutazione e controllo) dedica un po’ di spazio alla valutazione ex-post. Infatti, l’obiettivo è che “nella costruzione dei piani triennali della ricerca e dell’innovazione, la Struttura di Gestione della S3 definirà anche un piano di valutazioni intermedie e finale … “, laddove la “valutazione sarà basata sulle informazioni raccolte dal sistema di monitoraggio e su indagini specifiche” (pag 181)”. Si tratta, quindi, di un notevole passo in avanti rispetto al passato, perché la Regione Calabria non solo si interroga sul tema, e in diversa reportistica usa il termine “valutazione ex-post”, ma si organizza per perseguire l’obiettivo finale attraverso la messa a punto di un Sistema di Monitoraggio Allargato (“SMA”). Questo SMA, in cui confluiranno, in vario modo, tutte le informazioni necessarie per il monitoraggio e la valutazione delle politiche 2014-2020, sarà alimentato dagli “operatori economici e sociali interessati dalle linee di azione della S3” e dai “i beneficiari e i soggetti attuatori … che parteciperanno al censimento del dato nelle varie fasi attuative di ciascun progetto”. In estrema sintesi, avremo molta informazione che riguarderà unicamente i beneficiari delle politiche e che sarà utilizzata per effettuare la valutazione in itinere del 2018 (pag. 181) e quella ex-post a conclusione del ciclo. Dal documento si apprende anche che la base informativa prevederà la realizzazione di “indagini specifiche” che, presumiamo, riguarderanno dati diversi da quelli inclusi nello SMA. Potremmo dire che chi effettuerà la valutazione disporrà dei dettagli informativi di un Sistema di Monitoraggio Allargato Plus (“SMAP” o, a piacimento, “SMA+”).
Se da un lato si dice molto sullo SMA (come si crea, chi lo alimenta, cosa “contiene”), dall’altro lato è poco chiaro sia il momento di realizzazione delle indagini specifiche sia cosa riguarderanno. Sarebbe interessante sapere se saranno indagini parallele alla realizzazione dello SMA o se si realizzeranno a fine ciclo. Sui contenuti: poiché da pagina 180 a pagina 184 si fa solo riferimento ai beneficiari delle politiche, è ragionevole pensare che le innumerevoli energie mobilitate dalla Struttura di Gestione della S3 per costruire lo SMA, saranno sufficienti per archiviare qualsiasi informazione sulle variabili riguardanti i beneficiari e gli indicatori di monitoraggio. Pertanto, se il target di riferimento di chi ha redatto la S3 sono i beneficiari del sostegno pubblico, allora l’oggetto di queste ”indagini specifiche” rimane oscuro.
Il monitoraggio può tradire. Avremo, quindi, una piattaforma “in grado di restituire tempestivamente dei feedback sull’efficienza e l’efficacia dei processi attuativi connessi alle azione del policy mix” (pag. 81). Nella S3 Calabria sono stati selezionati un set di indicatori di impatto specifico e di risultato, il cui monitoraggio fornirà “una misura della trasformazione in atto” (pag. 182). L’inghippo è proprio qua. Infatti, la teoria della valutazione di impatto non consente di dire che la mera variazione di una variabile di interesse (“trasformazioni in atto”) sia causata da un intervento pubblico. Facciamo un esempio: immaginiamo che “il numero di ricercatori occupati nelle imprese attive nella rete regionale dell’innovazione (Poli e Distretti Tecnologici)” nel settore della BioEdiliza (pagina 186) aumenti da 500 a 1000 unità (i numeri sono casuali). Lo SMA è servito a monitorare la spesa e a “tracciare”le dinamiche di questa specifica variabile su un set specifico di beneficiari (“le imprese della rete dell’innovazione”). Tutto ha funzionato alla perfezione: la tempistica è stata rispettata, la rendicontazione è stata eccelsa, i controlli non hanno ravvisato irregolarità, la spesa è stata certificata. Ora, se prendessimo in prestito l’(ab)uso del termine valutazione fatto finora nella reportistica della Regione Calabria, potremmo essere indotti a esprimere un giudizio altamente positivo sul ruolo dei fondi strutturali utilizzati per finanziare questa specifica misura. L’indicatore di impatto è addirittura raddoppiato e, in assenza di altre informazioni, tesseremmo le lodi alla S3. Tuttavia, per poter misurare l’effettivo impatto della S3 è necessario approfondire l’analisi per capire cosa sarebbe successo in assenza della politica. Poiché si tratta di uno scenario che non possiamo osservare, è necessario costruirlo in laboratorio e, per farlo, occorre fare riferimento a complicati modelli econometrici. L’intuizione, però, è altamente banale: l’effetto sui beneficiari è rappresentato tra ciò che osserviamo (scenario fattuale) e ciò che osserveremmo in assenza dell’intervento (scenario controfattuale). Per costruire il controfattuale è necessario osservare le dinamiche di soggetti simili ai beneficiari, ma esclusi dai regimi di aiuto. Supponiamo, per semplicità, che questo secondo gruppo di imprese faccia registrare un incremento occupazionale da 300 a 600 ricercatori. Che cosa potremmo dire confrontando i due gruppi di imprese? E’ vero che il secondo gruppo, era e rimane, meno innovativo del gruppo dei beneficiari, ma, in assenza di aiuti, ha anch’esso raddoppiato l’occupazione. Da questo esempio – estremo – concludiamo che il gruppo dei beneficiari avrebbe aumentato l’occupazione anche senza S3. In tal caso, la S3 non aggiunge alcunché a quello che osserveremmo in sua assenza. L’addizionalità della spesa comunitaria è pari a zero. E’ un’ipotetica (ma ammissibile) evidenza empirica per sostenere che la S3 sarebbe ad impatto nullo, ossia inutile. E’ stato possibile giungere a questa conclusione perché abbiamo monitorato due gruppi di imprese: quelle beneficiarie e quelle escluse dagli aiuti.
Le cose che si dovrebbero e potrebbero fare. Le potenziali reazioni a questo ragionamento [“abbiamo previsto tutto”, “è nell’agenda delle nostre attività, “la Struttura di Gestione della S3 ha pensato a tutto”] potrebbero basarsi su una riga del paragrafo 9 della S3, ossia che “per la complessità dell’esercizio e per l’indipendenza dell’analisi, le valutazioni saranno realizzate con il supporto di esperti e valutatori indipendenti” (pag. 181). Nella S3, quindi, si prevedono valutazioni a fine periodo che saranno effettuate da valutatori esterni. Non è ben chiaro, però, con quali dati lavorerà il valutatore indipendente, poiché nel documento S3 si fa solo esplicito riferimento al fatto che lo SMA archivierà dati dei beneficiari, mentre non è noto chi, come e quando rileverà le informazioni dei potenziali gruppi di controllo. E’ metodologicamente non corretto prevedere che queste informazioni vengano raccolte dal valutatore esterno a fine ciclo. Un serio piano di valutazione, infatti, prevede che vengano monitorate non solo le dinamiche dei beneficiari degli aiuti, ma anche quelle di coloro che ne sono esclusi, ma che il valutatore utilizzerà nella costruzione del controfattuale. E’ probabile, quindi, che a fine ciclo affideremo l’incarico della valutazione ad una società di consulenza esterna che utilizzerà l’informazione dello SMA, senza, tuttavia, poter costruire attendibili scenari valutativi. Il rischio, pertanto, è che la valutazione ex-post sarà costruita on-the-desk, ossia con un delicato lavorio sui dati dei non beneficiari che il valutatore estrapolerà da fonti ufficiali. Per quanto detto in questa nota, l’unica strategia che potrebbe risolvere il colossale fraintendimento della parola ex-post è di utilizzare le “indagine specifiche” per monitorare le “trasformazioni in atto” di agenti economici esclusi dalle politiche. La proposta, quindi, è che lo SMAP (o SMA+) aggiunga allo SMA l’informazione che manca e che servirà al valutatore per fare un’attenta analisi dell’impatto delle politiche 2014-2020. E’ una proposta di facile implementazione che assegna contenuti alle “indagini specifiche”. Peraltro, questa improcrastinabile ed essenziale attività potrebbe anche essere a bassa spesa per la Regione Calabria, poiché potrebbe essere affidata al numeroso personale in servizio presso una delle tante strutture regionali: al momento attuale, alcuni luoghi preposti potrebbero essere, per esempio, il Nucleo di Valutazione e Verifica degli Investimenti Pubblici, FinCalabra o CalabriaInnova.