Alzi la mano chi non ha mai ricevuto una valutazione di un progetto con un errore del valutatore.
Purtroppo i giudizi dei valutatori sono di fatto inappellabili, e dopo aver perso settimane a costruire e scrivere un buon progetto vedersi contestare un errore inesistente fa male. In alcuni casi la penalizzazione assegnata al progetto per l’errore inesistente ne comporta il non finanziamento.
I valutatori sono esseri umani, e come tali portati a sbagliare.
Spesso lavorano in fretta, su temi che conoscono poco e con scarsa supervisione.
EACEA e le Agenzie Nazionali dovrebbero selezionarli meglio, far loro una migliore supervisione e allontanare quelli che lavorano male, dando la possibilità ai soggetti presentatori di segnalare errori di valutazione e, perché no, rimediare a quelli più gravi rivedendo le graduatorie dei progetti approvati.
In particolare, il progetto andrebbe rivalutato da altri valutatori quando il valutatore fa errori dovuti alla lettura frettolosa del formulario o alla scarsa conoscenza del programma: in questi casi, tutta la valutazione è inaffidabile, a prescindere dalla singola informazione di cui non si è accorto o della singola norma che ha dimostrato di non conoscere.
Questa pagina riporta una serie di errori dei valutatori.
La valutazione poco rigorosa e erratica è uno dei motivi che mi hanno portato ad abbandonare la progettazione europea nel 2019.
PS 1: mi sono capitati molti più casi di questi pochi raccontati in questa pagina, ma valutarli richiede di conoscere bene il progetto presentato, perciò è impossibile parlarne in maniera sintetica come fatto qui di seguito.
PS2: ci tengo a dire che ho avuto anche molti progetti approvati e molte valutazioni positive.
Pubblico questa pagina perché credo che la comunità dei progettisti europei meriti valutazioni di migliore qualità di quelle correnti.
29. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2018-2-PL01-KA205-051290
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: rilevanza dell’idea progettuale
Il valutatore scrive (traduco dal polacco) ‘Gli obiettivi del progetto sono essenzialmente chiari, anche se non è del tutto chiaro cosa vogliono raggiungere i partner grazie alle attività pianificate. Vale la pena notare che l’applicazione include disposizioni che suggeriscono che l’applicazione è in realtà un patchwork di altre applicazioni – ad esempio, a pagina 14, l’obiettivo è sviluppare materiali di formazione sull’imprenditorialità.’
Perché è una stupidaggine: la pag. 14 contiene solo la descrizione delle esperienze pregresse di uno dei partner. C’è una lista di progetti a cui il partner ha partecipato; per ciascuno viene indicato nome, codice e una breve descrizione. Il valutatore ha letto la descrizione di uno dei progetti, approvato nel 2017, ‘YOUNG MIGRANT, code 35D23FF (2017). The project will raise awareness about entrepreneurial opportunities and about the support schemes for entrepreneurship’ e ha capito che si riferisse al progetto che doveva valutare.
28. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2017-1-UK01-KA205-035447
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: vari parametri.
A. Il valutatore scrive che ‘Task and responsibility distribution is adequately described though the applicant not being involved in Intellectual Outputs does not suggest a fully equal, balanced partnership.’
Perché è una stupidaggine: perché il progetto (p.26 e 27) dice che ‘P1 (…) participates to the development of all IOs and is responsible in last instance for their quality, so P1 will not only participate but also supervise development of every IO.’
B. Il valutatore ripete due volte che le organizzazioni partner sono troppo piccole e perciò l’impatto del progetto sarà limitato: ‘Reaching the high number of members of target group may be unrealistic.’, ‘The partners are very small organisations and may have challenges in embedding and promoting the outcome.’
Perché è una stupidaggine: perché il progetto spiega chiaramente (p.21, 37, 53, 59) che il presidente di uno dei partner è anche il presidente di una organizzazione che in Europa ha 1300 centri affiliati, oltre 1000 operatori, un sito di cui vengono viste ogni anno oltre 16 milioni di pagine e una mailing list di oltre 150.000 sottoscrittori e che la disseminazione e la promozione dell’utilizzo dei prodotti del progetto saranno svolte in collaborazione con questa organizzazione.
C. Il valutatore scrive che ‘Dissemination merits a specific plan’
Perché è una stupidaggine: perché il progetto (p.27 e 56) già prevede la realizzazione di un ‘A.2.1. Detailed dissemination plan’. I contenuti del plan sono inoltre descritti a grandi linee a p.57.
27. Categoria di errore: punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-3 – FR02 -KA205-012155
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: alla voce Relevance of the project/strategy il valutatore si lamenta perché i formatori del progetto, metà dei quali sono migranti e rifugiati, non svolgono una mobilità formativa transnazionale, ma solo formazione in aula e a distanza: ‘Le choix d’aller vers des e-course sans jamais provoquer de rencontre transnationale des travailleurs de jeunesse questionne sur la plus-value de ce travail de partenariat stratégique.’
Perché è una stupidaggine: perché è impossibile far uscire migranti e rifugiati dal Paese che li ospita.
26.A. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-1-PL01-KA204-026064
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: alla voce Quality of the project design and implementation il valutatore scrive: ‘Il costo del valutatore esterno doveva essere finanziato non come costo eccezionale ma considerato incluso nel finanziamento per la gestione e la realizzazione del progetto.’
Perché è una stupidaggine: la valutazione esterna viene definita come ‘An evaluation carried out by evaluators external to the entity evaluated’ (vedi TESE Thesaurus for Education Systems in Europe, Eurydice, 2009). Poiché per definizione si tratta di una attività svolta da un consulente o una organizzazione esterna al partenariato, l’incarico è necessariamente assegnato come subappalto (cioè, nei partenariati strategici, sotto la voce costi eccezionali). Nella Erasmus+ Programme Guide Version 2 (2016): 07/01/2016, pag. 119, i costi eccezionali sono definiti ‘Contribution to real costs related to subcontracting or
purchase of goods and services.’ Il loro inserimento nel budget è condizionato al fatto che ‘subcontracting has to be related to services that cannot be provided directly by the participating organisations for duly justified reasons.’ e questo è esattamente il caso dei costi per la valutazione esterna, che pertanto nel budget vanno sotto la voce ‘costi eccezionali’.
26.B. lo stesso in un progetto presentato in Svezia nel 2016 di cui al momento non ho il numero.
25.A. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-1-ES01-KA202-024905
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: alla voce Quality of the project team and the cooperation arrangements, il valutatore scrive: ‘Tutti i partner hanno già partecipato a progetti europei, un aspetto da migliorare è inserire nuovi paesi che possano così beneficiare dei progetti europei (..) I partner del progetto hanno esperienza in progetti simili. (Todos los expertos han participado previamente en proyectos internacionales, si bien pudiera suponer un aspecto a mejorar, pues podrían incluir nuevos países para que se puedan beneficiar de ideas nuevas aplicadas en proyectos transnacionales (…) -Los socios del proyecto tienen experiencia en proyectos análogos.)’
Perché è una stupidaggine: perché nella sezione D del formulario (descrizione dei partner) è scritto chiaramente che P2 non ha mai partecipato a progetti europei. Inoltre ho scritto per ben 2 volte, tutto in maiuscolo P2 HAS NEVER PREVIOUSLY PARTICIPATED TO A EU PROJECT, anche a p. 24 e 25 del formulario.
25. B. Lo stesso nel progetto 2015-1-PL01-KA202-016398 il valutatore scrive che: ‘The proposal does not include newcomers to this action.’ In questo tipo di progetti avere un newcomer, cioè una organizzazione che non ha mai partecipato a un progetto europeo assicura un punteggio aggiuntivo. Il valutatore non si è accorto che a p. 25 del formulario c’è scritto (lo avevo scritto a lettere maiuscole proprio per renderlo evidente) P3 HAS NEVER PREVIOUSLY PARTICIPATED TO A EU PROJECT. La stessa informazione risulta anche dalla descrizione del partner a p. 11. In tutte le proposte di quest’anno l’ho scritto in maiuscolo perché già nel 2014 mi è accaduto un caso simile, ma vedo che anche scrivere tutto in maiuscolo non basta.
25.C. Lo stesso nel progetto 2015-2-PL01-KA205-017366. Sotto ‘punti deboli’ valutatore scrive: ‘The partnership are organizations that have already benefited from funding as part of the Strategic Partnership. In dealing with requests priority is given to projects that have not yet received funding.’ In realtà uno dei patecipanti non ha mai partecipato in precedenza a un progetto europeo, come risulta dalla tabella a pag. 13 e come scritto tutto in maiuscolo a pag. 29 P3 HAS NEVER PARTICIPATED TO A EU PROJECT BEFORE.
25. D. Lo stesso nel progetto 2016-3 – FR02 -KA205-012155. Il valutatore scrive: ‘Le projet ne comprend pas de nouveaux venus dans le programme’. In realtà dalla domanda a p.7: ‘Have you participated in a European Union granted project in the 3 years preceding this application?’ Risposta ‘No’ risulta chiaramente che uno dei partner non ha partecipto a progetti europei. E inoltre a p. 28 è scritto ‘PLEASE NOTE, even ifg its staff is well skilled in project management, including management of EU funded projects, P1 HAS NEVER BEEN FUNDED BY A KA2 PROJECT BEFORE.’
24. Categoria di errore: punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-1-PL01-KA204-026064
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of the project design and implementation il valutatore scrive: ‘According to the information in the chart there are several months when there are no content-wise activities planned at all. At the same time, the new training programme is planned to be finalised in mid-2017 and then to be a subject to a pilot in the 10th month of the project. It is not clear why the rest of the project activities is planned for 14 months. It is therefore not clear why the whole project was planned for 24 months. A reduction of project implementation period down to 18 months is recommended.’
Perché è una stupidaggine: dei 14 mesi residui M11-M24, 6 mesi (M12-M16) servono per sperimentare sul campo la versione 1 degli output ptodotti, 3 mesi (M17-M19) per produrre la versione 2 degli output sulla base dei risultati della sperimentazione, 5 mesi (M20-M24, anche se in realtà si tratta di 3 mesi ‘veri’, perché M20 è Luglio e M21 Agosto, dove la disseminazione si fa male), per disseminare la versione definitiva degli output. Non è vero così che a partire da M10 non ci sono più attività ‘content wise’. Inoltre riducendo il progetto di 6 mesi vengono tagliate tutte le attività di disseminazione dei prodotti finiti.
23. Categoria di errore: il valutatore legge il formulario di corsa e punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-1-PL01-KA204-026064
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of the project design and implementation il valutatore scrive: ‘the provided description of the project activities presented in the attached chart is contradictory with the information presented in the application. For example, the intellectual output O1, according to the information in field G.1. is supposed to be elaborated from December 2016 until April 2018, while according to the information in the chart it will be done in February 2017 and in April 2018.’
Perché è una stupidaggine: tutte le date sono corrette, solo che il valutatore non se ne rende conto. L’output 01 è elaborato in versione 1 prima della sperimentazione sul campo e poi finalizzato in versione 2 dopo la sperimentazione. La lavorazione della versione 1 inizia a Dicembre 2016 e l’output è pronto a Febbraio 2017. Poi la lavorazione (per la realizzazione della versione 2) prosegue fino alla consegna della versione 2 nell’Aprile 2018. Il campo G.1. indica le date di inizio e fine dello sviluppo dell’output intellettuale e le date di consegna (che il valutatore non vede); il cronogramma allegato al formulario solo le date di consegna.
22. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-2-UK01-KA205-024747
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of the project design and implementation. Il valutatore non si è accorto che nel formulario ho dimenticato di indicare le lingue e il tipo di supporto di ogni prodotto intellettuale di valore europeo.
21. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-2-UK01-KA205-024747
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of the project design and implementation il valutatore scrive: ‘Multiplier Events E1 to E5 are incorrectly scheduled before the realisation of the IO.’
Perché è una stupidaggine: perché dal cronogramma allegato al progetto e dalla descrizione del progetto risulta chiaramente che gli eventi E1-E5 sono programmati nel mese 7, mentre la versione 1 degli IO 1, 2 e 3 è prevista nei mesi 3 (IO1) e 5 (IO2 e IO3).
20. Categoria di errore: punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-2-UK01-KA205-024747
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Impact and dissemination il valutatore scrive: ‘Fifteen Multiplier Events are consider excessive.’
Perché è una stupidaggine: è opinione diffusa che più sono gli eventi di disseminazione e meglio è, perché maggiori gli eventi maggiore il numero di persone e organizzazioni che vengono a conoscenza del progetto. 15 eventi in un progetto con 5 partner corrispondono a 3 eventi per ogni Paese, distribuiti in un periodo di 2 anni.
19. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-1-IT02-KA201-024109
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of the project design and implementation il valutatore scrive, commentando l’inserimento nel budget dei costi di fideiussione: ‘‘Si fa notare che l’Agenzia Nazionale non ha richiesto garanzie finanziarie’’.
Perché è una stupidaggine: perché la fideiussione viene richiesta dal’Agenzia Nazionale (che decide sulla base dei dati di bilancio dell’applicant) solo dopo che il progetto è stato approvato, mentre qui siamo ancora in fase di valutazione del progetto stesso. Il valutatore dimostra così di non conoscere il processo di contrattualizzazione, che non è una ignoranza da poco, e soprattutto riduce erroneamente il punteggio a un progetto che non è stato approvato per appena 1,5 punti. Il progetto era stato presentato anche nel 2015 e sul budget per la eventuale fideiussione il valutatore non aveva avuto niente da dire.
18. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2016-1-IT02-KA201-024109
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of the project design and implementation il valutatore scrive: ‘Si fa notare che (…) i costi di stampa rientrano nelle spese di project management’.
Perché è una stupidaggine: perché i costi a budget erano riferiti alla stampa di prodotti intellettuali di valore europeo. Si tratta cioè di spese eventuali e condizionate allo sviluppo dei prodotti intellettuali stessi, perciò non possono essere considerate ricomprese all’interno del budget per la gestione del progetto, che copre invece le spese ordinarie che tutti i progetti devono sostenere. Secondo la Erasmus+ Programme Guide Version 2 (2016): 07/01/2016, p.118 lo sviluppo di learning/teaching/training materials è coperto dal budget per il project management solo in progetti di piccola scala (cioè di semplice cooperazione, senza sviluppo di prodotti intellettuali di valore europeo), ma il nostro caso non è di questo tipo. Il progetto era stato presentato anche nel 2015 e sul budget per la stampa dei prodotti intellettuali il valutatore non aveva avuto niente da dire.
PS: Ho scritto una lettera all’Agenzia Nazionale segnalando i due errori dei valutatori (questo e quello al punto 19) e lamentando la riduzione del punteggio a causa di valutazioni palesemente errate. L’Agenzia mi ha risposto che ‘i riferimenti riguardo la richiesta dei costi di fideiussione e dei costi per le stampe degli IO sono da intendersi come dei semplici ragguagli ma certamente non vanno a pesare sulla qualità dei contenuti della vostra candidatura.’ Cioè non hanno inciso sul punteggio attribuito alla proposta. Risposta surreale. Vorrei sapere sulla base di quale prassi una parte delle valutazioni negative formulate dai valutatori non viene considerata ai fini dell’attribuzione del punteggio e come si fa a riconoscere le affermazioni negative che vengono considerate ai fini dell’attribuzione del conteggio da quelle che non vengono considerate.
17. A. Categoria di errore: punti di vista opinabili e supervisione inadeguata
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto:2015-1-IT02-KA201-015003
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of project design and implementation. Il valutatore 1 scrive: ‘Il budget è ben equilibrato, tenuto conto della durata di 36 mesi del progetto e tuttavia richiede attenzione per quanto riguarda i costi eccezionali relativi alle garanzie bancarie.’ Il valutatore 2 scrive invece: ‘Il rapporto costi benefici è abbastanza sproporzionato. Sono infine inseriti costi eccezionali dei quali solo alcuni (valutazione esterna e eventuale costo della garanzia bancaria) risultano ammissibili e proporzionati’.
Perché è una stupidaggine: per il valutatore 1 il budget va bene ma non va bene (‘merita attenzione’) il costo delle garanzie bancarie. Per il valutatore 2 il costo delle garanzie bancarie va bene ma il budget è ‘abbastanza sproporzionato’. Ora, è ammissibile che due valutatori abbiano punti di vista leggermente discordanti su alcuni aspetti dello stesso progetto, ma quando il disaccordo è netto e riguarda aspetti fondamentali come ad esempio in questo caso il totale del budget c’è chiaramente un problema: uno dei due valutatori è incompetente e entrambi hanno ricevuto una supervisione insufficiente. Fra l’altro, il valutatore 1 dovrebbe spiegare meglio cosa intende per ‘merita attenzione’. La spesa non è rendicontabile? L’importo (che fra l’altro rientrando nella categoria costi eccezionali sarà rendicontato a costo vero, perciò senza possibilità di gonfiarlo) è troppo alto? Va spiegato chiaramente. Scrivere ‘merita attenzione’ è un modo di criticare un aspetto del progetto (e togliere punti) senza voler spiegare perché, cioè senza assumersene la responsabilità.
17.B. Caso simile nel progetto 2015-1-IT02-KA204-014880. Il valutatore 1 scrive: ‘La proposta presentata (…) è basata su un’analisi dei bisogni autentica ed adeguata . Il valutatore 2 scrive invece: ‘La proposta è basata non tanto su un’analisi dettagliata dei bisogni di tutti i partner quanta sul desiderio di favorire l’apprendimento di adulti svantaggiati’.
E ancora: Il valutatore 1 scrive: [la proposta] ‘fornisce valore aggiunto a livello europeo grazie a risultati che non avrebbero potuto essere realizzati con attività svolte da un singolo paese.’ Il valutatore 2 scrive: ‘La proposta fornisce solo parzialmente valore aggiunto a livello UE, i risultati potrebbero essere realizzati con attività svolte da un singolo paese ma potranno beneficiare da un approccio internazionale, nonostante nella stesura del progetto questo aspetto non sia stato particolarmente valorizzato.’ Casi di questo tipo (opinioni divergenti fra valutatori, anche su aspetti rilevanti), purtroppo non sono rari.
16. A. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2015-1-IT02-KA201-015003
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Impact and dissemination il valutatore 2 scrive: ‘Le azioni di disseminazione proposte, pur coerenti, non spiccano di originalità.’
Perché è una stupidaggine: perché secondo la Guida Erasmus+ al programma in italiano, versione 3 (2015), pag. 118, l’originalità non è un requisito desiderato per l’impatto e disseminazione. Secondo la Guida, a impatto e disseminazione si richiede invece di essere elevato e durevole (impatto) ed efficace (disseminazione). L’innovatività è invece un criterio richiesto al parametro Relevance (tradotto –male- in italiano come Pertinenza) del progetto, vedi p. 117.
16.B. Lo stesso in un progetto approvato nel 2015 in Francia. Il valutatore scrive ‘Le management du projet reste assez classique.’ Anche in questo caso, l’innovatività non è un requisito desiderato per quanto riguarda la gestione del progetto.
15. Categoria di errore: punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2015-1-IT02-KA204-014880
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Overall comment to the applicant. Il valutatore 1 scrive: ‘I costi di valutatore esterno non sono giustificati’ [cioè il valutatore esterno non è necessario]. Fra l’altro, la sezione Overall comment to the applicant dovrebbe essere usata per riassumere le principali conclusioni dei riquadri precedenti, non per introdurre, come avvenuto in questo caso, osservazioni aggiuntive.
Perché è una stupidaggine: perché ormai da anni la presenza di un valutatore esterno viene riconosciuta come un punto di forza dei progetti.
15.B. Lo stesso nel progetto 2015-1-RO01-KA202-015013.
15.C. Lo stesso nel progetto 2016-1-PL01-KA204-026064.
14. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2015-1-RO01-KA202-015013
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Impact and dissemination il valutatore scrive: ‘No funds are provided for achievement of the 1000 multilingual brochures describing the project.’
Perché è una stupidaggine: perché nei Partenariati strategici il finanziamento il costo di stampa di materiale pubblicitario come brochures è già compreso nel budget per la gestione del progetto. In dettaglio, la Guida Erasmus+ al programma in italiano, versione 3 (2015), p. 120 dice che in tale categoria sono compresi ‘informazione, promozione e disseminazione (ossia opuscoli, volantini, informazioni sul web, ecc.).’
13. Categoria di errore: errori logici nel processo di valutazione
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2015-1-PL01-KA202-016398
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce relevance of the project . Il valutatore scrive: ‘It is also important to explain how partners will find 8000 people as users of the project and check their activity’.
Perché è una stupidaggine: perché questa è una osservazione che andava inserita nel parametro impatto e disseminazione. In questo modo il punteggio del parametro rilevanza dell’idea progettuale viene ingiustamento ridotto, alterando i rapporti fra i vari parametri di valutazione.
12. Categoria di errore: Il valutatore non conosce il programma e punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2015-1-IT02-KA204-014880
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of project design and implementation. Il valutatore scrive: ‘Gli eventi moltiplicatori, previsti come conferenza nazionale finale, organizzata in ogni paese partner prima della fine del progetto, hanno un costo sovrastimato.’
Perché è una stupidaggine: perché nei Partenariati strategici il finanziamento degli eventi moltiplicatori è calcolato a costo unitario sulla base del numero dei partecipanti (vengono concessi 100 € per ogni partecipante residente nel Paese in cui si svolge l’evento, e 200 € per ogni partecipante non residente, vedi Erasmus+ Guida al programma in italiano, versione 3 (2015): 16/12/2014, pag. 121). La Guida prevede solo un massimo a livello di partenariato di 30.000 € che nel progetto in questione non è stato superato, anche perché il formulario non lo permette (dà codice di errore). Il costo degli eventi non può perciò essere sovrastimato, eccetto forse nel caso eccezionale in cui si organizzi un solo evento per 300 persone chiedendo 30.000 € di finanziamento, ma non è stato il nostro caso. Il progetto prevedeva di organizzare 5 conferenze per un totale di 300 persone, una con 100 partecipanti –finanziamento richiesto 10.000 €, altre quattro con 50 partecipanti ciascuna –finanziamento richiesto per ciascuna 5.000 €. Eventi organizzati in maniera professionale richiedono la pubblicizzazione dell’evento, l’affitto del locale, la stampa di materiale da distribuire ai partecipanti, il buffet, il servizio audio e luci, hostess e stewards per accogliere i partecipanti, il guardaroba, la ripresa a video degli interventi; pertanto il costo unitario previsto dalla Guida è giustificato, e in ogni caso il valutatore deve attenersi ai parametri stabiliti dalla Guida.
11. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2014-1-ITOl-KA202-002481
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Quality of project design and implementation. Il valutatore scrive: ‘Non previsto il cofinanziamento’.
Perché è una stupidaggine: perché nei partenariati strategici il cofinanziamento è compreso nei costi unitari (vedi Erasmus+ Guida al programma in italiano, versione 3 (2015): 16/12/2014, pag. 251; unica eccezione i costi eccezionali) e non viene più evidenziato nel budget, dunque è impossibile ‘prevederlo’.
10. Categoria di errore: punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2014-1-ITOl-KA202-002481
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Impact e dissemination. Il valutatore scrive: ‘II richiamo alla licenza creative commons non dà valore aggiunto se non viene indicata anche la tipologia che verrà utilizzata.’
Perché è una stupidaggine: perché tutte le licenze Creative Commons prevedono per terzi diversi dagli autori la possibilità di scaricare e condividere i lavori originali (vedi Wikipedia), e il richiamo a licenze Creative Commons basta ad assicurare il libero utilizzo dei prodotti del progetto, e a soddisfare così il relativo criterio di valutazione indicato a p. 118 di Erasmus+ Guida al programma in italiano, versione 3 (2015): 16/12/2014). Non è un caso se nei vari progetti di Partenariato Strategico che ho presentato nel 2014, tutti con la stessa impostazione, questa osservazione è stata fatta solo nei 2 valutati dal valutatore in questione.
9.A. Categoria di errore: Il valutatore non conosce il programma e punti di vista opinabili
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2014-1-IT02-KA204-003582
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Alla voce Relevance of the project il valutatore 1 scrive:’ La proposta di progetto è relativamente coerente con obiettivi e priorità proprie dell’azione in esame. [educazione degli adulti] (…) L’analisi delle necessità individua solo in parte le pertinenze alle priorità dell’azione in oggetto. Gli obiettivi del progetto sono chiari, ma non particolarmente rilevanti per il programma. Il tema è relativamente innovativo e sfora nello sviluppo di strumenti di formazione professionale’. Il valutatore 2 scrive:’ La proposta progettuale dimostra di essere border line per quanto riguarda gli obiettivi dell’educazione degli adulti, ha le caratteristiche più adeguate per il programma della formazione professionale ed include nei suoi obiettivi le priorità della formazione professionale’ e, sulla base soprattutto di queste valutazioni è stato assegnato un punteggio basso (15,5 /30).
Perché è una stupidaggine: perché, come spiegato a p. 10 di Erasmus+ Guida al programma in italiano, versione 3 (2015): ‘Erasmus+ (…) promuove sinergie e integrazione in tutti i diversi settori dell’istruzione, della formazione e della gioventù, rimuovendo le barriere artificiali tra le varie azioni e le differenti tipologie di progetti.’ Cioè una delle caratteristiche fondamentali di Erasmus+ è il venir meno della divisione rigida per target group/ settori delle’educazione che caratterizzava in negativo il vecchio programma LLP Lifelong Learning. Con la nuova impostazione, se un progetto viene riconosciuto maggiormente riferito a un determinato target group, va valutato senza penalizzazioni con riferimento a tale target group. Il progetto è stato penalizzato perché sebbene la logica di Erasmus+ sia profondamente cambiata rispetto al precedente programma l’Agenzia nazionale Italia è rimasta strutturata in 3 diverse Agenzie, ciascuna delle quali si occupa di target group specifici. Dunque una problematica organizzativa (l’incapacità di fondere e 3 agenzie che in Italia si occupavano dei programmi LLP e Youth, di cui ho parlato nei mie articoli stravolge l’impostazione del nuovo programma Erasmus+.
In aggiunta, dissento anche dal giudizio che il progetto fosse maggiormente pertinente alla formazione professionale. Il progetto intendeva sviluppare negli adulti una serie di capacità trasversali che rendono possibile la competenza imprenditoriale, quali Decision making, Creativity / problem solving, Setting goals / planning, Listening / Negotiating etc. (l’unica di natura tecnica, 1 su 10, era Budgeting / Financial monitoring). Si tratta perciò di capacità che non hanno un contenuto professionale e di conseguenza il progetto era riferito al settore dell’educazione degli adulti e non della formazione professionale.
9.B. Lo stesso progetto di cui al punto 3.A., ripresentato nel 2015 in Germania ma su Formazione professionale come misura prevalente. Il valutatore scrive: ‘The reference to vocational training is not sufficiently justified. (…) At this point, the question arises whether it [il progetto] would be better placed in another program area of Erasmus + because it has numerous points related to issues of general [cioè adult] education.’ e il progetto è bocciato un’altra volta. E’ come il Gioco dell’oca quando vai nella casella ‘torna al punto di partenza’ (in questo caso la casella è ‘Ripresenta il progetto’). Comunque il problema generale è che, nonostante le dichiarazioni di principio contenute nella Guida al programma, rimane ancora rigida la suddivisione in target groups/settori dell’educazione che caratterizzava il precedente programma Lifelong learning.
9.C. Una conferma della ancora rigida distinzione fra target groups/settori risulta dalla penalizzazione dei progetti trasversali, cioè quelli riconosciuti a cavallo di misure diverse. I loro tassi di approvazione sono assai minori di quelli non trasversali. Ad esempio nel 2014 i tassi di approvazione dei progetti trasversali in Italia sono stati 4% (adulti, scuole e università), 3% (formazione professionale), 0% (giovani). Al contrario i tassi di approvazione dei non trasversali sono stati rispettivamente 40%, 11%, 4%. A livello europeo il tasso di approvazione dei progetti trasversali è dell’11% e quello dei non trasversali è del 36% (fonte: nostra elaborazione da dati forniti da EACEA).
8.A. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2014-1-IT01-KA202-002476
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: alla voce Impact e dissemination, il valutatore scrive: ‘E’ oscuro su quali base sia formulata la stima delle 15.000 persone coinvolte via web.’
Perché è una stupidaggine: perché a p.53 del formulario ho inserito una descrizione dettagliata del numero delle persone coinvolte e delle loro modalità di coinvolgimento:
‘• Newsletters 500 addressees x 6 countries = 3.000 informed every time / National and European level
• Information about the project on partners websites 50 hits /month x 12 x 6 = 3600 informed / National and European level
• Project website 1000 hits in the last 12 months of the project 1000 informed / National, European and international level
• etc. (non sto a riprodurre tutte le voci). Il totale fa 15.000.
8.B. Lo stesso nel progetto 2015-1-PL01-KA202-016398. II valutatore scrive che ‘It is also important to explain how partners will find 8000 people as users of the project and check their activity’. La spiegazione si trova alle pagine 51 e 52, a quanto pare non l’ha vista.
Sempre nello stesso progetto il valutatore lamenta che ‘In the application it has not been described so exactly, if and how the analysis of needs for the goal groups has been carried out.’. Contrariamente a quello che scrive il valutatore, l’analisi dei bisogni preliminare alla presentazione del progetto è presente e descritta a p.24.
7. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Justice Daphne
Numero identificativo del progetto: JUST/2013/DAP/AG/4000005586
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: il valutatore scrive (la valutazione dei progetti Daphne non è suddivisa per parametri) ‘The cost-effectiveness is good, but apparently translation costs have been forgotten. This should be checked and possibly amended.’
Perché è una stupidaggine: perché contrariamente a quello che dice il valutatore i costi di traduzione sono presenti nel budget nella cella H204. La descrizione della cella è la seguente: ‘Translation on subcontracting of texts (Tool box corresponding to 25 pages of text, add on 1 page, Apps 6 pages, website 10 pages, text of 6 videos 12) in FR, DE, SP. Total pages 54 x 3 languages = 162 at 35 euros for page. All the page have been budgeted under the same WS and subcontracting budget assigned to only one partner so to get bulk rates in translation. Subcontracting care of Carlsen T Project Coordinator, trainer, permanent staff, private law contract.’
6. Categoria di errore: errori logici nel processo di valutazione
Tipo di programma: Justice Daphne
Numero identificativo del progetto:JUST/2013/DAP/AG/4000005586
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: la valutazione complessiva del progetto (la sola che viene trasmessa) è la seguente: This proposal addresses Priority 2.2.6. References to EU policies, UN-decisions and recommendations of the Council of Europe are numerous and relevant. The proposed activities are relevant to the Call and the Priority. The consortium aims at reducing gender stereotyping impact of media on youth by means of electronic tools that help to identify and decode sexist stereotypes, providing also the possibility to tag not gender-biased media content. These tools are completed by an educational toolkit for teachers, which will be piloted with a sample of 1800 students. Provisions have been made that such a large-scale exercise in six European countries will be possible. Europe-wide dissemination, also in other than the project languages has been planned and sustainability has been considered – as far as this is possible in the online world. The cost-effectiveness is good, but apparently translation costs have been forgotten. This should be checked and possibly amended. Dalla descrizione risulta che l’unico elemento critico della proposta sia la mancanza di budget per le traduzioni (in realtà presente, vedi il caso 5 sopra), che ha portato a una penalizzazione di 3 punti sui 10 disponibili sul criterio Cost-effectiveness (così ci ha scritto successivamente il Direttorato Giustizia che si occupa del bando).
Tuttavia il progetto riceve solo 80,5 punti su 100 disponibili invece che 97 (100 – 3 punti per l’asserita mancanza di budget per le traduzioni) su 100.
Perché è una stupidaggine: Un progetto su cui il valutatore non ha rilievi dovrebbe ottenere sempre una valutazione di 100/100. Sulla base del principio della trasparenza delle valutazioni, quando i valutatori assegnano punteggi minori del massimo attribuibile DOVREBBERO SEMPRE EVIDENZIARE IL PERCHE’. Invece, l’assegnazione di punteggi inferiori al massimo senza spiegazioni è purtroppo è abbastanza frequente.
5. Categoria di errore: il valutatore legge il formulario di corsa
Tipo di programma: Erasmus+ Partenariato strategico
Numero identificativo del progetto: 2014-1-AT02-KA205-000199
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: il valutatore scrive (traduco dal tedesco) Youth Pass non sarà usato, e questo è un grosso limite per un progetto presentato sulla misura Youth in action, e che ha come obiettivo lo sviluppo di competenze trasversali.
Perché è una stupidaggine: perché l’utilizzo di Youth Pass è evidenziato a p. 47 ‘Every participant that successfully finishes one unit of the E-course will receive a certificate issued by the country partner describing the unit(s) attended and the learning outcome(s) reached, structured coherently with Youthpass’ e poi evidenziato di nuovo a p. 57: ‘The training is structured in learning outcomes, will validate the learning outcomes (…) and grant a final certificate structured according to Youthpass.’
4. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Lifelong learning
Numero identificativo del progetto: 527533-LLP-2012-DK-GRUNDTVIG-GMP e 526534-LLP-2012-IT-GRUNDTVIG-GMP
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Cost-benefit ratio. Nel primo progetto Il valutatore scrive ‘WP9 foresees a Grundtvig Training Course, but no resources are allocated for this outcome.’ Nel secondo progetto il valutatore scrive: ‘the budget does not foresees resources for (…) the Grundtvig Training Course.
Perché è una stupidaggine: perché nel vecchio programma Lifelong learning la realizzazione di Grundtvig Training Courses veniva finanziata dalle quote di iscrizione versate dalla Commissione direttamente ai partecipanti.
3. Categoria di errore: Il valutatore non conosce il programma
Tipo di programma: Lifelong learning
Numero identificativo del progetto: 143721-2008-IT-KA3-KA3MP e 502608-LLP-1-2009-1-IT-GRUNDTVIG-GMP
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Cost-benefit ratio. Nel primo progetto Il valutatore scrive ‘It is not comprehensively explained why the projet manager wants to meet the EU Commission 4 times during the project-lifetime.’ Nel secondo progetto il valutatore scrive: ‘there is duplication (4) of trips to Brussels’.
Perché è una stupidaggine: perché entrambi i valutatori non erano a conoscenza che la Commissione aveva stabilito (era scritto nella Guida al Programma) che tutti i progetti dovessero prevedere budget per due viaggi all’anno a Bruxelles, per incontri con la Commissione.
2. Categoria di errore: punti di vista opinabili
Tipo di programma: Lifelong learning
Numero identificativo del progetto: 566330-LLP-1-2012-1-IT-GRUNDTVIG-GMP, 526400-LLP-2012-1-IT-GRUNDTVIG-GMP e 526766-LLP-2012-IT-GRUNDTVIG-GMP
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Cost-benefit ratio. Nel primo progetto Il valutatore scrive ‘The consortium has incorrectly calculated travel costs with one single average price for all return journeys no matter who is travelling from where to where .’ Nel secondo progetto il valutatore scrive: ‘The budget includes only average costs for return journeys no matter who is travelling where which makes it difficult to estimate whether the budget is overestimated or underestimated. Hence, the travel costs should be estimated for each partner individually to give a more precise picture of the actual costs involved.’. Nel terzo progetto il valutatore scrive: ‘Travel and other costs are reasonable, but the average return journey in table 3 is the same no matter where the project meeting takes place.’
Perché è una stupidaggine: i progetti vengono scritti a primavera, poi se approvati iniziano in tardo autunno o a gennaio dell’anno successivo. A 8-10 mesi di distanza (tempo fra la data di scrittura del progetto e la data di acquisto dei biglietti aerei per il primo incontro di patenariato; per gli altri incontri la distanza è addirittura di 2 o 3 anni) è pressoché impossibile ottenere una stima realistica del costo dei biglietti aerei. Alcune compagnie non forniscono il costo dei biglietti così in anticipo, il costo di quelli che li forniscono varia in continuazione, non necessariamente in maniera lineare, alcune compagnie introducono nuove rotte o sopprimono rotte esistenti. Per questi motivi la scelta di un costo medio è la più sensata, anche perché il programma prevedeva la rendicontazione ‘a costo vero’ dei biglietti aerei. E in effetti questo rilievo è stato fatto solo su 3 progetti sulle varie decine che ho presentato negli anni, tutti con costo medio, e anche il nuovo programma Erasmus+, che ha sostituito il Lifelong learning adotta un sistema a forfait.
1. Categoria di errore: il valutatore ha una conoscenza superficiale del settore / ambito disciplinare a cui si riferisce il programma
Tipo di programma: Leonardo da Vinci 2003-2004
Numero identificativo del progetto: IT/04/C/P/TH-81409
A quale parametro di valutazione si riferisce e cosa scrive il valutatore: Relevance of results and potential impacts. Il valutatore scrive ‘Results and impact appear limited – much of the described material is already available’.
Perché è una stupidaggine: il progetto prevedeva la realizzazione di un centro risorse su web di materiali utilizzabili per svolgere attività di orientamento. Tutti i centri risorse (collocati in un luogo fisico o su web, incluso quello previsto dal mio progetto) raccolgono per definizione materiali già realizzati. La collocazione su sito unico e la recensione dei materiali per l’orientamento esistenti in una serie di Paesi europei ne avrebbe permesso una diffusione ulteriore e un migliore utilizzo. Col suo commento, il valutatore dimostra di non conoscere cosa sono i centri risorse e qual è la loro funzione.
Autore © Leonardo Evangelista. L’articolo rispecchia le opinioni dell’autore al momento dell’ultima modifica. Vedi le indicazioni relative a Informativa privacy, cookie policy e copyright.