Valutare la ricerca: chi, come e perché

Oggi il ministro dell’Istruzione, Mariastella Gelmini, presenterà il nuovo Programma Nazionale della Ricerca 2011-2013. Spazio, fisica delle particelle, nanotecnologie, mare sono le carte sulle quali la ricerca italiana ha deciso di puntare stanziando 1.772 milioni in tre anni a 14 ”progetti bandiera”. Proposto dal ministro e approvato il 23 marzo scorso dal Cipe, il programma si propone come un cambiamento e intende allineare l’Italia alla vision strategica di Europa 2020, indicando e descrivendo le azioni innovative volte a sostenere e accompagnare la transizione del sistema Paese verso l’economia della conoscenza. In un contesto in cui il tema cavalca l’attualità in maniera così forte, diventa necessario fare una riflessione sul metodo di valutazione della ricerca: quali sono le sue finalità? In che modo farla? Chi delegare per analizzarla?

E’ di gran moda, dentro e fuori il mondo accademico, valutare la ricerca. Un tempo si aveva la capacità di capire chi era bravo e chi era mediocre senza tante acrobazie. Ora invece, nonostante i potenti mezzi di comunicazione, si sente la necessità di applicare metodi “analitici” per valutare i ricercatori, i loro prodotti, le riviste e quant’altro. Che si debba distinguere tra buono e cattivo è ovvio; il problema piuttosto è su quali elementi fare la distinzione, in che modo farla e chi si deve delegare per valutare.

Il primo aspetto da considerare è la finalità della ricerca e i risultati che il contribuente ritiene soddisfacenti. Partiamo allora da tempi lontani, quando iniziò un “nuovo corso” della ricerca. Andiamo all’Agosto del 1945 quando Henry Truman autorizzò lo sgancio di “Little Boy” su Hiroshima. Il contribuente considerò appagante quel prodotto di ricerca, poiché aveva terminato in modo brusco la seconda guerra mondiale. Il vento favorevole per “meriti di guerra” ha portato a un’impennata dei finanziamenti per discipline nucleari, anche perché l’attività si è poi trasmutata nella promessa di energia gratuita e sicura. L’impegno però non è stato mai mantenuto poiché il fervore è stato presto corroso dalla “sindrome di Icaro”, con trastullamenti scientifici miranti a trovare le origini dell’universo, senza sostanziali ritorni delle enormi spese sostenute.  

Una seconda fase del “nuovo corso” iniziò con le esplorazioni spaziali e la nascita della televisione. La combinazione dei due fattori supportò sottostanti ambizioni di “prestigio nazionale” con conseguenti sfide tecnologiche tra paesi egemoni; sfide che, per un certo tempo, presero il sopravvento sulle competizioni sportive. Le scoperte spaziali diventarono fenomenali spot pubblicitari diffusi in tempo reale per magnificare le “performance” e per compiacere l’orgoglio nazionale. I contribuenti ritennero importante la “grandeur” tecnologica e scientifica e questo giustificò corposi finanziamenti senza l’apparente richiesta di ritorno se non la “gloria” della nazione. S’iniziò da settori meramente tecnologici e presto si allargò lo spettro a discipline “di cassetta”: quelle nobilitate da Alfred Nobel.

Come detto, il “nuovo corso” della ricerca, iniziato per impellenti necessità militari, fu poi benaccetto in sostegno dell’orgoglio nazionale. Poiché il ritorno era (apparentemente) solo d’immagine, si è consolidato il luogo comune che grandi finanziamenti dovevano essere dati per “bravura”, misurata usando la rinomanza scientifica. Il costo economico era grande ma, come insegnano i pubblicitari, aveva un suo ritorno, perché la pubblicità può essere un’operazione di facciata, ma è anche rilevante per rimarcare identità e suscitare fierezza. In realtà la strategia dei politici dei paesi egemoni era contemporaneamente di pubblicità classica (o advertising) e di pubblicità “corporate”, finalizzata cioè a creare quel senso di superiorità scientifica e accademica che, accanto al senso di superiorità bellica, favoriva la vendita di prodotti high-tech. Inoltre, mantenere la “competizione” scientifica su di un “piano sportivo”, faceva svolgere ad altri la necessaria attività di supporto (sia di ricerca di base che di sperimentazione) con parte dei costi condivisi dagli acquirenti di high-tech.

Il “nuovo corso” della ricerca ha sofferto di due discontinuità: la vittoria USA della sfida spaziale e la decisione USA di ridurre i finanziamenti per ricerche sulle particelle nucleari (Bush, 2008). Le discontinuità sono un chiaro segnale di “nuovissimo corso” che non si accontenta dell’immagine, ma chiede (forse in modo poco elegante) concretezza. Il cambiamento ha creato un certo sconcerto nelle discipline “nobili” che si sono subito difese facendo promesse, difficili da mantenere, di ricadute sociali. La prima discontinuità ha anche creato il grave problema del reimpiego dei numerosissimi addetti NASA, la seconda ha trasferito sul CERN l’onore e l’onere di soddisfare l’orgoglio nazionale, tramutato in transnazionale. Il problema dei ricercatori NASA e le implicazioni politiche del controllo delle fonti energetiche hanno identificato nella climatologia e nell’ecologia una temporanea soluzione. Queste, facendo leva sulla paura, si sono affermate anche alterando dati e verità scientifiche.

Parliamo ora del secondo aspetto: come si valuta. Ad oggi vengono ancora utilizzati parametri del “nuovo corso”, quello iniziato nel 1945, e non del “nuovissimo corso” ora emergente. I criteri di valutazione sono, in sintesi, derivati dal luogo comune che sostituisce capacità scientifica socialmente efficace con “popolarità”. A questo è venuto in aiuto Eugene Garfield, un arguto imprenditore che ha creato un ricco business partendo da una base dati che quantifica i prodotti della ricerca con parametri vari. Tra questi l’indice delle citazioni degli autori e l’impact factor delle riviste, cioè la popolarità di un ricercatore o di una rivista. Garfield sull’idea della “rinomanza scientifica” ha fondato un’azienda col nome Institute for Scientific Information (ISI), dove l’appellativo Institute è fuorviante poiché l’azienda (ora parte della Thomson Reuters) non ha legami con istituzioni ed è a fini di lucro.

Vari parametri suppongono che la validità di una pubblicazione o una rivista sia proporzionale al numero di ricercatori che citano quel lavoro o quella rivista. Secondo quest’assunto si è scoperto che alcune pubblicazioni, tipo Nature e Science, erano “prestigiose”, senza pensare che il risultato era invece dovuto al vezzo di certe comunità scientifiche di eccedere nelle citazioni o perché favorito dagli incoraggiamenti degli editori nell’esagerare con i riferimenti bibliografici. Si noti che Nature e Science sono anch’esse dei business, così come molte altre riviste e associazioni scientifiche. Queste hanno alti costi d’associazione, di abbonamento o di download degli articoli.

La situazione è peggiorata nel tempo, anche per un improprio comportamento delle comunità scientifiche che si sono trovate avvantaggiate e che hanno usato dati favorevoli per pavoneggiarsi e chiedere maggiori finanziamenti. Ci sono stati anche comportamenti poco edificanti di singoli e di gruppo, con pratiche tendenti ad accrescere gli score valutativi. Ad esempio, c’è stato un notevole aumento degli autori per articoli: in certi settori si contano spesso più di 10 autori, senza considerare i quasi (o più) mille autori che scrivono in “collaborazioni” del settore della fisica delle particelle. Si riscontra poi un numero ingiustificato di riferimenti bibliografici e il proliferare di pubblicazioni fatti in catena di montaggio o “quasi fotocopia”, che usano in modo reiterato la stessa metodologia per analizzare situazioni molto simili. Inoltre, alcune riviste hanno smesso, in pratica, di revisionare gli articoli. Si hanno accettazioni entro poche settimane, molto meno di quanto ragionevolmente prevedibile per classificare il lavoro, selezionare tre o quattro esperti, mandar loro il manoscritto, avere il tempo per analizzarlo, esprimere un parere, chiedere eventuali correzioni e ricevere l’OK da parte dei revisori. Tempi che non possono andare sotto i 3-4 mesi.

Prescindendo dalla deriva comportamentale sia individuale sia di gruppo, è evidente che il mondo scientifico è un agglomerato di realtà con proprie identità, cultura e valori che meritano pari dignità e riconoscimento. L’utilizzo di criteri valutativi “distorcenti” è allora un colpevole tentativo di omogeneizzazione al sospetto fine di imporre un’unica (e costosa) pratica scientifica. Ne derivano false assunzioni di superiorità scientifica fondata su prassi seguite da discipline maggiormente vogliose di generare “pubblicità”.

Il misconoscimento causato dall’uso d’impropri parametri causa seri danni al Paese per due ragioni. Le discipline misconosciute, ma rilevanti per lo sviluppo conoscitivo, economico e sociale, perdono in attrattività e dirottano i giovani verso settori con minore impatto economico e sociale. I migliori ricercatori delle discipline penalizzate, invece di svolgere un ruolo di “maestro” e far progredire nel Paese quel settore scientifico, cercano riconoscimento altrove, in altri paesi o svolgendo attività professionali, e riservano alla posizione universitaria un ruolo meramente didattico.

Per l’ultimo aspetto: chi delegare per valutare, non c’è molto da dire, se non rilevare che il nostro paese non è sulla strada giusta. Ha approvato una legge (26/11/2006, n.286) che istituisce un’Agenzia Nazionale di Valutazione (bella questa moda delle Agenzie) con indicazioni molto fumose su scopi e finalità. Ha nominato i suoi componenti con procedure complesse che garantiscono i garantisti ma, guardando i selezionati, la loro estrazione e i curricula, l’unica certezza che ne deriva è che si andrà a banale rimorchio di pratiche antiche e mode correnti.