{"id":21805,"date":"2012-06-16T19:55:21","date_gmt":"2012-06-16T18:55:21","guid":{"rendered":"https:\/\/www.pietroichino.it\/?p=21805"},"modified":"2012-06-17T22:22:36","modified_gmt":"2012-06-17T21:22:36","slug":"il-dibattito-sulla-trasparenza-della-valutazione-della-ricerca-universitaria","status":"publish","type":"post","link":"https:\/\/www.pietroichino.it\/?p=21805","title":{"rendered":"IL DIBATTITO SULLA TRASPARENZA DELLA VALUTAZIONE DELLA RICERCA UNIVERSITARIA"},"content":{"rendered":"

DISSENSI – TALVOLTA ESPRESSI IN MODO TROPPO AGGRESSIVO – SULLA QUESTIONE SE SIA UTILE O DANNOSO CHE L\u2019ANVUR PUBBLICHI ANCHE I VOTI ASSEGNATI ALLE SINGOLE PUBBLICAZIONI<\/span><\/p>\n

Alcuni interventi pubblicati sul sito <\/em>Roars (clicca qui per leggere anche gli altri)<\/em><\/a> e sul <\/em>Corriere della Sera, con le relative risposte di Andrea e Pietro Ichino, a seguito della pubblicazione sul <\/em>Corriere della Sera del 14 giugno 2012 del loro articolo <\/em>Trasparenza totale sulla valutazione della ricerca universitaria<\/a><\/p>\n


\nALESSANDRO FERRETTI
\nInanzitutto vi ringrazio per la vostra lettera, che nella sua versione integrale mi d\u00e0 modo di chiarire ulteriormente la questione, a beneficio di tutto il pubblico interessato a capire. Innanzitutto, la lettera contiene vari errori materiali. Ad esempio: i ricercatori non si nascondono dietro la tutela della privacy<\/em> e la richiesta dei ricercatori non \u00e8 che “i voti dati dall’Anvur alle singole pubblicazioni non devono essere divulgati”: la richiesta \u00e8 che tali voti non vengano usati per valutare il singolo ricercatore, e non per timidezza ma in quanto assolutamente fuorvianti. Infatti, l’idea di valutare un singolo ricercatore tramite un sistema disegnato per valutare una struttura di ricerca \u00e8 analoga a valutare la bravura dei singoli calciatori usando come dato il risultato finale della partita. Come ha gi\u00e0 anche fatto notare Fantoni, i dati relativi agli individui nel RAE inglese non vengono diffusi pubblicamente proprio per evitare confusioni e false impressioni. Nella lettera al Corriere<\/em> i fratelli Ichino affermano un’altra falsit\u00e0, quando parlano di “pubblicazioni da lui\/lei scelte”. Come facilmente verificabile sul sito dell’ANVUR, le pubblicazioni NON sono scelte dai ricercatori, ma sono attribuite dalle strutture di ricerca. Quindi, in tutti i casi in cui sono presenti pi\u00f9 coautori le pubblicazioni attribuite in questo modo NON sono rappresentative della sua produzione scientifica. Quindi, anche nell’ipotetico caso che le singole pubblicazioni fossero valutate correttamente non si otterrebbe comunque un’idea sensata della produzione del ricercatore cui sono state attribuite. Per fare un esempio: supponiamo che ci sia un carretto pieno di mele, dove le mele sono le pubblicazioni di un gruppo che lavora insieme ad un progetto e quindi firma insieme gli articoli. Ogni singola mela appartiene quindi a ciascun singolo membro del gruppo di ricerca. Tra queste mele ce ne sono di tutti i formati, da quelle molto grandi a quelle molto piccole. La valutazione ANVUR impone alle strutture di ricerca di assegnare a ciascun membro del gruppo di ricerca tre mele. Ovviamente tutti i ricercatori sono ugualmente “proprietari” delle mele grandi e delle mele piccole, ma nel processo di attribuzione alcuni si ritroveranno con le mele pi\u00f9 grandi, altre con quelle piccole. Quindi il problema non \u00e8 l’errore che si fa a pesare le mele: il problema sta nell’attribuzione delle mele. Per quanto riguarda “il passo della lettera che risponde al principale punto di sostanza”: \u00e8 ovvio che la proposta non risolve per nulla il problema. Infatti, chi nel gruppo di ricerca ha avuto la fortuna di vedersi attribuite delle mele sopra la media si tiene le mele sopra la media, mentre tutti coloro cui sono state atttribuite tre mele sotto la media potranno sostituirle con tre mele medie. Il risultato \u00e8 paradossale e mi pare che argomentare oltre sia un insulto l’intelligenza del lettore. In ultimo, un commento generale: l’ennesima reiterazione di banali errori materiali a sostegno della propria tesi genera in me un notevole imbarazzo, perch\u00e8 mi riesce difficile capire la genesi di un simile comportamento. Una volta scartata l’ipotesi di scuola secondo cui gli autori non siano in grado di afferrare semplici concetti, viene quasi da pensare che un simile modo di argomentare sia finalizzato semplicemente a sollevare un polverone per proporsi come paladini della trasparenza e del merito presso il grande pubblico, approfittando del fatto che quest’ultimo \u00e8 molto poco informato sul lavoro di ricerca e sulla sua valutazione. A me personalmente questo stile argomentativo basato su premesse false ha riportato alla mente le teorie su complotti di ogni genere, dagli UFO ai cerchi nel grano alle scie chimiche ed altre amenit\u00e0 del genere. Mi auguro ovviamente che i fratelli Ichino smentiscano quanto prima queste mie impressioni ammettendo perlomeno i loro errori materiali, contribuendo cos\u00ec a fare chiarezza e corretta informazione su una materia cos\u00ec delicata e cos\u00ec strategica per il nostro paese come la valutazione della ricerca.
\nAlessandro Ferretti<\/p>\n

hh<\/span>Grazie ad Alessandro Ferretti per il suo contributo, anche se non comprendiamo il motivo dell’aggressivit\u00e0 di alcuni suoi passaggi, che certo non giova alla serenit\u00e0 di questa discussione. Noi chiediamo solo\u00a0 che venga reso noto in quale delle quattro classi di merito previste sar\u00e0 posta ogni pubblicazione valutata dall’Anvur con l’elenco completo dei suoi autori. Mi sembra che Alessandro Ferretti, all’inzio del suo commento, concordi sul fatto che questo tipo di trasparenza sia utile e possibile. Se siamo d’accordo su questo abbiamo fatto un passo avanti.<\/em><\/span>
\n Divergiamo invece sulla possibilit\u00e0 di usare questi dati elementari anche per ottenere informazioni (non necessariamente esaustive ma comunque utili) sui singoli ricercatori.<\/em><\/span>
\n Il RAE non chiede che le strutture sottomettano 3 (o N) pubblicazioni per OGNI ricercatore. Ogni struttura sceglie quelle da sottomettere, che possono essere poche o tante e perfino di un solo ricercatore. E’ chiaro che in quel caso si sta valutando il meglio che il dipartimento come squadra ha prodotto. Ma la VQR chiede che 3 pubblicazioni per ogni ricercatore di ogni struttura. Questo rende possibile utilizzare le 4 categorie di merito previste dalla VQR anche per una valutazione del livello pi\u00f9 alto raggiunto dalla attivit\u00e0 di ricerca di ciascun ricercatore.\u00a0E’ normale nelle competizioni internazionali per posizioni di docenza che ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 o 5 migliori.\u00a0 La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media pi\u00f9 favorevole tra quella delle opere da lui\/lei scelte e quella di tutte le opere di cui compare come autore.<\/em><\/span>
\n Consideriamo il caso di due ricercatori tutti con pubblicazioni in classe B, uno con 3 e l’altro con 30.\u00a0 La trasparenza che noi chiediemo metterebbe in luce che nessuno dei due ricercatori ha ottenuto risultati scientifici eccellenti, indipendentemente dalla quantita’. Questa non e’ certo una valutazione completa ed esaustiva dei due ricercatori ma e’ comunque una valutazione utile e informativa.<\/em><\/span>
\n Il fatto che il compito affidato all’Anvur sia di valutare le strutture, non ci sembra affatto in contrasto con la nostra proposta. Come scriviamo nell’articolo: “valutare una struttura non significa valutare solo il suo risultato aggregato. Due dipartimenti potrebbero entrambi ottenere un rating di valore medio, ma il primo con un 50% di prodotti eccellenti e i rimanenti pessimi o del tutto mancanti; viceversa, la mediocrit\u00e0 potrebbe prevalere nel secondo dipartimento. Serve l\u2019intera distribuzione delle valutazioni, non solo la media, se non vogliamo fare l\u2019errore di Trilussa! “<\/em><\/span>
\n Ciascun ricercatore italiano ha dovuto caricare individualmente (e liberamente) sul sito Anvur le sue migliori pubblicazioni. Siamo d’accordo su questo?\u00a0Invitiamo dunque<\/em><\/span> Alessandro Ferretti a rileggere quello che abbiamo scritto: “se di ogni pubblicazione verr\u00e0 reso noto il voto conseguito e l\u2019elenco tutti gli autori, i punteggi eccellenti saranno imputabili a ciascuno di essi e non soltanto a quello che ha indicato l\u2019opera fra le proprie tre migliori. Di ogni ricercatore avr\u00e0 senso usare la valutazione media pi\u00f9 favorevole tra quella delle opere da lui\/lei scelte e quella di tutte le opere di cui compare come autore.” <\/em><\/span> (a.i. e p.i.)<\/em><\/span><\/p>\n

\u00e0\u00e0\u00e0<\/span>
\nGIUSEPPE\u00a0MINGIONE
\nGentili Pietro\u00a0e Andrea\u00a0Ichino, la valutazione ANVUR, una delle poche cose positive che sono accadute nel mondo universitario italiano negli ultimi anni, \u00e8 stata congegnata in modo da funzionare, pi\u00f9 o meno bene, quando applicata a larghe strutture. Infatti, eventuali singolarit\u00e0, frutto di un inappropriato (nel bene e bel male) esito puntuale dell’applicazione degli indici bibliometrici, possono essere ragionevolmente cancellate da effetti di media su larga scala. In questa ottica mi sembra apparire pienamente accettabile adottare criteri bibliometrici per effettuare la valutazione (anche perch\u00e8 rimangono probabilmente gli unici che si prestino ad essere applicati in una valutazione di questa portata). Come noto, il discorso cambia completamente quando invece si vogliono usare le stesse metriche per una eventuale valutazione individuale. Sia chiaro, in nessuna universit\u00e0 del mondo qualcuno si azzarderebbe a dare una valutazione del lavoro di una singola persona usando solo gli indici bibliometrici e prendendo in considerazione solo tre lavori in 7 anni. La valutazione individuale, perch\u00e8 cos\u00ec verrebbe inevitabilmente la pubblicazione degli esiti individuali, \u00e8 cosa assai delicata e da effettuare con un paniere di indici assai composito e tra i quali non pu\u00f2 non svettare quello di merito affidato ad un revisore. Per questo motivo trovo che la sua sia una proposta di sorprendente ingenuit\u00e0 e destinata a portare ulteriore confusione in un campo ancora in via di (problematica) definizione come quello della valutazione della ricerca in Italia.
\nCordiali saluti,
\nG.R. Mingione<\/p>\n

Grazie per il suo contributo ragionato alla discussione sulla nostra richiesta. Come avr\u00e0 gia letto nel nostro articolo pubblicato sul <\/em>Corriere, ci\u00f2 che chiediamo \u00e8 solo che venga reso noto in quale delle quattro classi di merito previste sar\u00e0 posta ogni pubblicazione: gli errori non possono che essere marginali in una aggregazione tra 4 grandi classi, che comunque si basa non solo su indici bibliometrici ma anche su <\/em>peer review. <\/em><\/span>
\n Inoltre,\u00a0\u00e8 normale nelle competizioni internazionali per posizioni di docenza che ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 o 5 migliori.\u00a0 La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media pi\u00f9 favorevole tra quella delle opere da lui\/lei scelte e quella di tutte le opere di cui compare come autore.<\/em><\/span>
\n Consideriamo il caso di due ricercatori tutti con pubblicazioni in classe B, uno con 3 e l’altro con 30.\u00a0 La trasparenza che noi chiediemo metterebbe in luce che nessuno dei due ricercatori ha ottenuto risultati scientifici eccellenti, indipendentemente dalla quantita’. Questa non e’ certo una valutazione completa ed esaustiva dei due ricercatori ma e’ comunque una valutazione utile e informativa.<\/em><\/span>
\n Infine, la legge stabilisce i modo chiarissimo che tutti i dati su cui la valutazione si basa devono essere pubblicati; e la sua applicazione, fino a prova contraria, non \u00e8 un <\/em>optional.<\/em><\/span>
\n Siamo molto contenti di concordare con lei sul fatto che la VQR sia una delle poche cose positive che sono accadute nel mondo universitario italiano negli ultimi anni.
\n(a.i. e p.i.)<\/em><\/span><\/p>\n

jj
\n<\/span>G.F. BRUNETTI<\/span>
\n<\/span><\/strong>Per completezza di informazioni, rispondo solo a voi e a Sperello cercando di minimizzare l’intasamento della posta elettronica.
\nQuello che volevo puntualizzare meglio e’ il concetto espresso da Sperello.
\nIn moltissimi casi gli enti di ricerca NON hanno “appiccicato” al singolo ricercatore i risultati migliori, ma solo alcuni fra i risultati segnalati dai ricercatori stessi in una fase iniziale.
\nNel mio caso (come in quello di tantissimi altri!) i miei “articoli” migliori (ad esempio articoli su Nature<\/em> o Science<\/em> che avevo firmato come primo nome) sono stati “appiccicati” ad altri ricercatori INAF che erano fra i co-firmatari dell’articolo. A me sono stati “appiccicati” lavori che avevo segnalato in una top 10-16 (ad es. con rank <\/em>n.4, 6, 10, 11, 14, 15…, NON 1, 2, 3, …).
\nQuesto perche’ il COMPITO degli Enti era quello di massimizzare il risultato come Ente e non di valutare i singoli ricercatori.
\nIn altre parole (ripeto non e’ solo il mio caso ma e’ cosa “comune”) se io dovessi segnalare “solo” i miei 6 lavori migliori NON segnalerei quelli che mi ha “appiccicato” il mio Ente nell’ambito della valutazione.
\nSaluti e buon lavoro.
\nG. Brunetti<\/p>\n

<\/em>La legge stabilisce che tutti i dati – anche parziali – su cui la valutazione si basa devono essere pubblicati, in modo che essi possano essere utilizzati anche per valutazioni operate secondo diversi criteri.\u00a0E l’applicazione della legge non dovrebbe essere considerata un optional.<\/em><\/span>
\n E’, poi,\u00a0normale nelle competizioni internazionali per posizioni di docenza che <\/em>ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 migliori.\u00a0 La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media pi\u00f9 favorevole tra quella delle opere da lui\/lei scelte e quella di tutte le opere di cui compare come autore.<\/em><\/span> (a.i. e p.i.) <\/span><\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

DISSENSI – TALVOLTA ESPRESSI IN MODO TROPPO AGGRESSIVO – SULLA QUESTIONE SE SIA UTILE O DANNOSO CHE L\u2019ANVUR PUBBLICHI ANCHE I VOTI ASSEGNATI ALLE SINGOLE PUBBLICAZIONI Alcuni interventi pubblicati sul sito Roars (clicca qui per leggere anche gli altri) e sul Corriere della Sera, con le relative risposte di Andrea e Pietro Ichino, a seguito […]<\/p>\n","protected":false},"author":7,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10,27],"tags":[],"class_list":["post-21805","post","type-post","status-publish","format-standard","hentry","category-22-lavoro-pubblico","category-scuola"],"_links":{"self":[{"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=\/wp\/v2\/posts\/21805","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=21805"}],"version-history":[{"count":0,"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=\/wp\/v2\/posts\/21805\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=21805"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=21805"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pietroichino.it\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=21805"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}