Chi valuta i valutatori?2 min read

Periodicamente l’argomento torna alla ribalta: quanto sono attendibili e affidabili gli assaggiatori?

Questa volta è Dario Bressanini a insinuare qualche dubbio con un articolo pubblicato su Le Scienze di aprile dal titolo “La variabile dell’assaggiatore”, raccontandoci di una ricerca pubblicata da Robert T. Hodgson, professore emerito di statistica alla Humboldt State University in California, oltre che produttore di vino.

 

E proprio in quanto produttore Hodgson si chiedeva come mai il suo vino in  alcuni concorsi ottenesse il massimo e in altri venisse scartato al primo assaggio. Pur consapevole che i margini di errore sono superiori quando lo strumento di misura è un essere umano (l’esperto assaggiatore), Hodgson decide di studiare il fenomeno utilizzando i metodi statistici provenienti dalla sua attività accademica.

 

Così l’”enostudioso” ha misurato la cosiddetta consistenza dei giudici ovvero la capacità di replicare il giudizio assaggiando alla cieca lo stesso vino, inserendo in un panel di  trenta vini alcuni vini uguali in triplice copia, verificando così la capacità degli assaggiatori di riconoscere lo stesso vino.

 

I risultati non sono stati molto incoraggianti. Solo un giudice su dieci è stato sempre consistente replicando tutti i giudizi con una deviazione massima di due punti sui venti disponibili, mentre un altro 10 per cento dei giudici ha variato di 12 punti il giudizio sullo stesso vino; la media è stata di 4 punti.

 

Del resto anche due ricercatori australiani hanno ottenuto risultati sostanzialmente simili, evidenziando inoltre che gli esperti assaggiatori hanno mostrato molta più coerenza nella valutazione dei vini rossi rispetto ai bianchi.

Vogliamo provare alla prossima Enocup?

 

                                                                                 

Fabrizio Calastri

Nomen omen: mi occupo di vino per rispetto delle tradizioni di famiglia. La calastra è infatti la trave di sostegno per la fila delle botti o anche il tavolone che si mette sopra la vinaccia nel torchio o nella pressa e su cui preme la vite. E per mantener fede al nome che si sono guadagnato i miei antenati, nei miei oltre sessant’anni di vita più di quaranta (salvo qualche intervallo per far respirare il fegato) li ho passati prestando particolare attenzione al mondo del vino e dell’enogastronomia, anche se dal punto di vista professionale mi occupo di tutt’altro. Dopo qualche sodalizio enoico post-adolescenziale, nel 1988 ho dato vita alla Condotta Arcigola Slow Food di Volterra della quale sono stato il fiduciario per circa vent’anni. L’approdo a winesurf è stato assolutamente indolore.


ARGOMENTI PRINCIPALI



0 responses to “Chi valuta i valutatori?2 min read

  1. Il secondo codicillo enoico della legge di Murphy recita “le vendite delle guide sono direttamente proporzionali alla deontologia professionale di chi le scrive”. La glossa detta di Gutemberg specifica che per guide si possa intendere qualunque pubblicazione contenete giudizi sui vini.

  2. In realtà¡ se imparassimo a considerare i giudizi dei degustatori per quello che sono, cià³ proprio giudizio personali, e non verità¡ rivelate, la cosa sarebbe riportata in termini piຠterra terra. Fortunatamente il “proliferare” di siti internet che si dedicano al giudizio su i vini, offrono anche una possibilità¡ di ricavare una “media statistica” sul vino in questione. A questo proposito vedi Wine Searcher ed altri siti analoghi. Le guide cartacee che si limitano ad assegnare punteggi hanno fatto il loro tempo, non perché mentano o altro ( che pure mi dicono sia successo), ma perché forniscono un ipse dixit una volta l’anno e spesso con ritardo o anticipo (ambedue “colpevoli” ) sulla immissione sul mercato. La cosa poteva andare bene nei tempi pre-internet e quando il numero dei vini propposti all’attenzione era relativamente limitato: proviamo a confrontare per esempio il numero di tre bicchieri nelle guide Gambero negli ultimi quindici anji. Un continuo aumento, una inflazione, se pur qualitativa che non favorisce l’identificazione dell’eccellenza e la credibilit+a del giudizio. Con tutti i suoi difetti e trappole varie, la valutazione dei vini si sta spostando oramai anche dai siti internet verso media magari meno qualificati ma piຠ“dal basso” tipo Vivino e simili.

  3. Solitamente nei concorsi internazionali ad ogni sessione di degustazione corrisponde un report statistico della propria prestazione. Non solo si può controllare quanto ci si discosta dalla media della commissione ma si può anche controllare se non si è stati capaci di riconoscere il campione messo due volte, sempre presente. Il problema dell’errore trattandosi di commissioni composte da 5 a 7 degustatori, viene ridotto al minimo perché l’influenza del singolo è relativa. Quando il giudizio è di un solo degustatore, la questione cambia completamente. E’ chiaro che la credibilità  svolge un ruolo importante ma la topica è sempre e comunque, firmata. Non è molto credibile che un grande vino non sia giudicato tale da un’intera commissione dove sono rappresentate culture enologiche e di degustazioni diverse. Tanto per fare un esempio nei confronti del brett mi è capitato di scontrarmi più di una volta perché il campione non veniva giudicato negativamente. Quanto alle guide, le generalizzazioni non mi sono mai piaciute.

  4. Ho letto della rinuncia di Ziliani a intervenire alla presentazione/degustazione/valutazione dei Nebbioli delle ultime annate, con una motivazione molto sincera che rientra proprio nel tema sollevato in questo post per quanto riguarda anche il mutamento nel tempo delle capacità . Interessante, da leggere.

  5. Dissento dalla minimizzazione di Gabbrielli. Innanzitutto i concorsi internazionali sono pochi, e per la maggior parte dei vini contano decisamente di più i concorsi nazionali e l’attività  di valutazione svolta dalle guide e dalle riviste. Salvo alcune meritevoli eccezioni altoatesine (tipo il concorso del Pinot Nero di Egna), che dimostrano l’inesistenza di ostacoli insormontabili, mi risulta che il metodo della ripetizione di un campione alla cieca non lo usi nessuno.
    In commissioni composte da 5 a 7 assaggiatori (ma poi magari sono 3”¦) l’influenza del singolo sarà  pur “relativa”, ma è comunque presente: quindi è meglio escludere dalla media il valutatore incoerente che tenerlo dentro, o escludere rozzamente la valutazione più alta e quello più bassa come a volte ancora si fa. Peggio ancora, in una determinata occasione i valutatori incoerenti potrebbero essere più di uno, magari per motivi contingenti: se non c’è nessun modo di tracciarli, i risultati possono essere pesantemente inquinati.
    Se l’assaggiatore è uno solo, applicare rigorosamente il metodo della ripetizione di un campione alla cieca potrebbe portare ad annullare i risultati dell’intera sessione d’assaggio. Altro corollario positivo della valutazione di coerenza: sconsigliare fortemente le one man band!
    In un ambiente come quello della critica del vino, dove si entra quasi solo per cooptazione, avere strumenti oggettivi di verifica dell’affidabilità  di chi assaggia sarebbe importante. Al di là  dei bravi assaggiatori che sono verosimilmente in maggioranza, si ha spesso l’impressione che ci siano in circolazione una serie di mine vaganti di cui si potrebbe fare tranquillamente a meno, con profitto di tutto il mondo del vino.
    Tra l’altro tenere traccia della coerenza sarebbe utile anche per sottoporre a verifica indiretta le condizioni di assaggio. Se è probabile che in condizioni normali un bravo assaggiatore sia abbastanza coerente nelle sue valutazioni, sarebbe interessante verificare fino a che punto questa capacità  tiene in maratone di degustazione composte da un centinaio e più di assaggi nell’arco di una giornata. Ciò potrebbe auspicabilmente portare a consegnare queste maratone al passato.
    Per chi vuole leggere l’articolo di Bressanini o una sua versione: http://bressanini-lescienze.blogautore.espresso.repubblica.it/2014/04/07/quanto-sono-esperti-i-giudici-%E2%80%9Cesperti%E2%80%9D-assaggiatori-di-vino/

LEGGI ANCHE