P value: chi è davvero costui?

Recentemente ci avete chiesto di approfondire meglio il concetto del P value; è un concetto difficile persino per quelli del mestiere, a volte... Vi spieghiamo, una volta per tutte, di cosa si tratta, grazie soprattutto al chiaro articolo pubblicato qualche anno fa su Nature a firma Regina Nuzzo dal titolo “Scientific method: Statistical errors”.

L’uso del P value nell’ambito della ricerca biomedica è stato più volte oggetto di dibattito nella letteratura scientifica, a causa anche di varie difficoltà di interpretazione e limitazioni teoriche. Sapete che tale confusione risale a quasi un secolo fa? Ci fu proprio un vero dissing tra statistici!

La storia

Quando il britannico Ronald Fisher introdusse il P value negli anni '20, non aveva certo la pretesa che fosse uno strumento definitivo, anzi: lo intendeva semplicemente come un modo informale per giudicare se qualcosa fosse “significativo”, nel senso “degno” di essere ulteriormente studiato. Qual era il ragionamento? Controllare che i risultati non fossero dovuti al caso: si stabiliva la famosa "ipotesi nulla" da confutare, e, assumendola come vera, si calcolava la probabilità di ottenere risultati almeno altrettanto estremi di quelli effettivamente osservati. Questa probabilità era il P value. Più piccolo era, suggeriva Fisher, maggiore era la probabilità che l'ipotesi nulla fosse falsa.

Fisher aveva dei veri e propri rivali, il matematico polacco Jerzy Neyman e lo statistico britannico Egon Pearson, che introdussero una struttura alternativa per l'analisi dei dati che includeva la potenza statistica, i falsi positivi, i falsi negativi e molti altri concetti ora familiari nei corsi di statistica di tutto il mondo. Ed esclusero (apposta) il P value dai loro calcoli, con buona pace di Fisher. Ed ecco che iniziarono i litigi: Neyman definiva i lavori di Fisher "peggio che inutili"; dava dell’infantile a Neyman, che lo definiva "orribile [per] la libertà intellettuale in occidente". Ma non è che i ricercatori di tutto il mondo potevano seguirli più che tanto, soprattutto i non-statistici. Fu così che, più o meno a tavolino, venne creato un sistema ibrido e, sempre a tavolino, venne sancito lo 0,05 come la soglia dello "statisticamente significativo".

Ma cosa vuol dire, davvero, il P value?

La maggior parte degli scienziati con un P value di 0,01 direbbe che c'è l'1% di possibilità che il proprio risultato sia falso. Errore! Il P value non dice questo: tutto quello che può dire è un riassunto dei dati assumendo una specifica ipotesi nulla, ma non può fare affermazioni sulla realtà sottostante. Ciò richiederebbe possedere un'altra informazione: ovvero, conoscere in primo luogo con quale probabilità un effetto avvenga. Altrimenti, spiega Nuzzo, sarebbe come svegliarsi con un mal di testa una mattina e concludere che si ha un raro tumore al cervello. Certo è possibile, ma così improbabile che richiede un numero di prove estremamente alto, per poter contrastare una spiegazione più logica (reazione allergica?). Arrivati a questo punto dovrebbe essere chiaro: dipende tutto dall’ipotesi di partenza, e il P value non potrà mai dare informazioni circa la grandezza o l'importanza relativa di un fenomeno. Molti statistici sostengono che la soluzione potrebbe essere sostituire il P value con metodi che sfruttano la regola di Bayes un teorema del XVIII secolo che descrive la probabilità come la plausibilità di un risultato, e non come la frequenza potenziale di quel risultato. L’eterna lotta tra inferenza frequentista e inferenza bayesiana. Ma questa è un’altra storia.

Carlotta Jarach

Coronavirus, quando finirà? Come si stima la fine di una pandemia

Alzi la mano chi, in queste settimane, si è posto questa domanda. Ogni giorno leggiamo i numeri più disparati, e cercare di dare un senso a tutte le informazioni risulta molto difficile, anche per i più esperti. La speranza che ci accomuna è quella di voler porre la parola fine a questa emergenza; ma una risposta sicura e univoca esiste?

Risposta breve:

No, non sappiamo con certezza quando tutto questo finirà.

Risposta lunga:

Sono anni che le organizzazioni scientifiche e gli esperti di politiche sanitarie avvisavano circa la nostra impreparazione a far fronte ad una nuova pandemia. Era, per altro, per molti, solo una questione di tempo perché tale pandemia scoppiasse; a fine 2019 una simulazione dello stesso Dipartimento di Salute statunitense con il nome in codice “Crimson Contagion” aveva immaginato un’influenza pandemica, originata proprio in Cina, che avrebbe portato ad oltre 500.000 morti. E sempre a fine 2019, il JHCHS, Centro di ricerca di Sicurezza Sanitaria della nota Johns Hopkins, aveva ospitato “Event 201”, analisi circa un simulato focolaio epidemico causato proprio da un coronavirus. Il risultato? L’esercizio aveva predetto la morte di oltre 65 milioni di persone.

Nessun complotto all’orizzonte: nessuno ci ha tenuto nascosto COVID-19, gli USA non l’hanno creato per qualche strana ragione, né tantomeno la stima della Johns Hopkins deve portare a pensare che in questa nostra emergenza moriranno in così tanti. Il messaggio principale è però che la pandemia era prevedibile, e tuttavia non l’abbiamo prevista. Così come non abbiamo adottato le corrette misure per tempo, né c’è stata una corretta informazione, mediatica e istituzionale. Possiamo però predire la fine?

Le previsioni dipendono dalla qualità dei dati e dalle assunzioni nei singoli modelli statistici

Le previsioni sull’infezione e sul bilancio delle vittime si basano sul campione e pertanto sulla qualità dei dati disponibili. Da un punto di vista metodologico, regna l’incertezza circa troppe variabili: su quelle esogene, ovvero le politiche restrittive messe in atto, che si differenziano di paese in paese, su quelle relative al processo, ovvero come vengono contati i morti e gli infetti, anche queste diverse tra paesi, e su alcune variabili epidemiologiche più generali, circa la diffusione del virus per esempio. Per questo vediamo ogni giorno diversi scenari, chi ci dice che per Pasqua possiamo tornare alla tranquillità, chi è alla disperata ricerca del giorno X per il famigerato “picco”. Perché dipende da quali assunzioni facciamo nei singoli modelli statistici, e dalle semplificazioni in essere di volta in volta.

Se dal punto di vista psicologico e sociale voler trovare una data certa è comprensibile, i modelli e le stime di questi giorni che si basano ognuno su assunzioni a priori diverse non possono dare certezze. Molti dei modelli di previsione si basano per esempio sulla pandemia del 2009 (l’ultima prima di COVID-19), che però era un sottotipo di virus influenzale: siamo sicuri che il nuovo coronavirus si comporti in modo analogo? E ancora, altri modelli prevedono di livellare le strategie di contenimento presupponendo che ognuna di esse abbia la stessa forza nel ridurre il contagio, oppure si fanno paragoni con quanto accaduto in Cina. Senza contare che i dati stessi, su cui i modelli si basano, sono in primis oggetto di dubbio. Per una serie di ragioni, alcune delle quali indipendenti dalla nostra volontà, mentre altre legate alla metodologia non corretta adottata soprattutto nelle prime fasi, i numeri che vediamo ogni giorno aggiornati dalla Protezione Civile sono poco utili. Incompleti, non aderenti, parziali, non uniformi e incostanti, i dati disponibili devono essere presi talmente tanto con le pinze, che noi di Mada abbiamo deciso di non fornire aggiornamenti quotidiani né periodici sull’andamento del contagio, quanto invece contribuire a raccontare la diffusione al di là dei numeri.

In definitiva, quando finirà?

Le previsioni, seppur parziali, sono molto utili per pianificare strategie e interventi, ma rimangono poco interessanti per il cittadino comune, che rischia di aggrapparsi fiducioso ad una data, con l’alto rischio di vedere le proprie speranze disattese. Ci sono molte incognite e ad ora non ci sono elementi per fare previsioni certe attraverso modelli predittivi attendibili. Questo però non deve demoralizzarci, più di quanto non lo siamo già, vista la situazione, né farci prendere dallo sconforto: indipendentemente dalla data di fine epidemia, dobbiamo tenere bene a mente che il ritorno alla normalità dovrà essere graduale, per non vanificare gli sforzi di queste settimane.

Carlotta Jarach