VERIFICA DELLE PREVISIONI PRETEMP
Da gennaio 2023, al fine di offrire ai propri utenti una misura quantitativa dell’affidabilità dei nostri prodotti, PRETEMP inizia a pubblicare una verifica sperimentale delle proprie previsioni. Le cartine di verifica verranno pubblicate mensilmente verso la metà del mese successivo sulle pagine predisposte alla condivisione delle previsioni che possono essere consultate in archivio.
La verifica del prodotto PRETEMP è particolarmente critica e per questo non esiste un metodo univoco a cui potersi affidare. È per questo che è stato deciso di adattare i metodi utilizzati dallo Storm Prediction Centre (SPC) della NOAA al caso italiano, usufruendo delle segnalazioni registrate nello Storm Report, gestito con l’associazione Meteonetwork.
Si è inoltre concordato di effettuare la verifica con due diversi approcci: uno di tipo dicotomico e uno di tipo probabilistico. Il motivo di questa decisione risiede nel fatto che le due metodologie si completano tra loro offrendo una valutazione più realistica.
Oltre alla valutazione della previsione in termini quantitativi, spazializzando le segnalazioni dello Storm Report tramite una distribuzione gaussiana, si propone la previsione “quasi perfetta”, ossia la miglior previsione che si sarebbe ottenuta a posteriori conoscendo la distribuzione delle segnalazioni (Hitchens et al, 2013), utilizzando come deviazione standard il valore di 60 km, ottenuto massimizzando l’indice CSI (Critical Success Index). I colori per la distribuzione di probabilità sono stati tarati allo scopo di ottenere un risultato grafico comparabile alla cartina abitualmente emessa da PRETEMP.
Approccio dicotomico (Skill)
Non tiene conto dei diversi livelli di probabilità della previsione, ma utilizza il livello 1 come soglia per cui ci si attende un temporale. Chiaramente questo è un approccio riduzionista, che non considera l'informazione di un livello 2 e 3. Tuttavia si è visto essere un indice abbastanza affidabile per dare una valutazione di massima della previsione, specie quando i livelli sono emessi su aree ristrette.
Una delle problematiche della verifica della previsione di eventi rari è definire un riferimento rispetto al quale valutare la previsione. La valutazione con questo metodo viene confrontata con la previsione che farebbe una persona senza conoscenza della materia, che non sapendo nulla, emette un livello di rischio 1 su tutto il dominio di previsione (Hitchens and Brooks, 2014). L'indice che ne deriva, la Skill, assume valori positivi se PRETEMP è stato più capace del previsore che non sa nulla, altrimenti assume valore negativo.
Approccio probabilistico (Brier Skill Score)
In questo caso si usa il Brier Skill Score, il quale tiene conto dei livelli di probabilità emessi da PRETEMP: livello 0 (0%),livello 1 (20%), livello 2 (50%), livello 3 (75%). I valori di probabilità sono da considerarsi come la probabilità per cui, per ogni punto della cartina nel raggio di 40 km, venga registrata una segnalazione di temporale forte nello Storm Report. La valutazione di probabilità è confrontata in questo caso con la climatologia di quel mese delle segnalazioni dello Storm Report (Herman et al, 2018). Dunque se il Brier Skill Score assume valori positivi significa che PRETEMP ha fatto una previsione più affidabile rispetto a quella ottenibile dalla climatologia, viceversa se assume valori negativi.
Lettura combinata degli indici
Quando entrambi gli indici assumono valori positivi, significa che la previsione è stata molto buona, in particolare se si avvicinano al valore 1. Se il Brier Skill Score (BSS) è negativo e la Skill è positiva, la previsione è buona rispetto al previsore ignorante ma non rispetto alla climatologia. Viceversa, se la Skill è negativa e il BSS è positivo la previsione è buona rispetto alla climatologia ma non rispetto alla previsione del previsore ignorante. Inoltre, nei mesi con poche segnalazioni (tra dicembre e aprile in particolare) l'indice Brier Skill Score è meno affidabile, in quanto la frequenza climatologica su cui è basato è molto piccola.
In generale quindi, si può considerare che se almeno uno dei due indici è positivo, la previsione è buona. Se lo sono entrambi è molto buona. Se entrambi sono negativi, la previsione è sbagliata.
Nei casi di assenza di livello 1 (o maggiore) e di segnalazioni la Skill assume il valore 0 e il Brier Skill Score il valore di 1.
Vengono nel seguito proposti tre casi di previsioni molto buone, che possono essere utili per comparare i risultati delle previsioni PRETEMP future.
3 luglio 2020
29 agosto 2020
25 settembre 2020
Note finali
La descrizione qui proposta non è esaustiva, e vuole solo dare delle linee guida su come interpretare la verifica delle previsioni. Per qualunque ulteriore dubbio, curiosità o interesse nel collaborare per migliorare quanto fatto finora, non si esiti a contattare:
Bibliografia
Herman, G. R., Nielsen, E. R., & Schumacher, R. S. (2018). Probabilistic verification of Storm Prediction Center convective outlooks. Weather and Forecasting, 33(1), 161-184.
Hitchens, N. M., & Brooks, H. E. (2014). Evaluation of the Storm Prediction Center’s convective outlooks from day 3 through day 1. Weather and Forecasting, 29(5), 1134-1142.
Hitchens, N. M., Brooks, H. E., & Kay, M. P. (2013). Objective limits on forecasting skill of rare events. Weather and forecasting, 28(2), 525-534.
Questa previsione è distribuita con Licenza Creative Commons Attribuzione 4.0 Internazionale.