Verificación de pronósticos
Sesgo, error absoluto medio, RMSE, habilidad frente a una referencia y tabla de contingencia para la lluvia, con ejemplos numéricos ilustrativos.
Lo que aprenderá
- Calcular e interpretar el sesgo, el MAE y el RMSE
- Explicar por qué un sesgo cero no garantiza un buen pronóstico
- Leer una tabla de contingencia y diferenciar la razón de falsas alarmas de la tasa de falsas alarmas
Calificar un pronóstico como acertado es insuficiente para comparar fuentes, vigilar su mejora o decidir cuánta confianza merecen, y por ello el error se mide con números. Las medidas más usadas se presentan con las definiciones habituales de los textos de verificación, como el de Wilks, «Statistical Methods in the Atmospheric Sciences». Los ejemplos numéricos son ilustrativos.
El error de cada día
La verificación parte de comparar, día por día, lo pronosticado f con lo observado o. El error de un día es e = f − o: positivo si el pronóstico fue más alto que la observación, y negativo si fue más bajo.
Los ejemplos que siguen usan cinco días de lluvia en milímetros, con valores ilustrativos. Lo observado fue 0, 10, 4, 0 y 6, y lo pronosticado fue 4, 2, 8, 0 y 6. Los errores, en ese orden, son +4, −8, +4, 0 y 0.
Sesgo
El sesgo, o error medio, es el promedio de los errores:
Sesgo = (1/n) · Σ (f − o)
En el ejemplo, la suma es +4 − 8 + 4 + 0 + 0 = 0, de modo que el sesgo es de 0 mm. Un sesgo positivo indica tendencia a sobrestimar y uno negativo, a subestimar. Como los errores de signo contrario se cancelan, el pronóstico del ejemplo presenta sesgo cero aunque falló en tres de los cinco días. El sesgo revela la existencia de una tendencia, pero no permite juzgar por sí solo la calidad del pronóstico.
Error absoluto medio y raíz del error cuadrático medio
Para evitar la cancelación entre errores se suprime el signo. El error absoluto medio (MAE, por mean absolute error) promedia los errores en valor absoluto:
MAE = (1/n) · Σ |f − o|
En el ejemplo, el MAE es (4 + 8 + 4 + 0 + 0) / 5 = 3,2 mm, es decir, el pronóstico se equivoca en promedio 3,2 mm.
La raíz del error cuadrático medio (RMSE, por root mean square error) eleva los errores al cuadrado, los promedia y extrae la raíz:
RMSE = √[(1/n) · Σ (f − o)²]
En el ejemplo, √[(16 + 64 + 16 + 0 + 0) / 5] = √19,2 ≈ 4,4 mm. Al elevar al cuadrado, los errores grandes pesan más, por lo que el RMSE es siempre igual o mayor que el MAE, y la diferencia entre ambos refleja cuán desiguales son los errores. Un solo día muy desacertado, como el de −8, eleva el RMSE de forma apreciable, lo que lo hace apropiado cuando los errores grandes son especialmente costosos.
La correlación complementa a las medidas anteriores. Indica si lo pronosticado sube y baja junto con lo observado, aunque se encuentre en otra escala o desplazado hacia arriba o hacia abajo. Un pronóstico puede presentar así una correlación alta con un sesgo grande, y otro que reproduce la forma de la serie pero se adelanta o se atrasa un día puede tener una correlación baja.
Animación en cuatro pasos. Una serie pronosticada (punteada) se compara con la observada (continua) en veinte puntos, y cada error se representa como una barra. Los errores positivos y negativos se compensan en el sesgo, que es cercano a cero pese a la existencia de errores grandes. Un error grande pesa más en la raíz del error cuadrático medio que en el error absoluto medio. Por último, una tabla de contingencia de lluvia de dos por dos se completa con aciertos, fallos, falsas alarmas y negativos correctos. Datos ilustrativos.
Habilidad frente a una referencia
Un error de 3,2 mm solo puede juzgarse en comparación con una referencia. La habilidad (skill score) mide la mejora respecto de una referencia sencilla. Dos referencias habituales son la climatología, que pronostica siempre lo típico de la época, y la persistencia, que supone que mañana será igual que hoy.
El error cuadrático medio (MSE, por mean square error) es el RMSE antes de extraer la raíz.
SS = 1 − MSE / MSE_referencia
Un valor de 1 corresponde a un pronóstico perfecto, 0 equivale a la referencia y un valor negativo indica un desempeño peor que ella. En el ejemplo, se toma como referencia climatológica ilustrativa 4 mm todos los días, cuyo error cuadrático medio es 72 / 5 = 14,4 mm², frente a 19,2 mm² del pronóstico.
Se obtiene SS = 1 − 19,2 / 14,4 ≈ −0,33. A pesar del sesgo cero, el pronóstico fue peor que repetir lo típico. Calculada con el MAE, en cambio, ambos dan 3,2 mm y la habilidad sería 0, de modo que debe indicarse siempre con qué medida de error se calculó.
Lluvia como evento de sí o no: tabla de contingencia
Con frecuencia interesa determinar si llovió o no, por encima de una cantidad mínima definida de antemano. Cada día cae en una de las cuatro casillas de una tabla de contingencia. Los números siguientes son ilustrativos y corresponden a 100 días:
| Llovió | No llovió | |
|---|---|---|
| Pronosticó lluvia | Aciertos: 20 | Falsas alarmas: 15 |
| No pronosticó lluvia | Fallos: 10 | Negativos correctos: 55 |
De la tabla se derivan tres medidas que a menudo se confunden. La probabilidad de detección (POD) es la fracción de los días con lluvia que el pronóstico avisó:
POD = aciertos / (aciertos + fallos) = 20 / 30 ≈ 0,67
La razón de falsas alarmas (FAR) es la fracción de los avisos que no se cumplieron:
FAR = falsas alarmas / (aciertos + falsas alarmas) = 15 / 35 ≈ 0,43
La tasa de falsas alarmas (POFD) es la fracción de los días sin lluvia en que se emitió aviso de todos modos:
POFD = falsas alarmas / (falsas alarmas + negativos correctos) = 15 / 70 ≈ 0,21
La FAR y la POFD tienen distinto denominador y responden a preguntas diferentes. La primera indica qué tan confiable es un aviso, y la segunda, qué fracción de los días sin lluvia recibió un aviso. En eventos poco frecuentes los negativos correctos son numerosos, por lo que la POFD puede parecer pequeña aunque la mayoría de los avisos fallen.