Alertas y verificación de detecciones

Una alerta es la conversión de una variable continua en una respuesta de sí o no. Cuando una anomalía, un índice o un pronóstico supera un umbral, se emite un aviso; cuando no lo supera, no se emite. Al tratarse de un aviso sobre un evento que ocurre o no ocurre, su calidad puede evaluarse con los mismos procedimientos que se aplican a los pronósticos de lluvia en la lección Cómo se mide el error de un pronóstico.

Aciertos, falsas alarmas y omisiones

Al comparar cada aviso con lo que ocurrió después se obtienen cuatro combinaciones (aciertos, falsas alarmas, omisiones y negativos correctos), reunidas en la tabla de contingencia que se describe en la lección sobre verificación de pronósticos.

La probabilidad de detección (POD), también llamada sensibilidad, es la fracción de los eventos ocurridos que fueron avisados. La razón de falsas alarmas (FAR) es la fracción de los avisos que no se cumplieron, y la tasa de falsas alarmas (POFD), la fracción de las situaciones sin evento que recibieron aviso. Las tres se calculan con casillas distintas de la tabla y responden preguntas diferentes, lo que explica que a menudo se confundan.

Razón y tasa de falsas alarmas con eventos poco frecuentes

La diferencia entre las dos medidas adquiere importancia cuando el evento es raro, porque los negativos correctos son entonces muy numerosos. A modo de ejemplo, con datos ilustrativos, se evalúan 1.000 casos de lote y fecha, de los cuales 20 presentaron el evento. Con un umbral estricto, la tabla es la siguiente:

	Evento ocurrió	Evento no ocurrió
Con alerta	Aciertos: 10	Falsas alarmas: 5
Sin alerta	Omisiones: 10	Negativos correctos: 975

La POD es 10 / 20 = 0,50. La FAR es 5 / 15 ≈ 0,33, de modo que una de cada tres alertas fue falsa. La POFD es 5 / 980 ≈ 0,005, es decir, solo 0,5 % de los casos sin evento recibió alerta.

Con un umbral más laxo, los resultados son otros:

	Evento ocurrió	Evento no ocurrió
Con alerta	Aciertos: 18	Falsas alarmas: 60
Sin alerta	Omisiones: 2	Negativos correctos: 920

Ahora la POD es 18 / 20 = 0,90, la FAR es 60 / 78 ≈ 0,77 y la POFD es 60 / 980 ≈ 0,06. La tasa de falsas alarmas permanece en apariencia baja, con 6 %, mientras que más de tres cuartas partes de las alertas emitidas no se cumplieron. La razón de falsas alarmas informa cuánto se puede confiar en un aviso concreto; la tasa informa qué fracción de las situaciones sin evento genera un aviso. Con eventos raros la segunda suele ser pequeña y no basta para juzgar la utilidad de la alerta.

Al complemento de la razón de falsas alarmas, 1 − FAR, se le conoce como valor predictivo positivo en estadística y en medicina. Depende de la frecuencia con que ocurre el evento, la frecuencia base, de modo que, con la misma POD y la misma POFD, el valor predictivo positivo disminuye cuando el evento es más raro.

Efecto de mover el umbral

Los valores de la variable que activa la alerta suelen ser más altos en las situaciones con evento que en las que carecen de él, pero las dos distribuciones se solapan en buena parte, de modo que ningún umbral de alerta las separa por completo. Hacer el umbral más fácil de superar aumenta la POD y también aumenta las falsas alarmas. Hacerlo más exigente reduce las falsas alarmas y aumenta las omisiones. Los dos ejemplos anteriores ilustran este intercambio.

Al recorrer todos los umbrales posibles y representar la POD frente a la POFD se obtiene la curva ROC (relative operating characteristic). Cuanto más se acerca la curva a la esquina superior izquierda, mayor es la capacidad de la variable para discriminar entre situaciones con evento y sin él. La elección del punto de la curva depende de las consecuencias: si omitir un evento es mucho más costoso que atender una falsa alarma, se justifica un umbral más laxo, y a la inversa. Esta decisión se formaliza en el modelo de costo y pérdida, que procede de Thompson (1952), fue desarrollado por Murphy (1977) y está expuesto en el texto de Wilks; se explica en la lección Uso del pronóstico en la toma de decisiones.

Gráfico en cuatro pasos con dos distribuciones superpuestas de una señal ficticia: los casos sin evento, en azul, centrados en valores bajos, y los casos con evento real, en ámbar, centrados en valores más altos, con una zona de solapamiento. Una línea vertical, el umbral, separa lo que genera alerta de lo que no. Tres barras inferiores cuentan los aciertos, las falsas alarmas y las omisiones, y cambian cuando el umbral se desplaza: al bajarlo aumentan los aciertos y las falsas alarmas, y al subirlo disminuyen las falsas alarmas y aumentan las omisiones. Los datos son ilustrativos.

Incertidumbre

La variable que se compara con el umbral contiene error de medición y variabilidad natural. Cuando su valor queda cerca del umbral, una variación pequeña basta para que la alerta aparezca o desaparezca, sin que la situación real haya cambiado. Una alerta binaria oculta esa proximidad, por lo que es útil conservar el valor, la fecha y, cuando exista, un intervalo o una probabilidad asociados al aviso, o bien emplear varios niveles de alerta en lugar de uno solo.

Cuando se emiten muchas falsas alarmas, además, los destinatarios tienden a restar atención a los avisos posteriores. La razón de falsas alarmas tiene entonces un efecto práctico sobre la confianza en el sistema, además de su valor estadístico.

Verificación en campo

La tabla de contingencia solo puede construirse si se conoce qué ocurrió realmente, y ese dato proviene de la verificación en campo o de otra observación independiente. Su alcance es limitado cuando solo se visitan los lotes con alerta, puesto que no se llega a conocer ni las omisiones ni los negativos correctos. Esta distorsión se denomina sesgo de verificación. Para estimar la POD hace falta revisar también una muestra de lotes sin alerta.

La referencia de campo, por otra parte, no es infalible: depende de quién la realiza, de cuándo y de cómo se define el evento. Un criterio de verificación fijado de antemano y el registro del resultado de cada visita permiten recalcular las medidas con el tiempo y ajustar el umbral con base en evidencia.