¿Aciertos precisos? ¿80% de precisión? Quake Red Alert en problemas

El grupo brasileño Quake Red Alert (QRA) sí que ha sido noticia esta última semana en Chile. Es tanta la atención que captaron, que el viernes 20 de abril los cuatro miembros de QRA fueron traídos a Chile y estuvieron repartidos entre los programas matinales de televisión explicando su método.

De las entrevistas en los matinales, la que vi por un rato fue la conversación de Marcelo Lagos (geógrafo) y Aroldo Maciel (líder de QRA). El video está disponible en línea en el sitio de TVN.

Mi opinión personal y rápida de lo dicho es que la primera suposición fuerte que QRA hace es que un sismo de gran intensidad puede causar “réplicas” pero en varias placas geológicas más allá del lugar de origen. El método se basaría en que después de observar la ocurrencia de un sismo importante, QRA monitorea los “microsismos” que se deberían provocar producto de la “perturbación” provocada por el sismo principal alrededor del planeta. Mirando eso, ellos dicen que pueden estimar la velocidad por la que tal perturbación avanza (incluida su dirección), y podrían estimar “cuando” tal perturbación podría alcanzar una zona como Chile, y producir un sismo acá.

¿Es esa idea válida? A priori, uno podría considerar que sí. Mal que mal, todas las placas de la corteza terrestre están conectadas unas con otras, así que se podría suponer inicialmente que el movimiento en una sí puede provocar un siguiente movimiento en otras, incluso otras lejanas.

Sin embargo, Marcelo Lagos le hizo a Maciel una observación que el líder de QRA en mi opinión no responde con claridad: ¿Cómo saben exactamente en qué punto de una placa remota se producirá un futuro sismo? Pero dejando el beneficio de la duda, podría ser que Maciel sea malo explicándolo, pero su método matemático, heurística, algoritmo o modelo sí lo haga, sepa él explicarlo o no.

El segundo reparo que puedo hacer es que si bien hay aparentemente éxitos muy vistosos de QRA prediciendo sismos, como el haber predicho el terremoto en Turquía el 23 de octubre de 2011, del cual Maciel orgullosamente indicó como un acierto, pero cuando los propios conductores le preguntaron porqué QRA anunció que iba a ser un sismo 4.6 Richter, pero el evento fue un verdadero terremoto 7,1 grados en magnitud de momento (Mw), ¿Cuál era la precisión de la intensidad de su pronóstico? Al cuestionarle esto, en mi opinión Maciel no fue capaz de explicar tamaño error de predicción de su sistema.

Y cuando hablo de errores de predicción, me refiero a esto: Primero QRA anuncia que habrá un sismo en Turquía 

Possible earthquake in northern Iran M.4.6 estimated time 5 hours. 
http://twitter.com/#!/QuakeRedAlert/status/127930321713905664 

Traducido: "Posible terremoto en el norte de Irán. M 4.6 tiempo estimado 5 horas". Fechado: 11:22 pm del 22 octubre, asumo hora de Brasil. Una cosa interesante de la predicción: No indica el lugar del epicentro excepto por “norte de Irán”, y fija la magnitud en 4.6 (Richter).

¿Qué ocurrió en la zona? Un terremoto al este de Turquía (y cerca de la frontera con la zona norte de Irán) de magnitud de momento 7.1 Mw (según la USGS), a las 10:41 UTC.

Este evento es reportado por QRA como “confirmación” (acierto), y con un error de “70 kilómetros”:

@quakeredalert Confirmed earthquake to the north of Iran with local error 70km Van-Turkey border http://owl.li/760pc check map-... 

 http://twitter.com/#!/QuakeRedAlert/status/128074617003843584 

Traducido: "Confirmado terremoto al norte de Irán con error local de 70 Km Van, frontera Turquía. Revisen mapa ...". Este último mensaje fue publicado a las 8:45 AM del 23 de octubre, alrededor de 8 horas después de la predicción original publicada en Twitter.

¿Y cuando ocurrió el terremoto de Turquía en la hora de Brasil según los registros de la USGS?

Sunday, October 23, 2011 at 08:42:21 AM - Rio de Janeiro, Sao Paulo 
http://neic.usgs.gov/neis/eq_depot/2011/eq_111023_b0006bqc/neic_b0006bqc_tz.html

Es decir, el sismo ocurrió ¡8 horas después del aviso que decía que ocurriría con exactitud en una ventana de 5 horas!. Es decir, este sismo ocurrió 3 horas fuera de la ventana de tiempo predicha por QRA.

Lo segundo que llama la atención es que se diga que erraron por 70 kilómetros; QRA nunca anunció el lugar preciso del norte de Irán donde su sistema indicaba el epicentro. Lo que sí se observa es que el sismo ocurrió alrededor de 70 kilómetros al oeste de la frontera con Irán, en Turquía. Ya que QRA no indicó en su pronóstico el lugar exacto de su estimación, el que digan a posteriori que tuvieron 70 Km de error me parece sumamente antojadizo. Si el terremoto hubiera sido 70 Km al este de la frontera del "norte de Irán", en Azerbaiyán ¿También hubieran anunciado un error de 70 Km de la “zona norte de Irán”?

La verdad, si QRA en su modelo de predicción conoce un punto exacto esperado para el epicentro del sismo pronosticado, lo sensato es que QRA mire el mapa y e indique el punto. En este caso debiera haber anunciado un sismo “en la frontera entre Turquía e Irán, al oeste de la ciudad iraní de Khoy”. O simplemente haber indicado las coordenadas. Y luego, con todo derecho podrían haber declarado únicamente 70 kilómetros de error.

Y lo tercero y más grave: hay una distancia sideral entre un sismo 4.6 Richter (magnitud local) y 7.1 Mw (magnitud de momento). Si ese es el rango de error en cuanto a la intensidad del modelo usado por QRA, hay que decir que es muy poco fiable, pues entonces no garantiza que de anunciar un terremoto peligroso 7.1 ocurra un sismo 4.6 o viceversa.

Por lo tanto, cuando se le observa con atención uno de los principales éxitos de QRA anunciando sismos, el terremoto en Turquía del 23 de octubre de 2011, el acierto empieza a desdibujarse, pues el terremoto:

1. Estuvo fuera de su ventana de tiempo anunciada por QRA,
2. Estuvo completamente fuera del rango de intensidad anunciado por QRA y
3. Al anunciar QRA una zona completamente vaga (“norte de Irán”), el punto del epicentro podría haber sido literalmente cualquiera, 70 kilómetros alrededor de la frontera del “norte de Irán”, que no es un punto sino una zona de miles de kilómetros cuadrados donde “acertar”.

Con esto, tomando los dos análisis de eventos sísmicos que realicé en un artículo anterior, y el análisis del “acierto” de Turquía en este artículo, uno podría decir que definitivamente los anuncios de sismos de QRA son vagos, inexactos y que en ocasiones fallan. Pero esperen ¿Se puede concluir con sólo revisar 3 casos que el sistema de QRA es inexacto o impreciso? ¿Que hay del resto de sus anuncios, en que los medios indican entre un 80% a un 95% de aciertos de QRA?

Efectivamente, es claro que basta tomar unos pocos ejemplos y examinarlos para confirmar que QRA efectivamente tiene  predicciones vagas y que fallan, pero es cuestionable decir que el método completo de QRA es poco preciso en general en cuanto a aciertos con solo estudiar 3 casos. La forma correcta es tomar un conjunto amplio de predicciones pasadas de QRA y ver que grado de efectividad tuvieron esas predicciones observando los datos geológicos. Hacer esto no es difícil, pues basta con ir y extraer las predicciones pasadas de QRA en su Twitter y revisar en los sitios de geofísica correspondientes si hubo un sismo tal como fue anunciado. Pero es un trabajo relativamente arduo y tedioso. Pero alguien ya se tomó la molestia de hacerlo.

¿80% de precisión?

En un artículo anterior escribí como al buscar algunos avisos previos de sismos en el sitio de Twitter de QRA se observaban fallos en sus anuncios. Afortunadamente, el usuario de Twitter @sebasak hizo el esfuerzo de buscar y analizar al menos 55 anuncios de QRA desde su cuenta de Twitter que correspondieran a Chile, y luego buscó en los registros de GUC si el pronóstico fue acertado, considerando el criterio del propio QRA de que ellos anuncian sismos “sobre 4.5”, por ello sismos menores que esos son ignorados, y los colocó en esta planilla. La estadística que se logra, con los datos que observo de su versión del 21 de abril hasta las 21:00 horas es sorprendente:

• Aciertos 8.
• Fallos: 47.
• Total de casos: 55

De acuerdo a esto, la tasa de aciertos de QRA para anunciar sismos en Chile es de apenas un 14.55%. Eso es el equivalente a acertar en la predicción de un sismo en 1 de cada 7 anuncios. Y eso es absolutamente lejos de tener una tasa de aciertos de (al menos) un 80% como se anuncia casi como una verdad revelada por todas partes.

Y nótese que esta baja tasa de aciertos sólo explica los errores de “falsos positivos”, es decir, los casos donde QRA hace un anuncio de futura ocurrencia de un sismo, pero este no ocurre. Si además tomáramos todos los sismos entre dos anuncios que figuran en esa planilla de cálculo, por ejemplo, entre el 04 de enero de 2012 (anuncian un sismo, no hubo) y el 16 de enero de 2012 (anuncian un sismo, no hubo), las cosas podrían ser aún peores para QRA.

Revisando el Twitter de QRA encontramos otro anuncio que involucra a Chile en ese rango de fechas:

“posibilidad de sismo en el norte de Chile entre Calama y Taparaca y el tiempo estimado de 12 horas.menor intensidad(Estamos trabajando con... “
http://twitter.com/#!/QuakeRedAlert/status/157651659907014656
Fecha 12 enero de 2012.
Resultado: No Hubo (sobre 4.5).

Ese pronóstico sumaría a los “No hubo”, bajando aún más la tasa de aciertos.

Pero lo terrible es que si buscamos entre esas dos fechas sismos en Chile sobre 4.5, encontramos que hubo 6 de ellos:

• 05/01/2012, magnitud 4.7 a 282 km al O de Puerto Aysén 
• 06/01/2012, magnitud 4.7 a 94 km al O de Lebu 
• 09/01/2012, magnitud 5.2 a 36 km al O de La Ligua 
• 10/01/2012, magnitud 5.0 a 90 km al N de San Pedro de Atacama 
• 11/01/2012, magnitud 5.2 a 52 km al N de Huasco 
• 15/01/2012, magnitud 4.9 a 18 km al O de Iquique 

En sólo ese rango de fechas (4 de enero de 2012 a 16 de enero de 2012), tenemos 6 sismos sobre 4.5 grados Richter que simplemente no fueron anunciados por QRA como predicciones. Estos 6 sismos deberían contar estadísticamente como falsos negativos, y por lo tanto, como fallos adicionales: QRA no anunció que hubiera posibilidad de sismo en Chile, y sí hubo un sismo.

Si se tomara en cuenta la cantidad de falsos negativos de QRA, probablemente la precisión de QRA para anunciar sismos caería lejos bajo el 14% preliminar de los resultados del usuario @sebasak.

Lo que ocurre en este instante es que no sabemos cual es el modelo exacto que QRA usa para hacer sus predicciones, y no sabemos si la gente de QRA no hizo estas 6 predicciones "omitidas" porque el modelo no los anunció (un real falso positivo), porque sí lo anunció y ellos no quisieron publicarlo, o simplemente porque QRA no sacó cuentas para Chile en esos días, por cualquier motivo.

¿Queda esperanza?

Hasta ahora mi conclusión es que el modelo que QRA está desarrollando incluso podría tener alguna sorpresa que sorprenda al mundo científico, pues tal vez en algunos casos específicos podría haber casos de sismos que sí tengan una correlación importante con sismos anteriores de otros lugares del mundo, pero mientras el modelo no se conozca, determinar la cantidad de falsos negativos del modelo es imposible, y lo que es ya malo, es que observando los anuncios de sismos ya publicados por QRA en su Twitter hacia atrás, su tasa de aciertos es lejos, pero muy lejos inferior a lo anunciado por la prensa, y es del orden de apenas 15%, número que podría incluso disminuir a futuro una vez que tengamos datos más precisos para evaluar su método.

Con esto, siento que las posibilidades de que QRA de verdad hayan descubierto algo que pueda revolucionar el mundo de la sismología y de que sean ellos quienes entreguen a la humanidad una añorada herramienta que permita predecir terremotos y salvar miles de vidas, son muy bajas. Honestamente, quisiera equivocarme, pero hasta ahora, es ahí donde apunta la evidencia.