sábado, abril 21, 2012

¿Aciertos precisos? ¿80% de precisión? Quake Red Alert en problemas


El grupo brasileño Quake Red Alert (QRA) sí que ha sido noticia esta última semana en Chile. Es tanta la atención que captaron, que el viernes 20 de abril los cuatro miembros de QRA fueron traídos a Chile y estuvieron repartidos entre los programas matinales de televisión explicando su método.

De las entrevistas en los matinales, la que vi por un rato fue la conversación de Marcelo Lagos (geógrafo) y Aroldo Maciel (líder de QRA). El video está disponible en línea en el sitio de TVN.

Mi opinión personal y rápida de lo dicho es que la primera suposición fuerte que QRA hace es que un sismo de gran intensidad puede causar “réplicas” pero en varias placas geológicas más allá del lugar de origen. El método se basaría en que después de observar la ocurrencia de un sismo importante, QRA monitorea los “microsismos” que se deberían provocar producto de la “perturbación” provocada por el sismo principal alrededor del planeta. Mirando eso, ellos dicen que pueden estimar la velocidad por la que tal perturbación avanza (incluida su dirección), y podrían estimar “cuando” tal perturbación podría alcanzar una zona como Chile, y producir un sismo acá.

¿Es esa idea válida? A priori, uno podría considerar que sí. Mal que mal, todas las placas de la corteza terrestre están conectadas unas con otras, así que se podría suponer inicialmente que el movimiento en una sí puede provocar un siguiente movimiento en otras, incluso otras lejanas.

Sin embargo, Marcelo Lagos le hizo a Maciel una observación que el líder de QRA en mi opinión no responde con claridad: ¿Cómo saben exactamente en qué punto de una placa remota se producirá un futuro sismo? Pero dejando el beneficio de la duda, podría ser que Maciel sea malo explicándolo, pero su método matemático, heurística, algoritmo o modelo sí lo haga, sepa él explicarlo o no.

El segundo reparo que puedo hacer es que si bien hay aparentemente éxitos muy vistosos de QRA prediciendo sismos, como el haber predicho el terremoto en Turquía el 23 de octubre de 2011, del cual Maciel orgullosamente indicó como un acierto, pero cuando los propios conductores le preguntaron porqué QRA anunció que iba a ser un sismo 4.6 Richter, pero el evento fue un verdadero terremoto 7,1 grados en magnitud de momento (Mw), ¿Cuál era la precisión de la intensidad de su pronóstico? Al cuestionarle esto, en mi opinión Maciel no fue capaz de explicar tamaño error de predicción de su sistema.

Y cuando hablo de errores de predicción, me refiero a esto: Primero QRA anuncia que habrá un sismo en Turquía 
Possible earthquake in northern Iran M.4.6 estimated time 5 hours. 
http://twitter.com/#!/QuakeRedAlert/status/127930321713905664 
Traducido: "Posible terremoto en el norte de Irán. M 4.6 tiempo estimado 5 horas". Fechado: 11:22 pm del 22 octubre, asumo hora de Brasil. Una cosa interesante de la predicción: No indica el lugar del epicentro excepto por “norte de Irán”, y fija la magnitud en 4.6 (Richter).

¿Qué ocurrió en la zona? Un terremoto al este de Turquía (y cerca de la frontera con la zona norte de Irán) de magnitud de momento 7.1 Mw (según la USGS), a las 10:41 UTC.

Este evento es reportado por QRA como “confirmación” (acierto), y con un error de “70 kilómetros”:
@quakeredalert Confirmed earthquake to the north of Iran with local error 70km Van-Turkey border http://owl.li/760pc check map-... 
 http://twitter.com/#!/QuakeRedAlert/status/128074617003843584 
Traducido: "Confirmado terremoto al norte de Irán con error local de 70 Km Van, frontera Turquía. Revisen mapa ...". Este último mensaje fue publicado a las 8:45 AM del 23 de octubre, alrededor de 8 horas después de la predicción original publicada en Twitter.

¿Y cuando ocurrió el terremoto de Turquía en la hora de Brasil según los registros de la USGS?
Sunday, October 23, 2011 at 08:42:21 AM - Rio de Janeiro, Sao Paulo 
http://neic.usgs.gov/neis/eq_depot/2011/eq_111023_b0006bqc/neic_b0006bqc_tz.html
Es decir, el sismo ocurrió ¡8 horas después del aviso que decía que ocurriría con exactitud en una ventana de 5 horas!. Es decir, este sismo ocurrió 3 horas fuera de la ventana de tiempo predicha por QRA.

Lo segundo que llama la atención es que se diga que erraron por 70 kilómetros; QRA nunca anunció el lugar preciso del norte de Irán donde su sistema indicaba el epicentro. Lo que sí se observa es que el sismo ocurrió alrededor de 70 kilómetros al oeste de la frontera con Irán, en Turquía. Ya que QRA no indicó en su pronóstico el lugar exacto de su estimación, el que digan a posteriori que tuvieron 70 Km de error me parece sumamente antojadizo. Si el terremoto hubiera sido 70 Km al este de la frontera del "norte de Irán", en Azerbaiyán ¿También hubieran anunciado un error de 70 Km de la “zona norte de Irán”?

La verdad, si QRA en su modelo de predicción conoce un punto exacto esperado para el epicentro del sismo pronosticado, lo sensato es que QRA mire el mapa y e indique el punto. En este caso debiera haber anunciado un sismo “en la frontera entre Turquía e Irán, al oeste de la ciudad iraní de Khoy”. O simplemente haber indicado las coordenadas. Y luego, con todo derecho podrían haber declarado únicamente 70 kilómetros de error.

Y lo tercero y más grave: hay una distancia sideral entre un sismo 4.6 Richter (magnitud local) y 7.1 Mw (magnitud de momento). Si ese es el rango de error en cuanto a la intensidad del modelo usado por QRA, hay que decir que es muy poco fiable, pues entonces no garantiza que de anunciar un terremoto peligroso 7.1 ocurra un sismo 4.6 o viceversa.

Por lo tanto, cuando se le observa con atención uno de los principales éxitos de QRA anunciando sismos, el terremoto en Turquía del 23 de octubre de 2011, el acierto empieza a desdibujarse, pues el terremoto:
  1. Estuvo fuera de su ventana de tiempo anunciada por QRA,
  2. Estuvo completamente fuera del rango de intensidad anunciado por QRA y
  3. Al anunciar QRA una zona completamente vaga (“norte de Irán”), el punto del epicentro podría haber sido literalmente cualquiera, 70 kilómetros alrededor de la frontera del “norte de Irán”, que no es un punto sino una zona de miles de kilómetros cuadrados donde “acertar”.
Con esto, tomando los dos análisis de eventos sísmicos que realicé en un artículo anterior, y el análisis del “acierto” de Turquía en este artículo, uno podría decir que definitivamente los anuncios de sismos de QRA son vagos, inexactos y que en ocasiones fallan. Pero esperen ¿Se puede concluir con sólo revisar 3 casos que el sistema de QRA es inexacto o impreciso? ¿Que hay del resto de sus anuncios, en que los medios indican entre un 80% a un 95% de aciertos de QRA?

Efectivamente, es claro que basta tomar unos pocos ejemplos y examinarlos para confirmar que QRA efectivamente tiene  predicciones vagas y que fallan, pero es cuestionable decir que el método completo de QRA es poco preciso en general en cuanto a aciertos con solo estudiar 3 casos. La forma correcta es tomar un conjunto amplio de predicciones pasadas de QRA y ver que grado de efectividad tuvieron esas predicciones observando los datos geológicos. Hacer esto no es difícil, pues basta con ir y extraer las predicciones pasadas de QRA en su Twitter y revisar en los sitios de geofísica correspondientes si hubo un sismo tal como fue anunciado. Pero es un trabajo relativamente arduo y tedioso. Pero alguien ya se tomó la molestia de hacerlo.

¿80% de precisión?

En un artículo anterior escribí como al buscar algunos avisos previos de sismos en el sitio de Twitter de QRA se observaban fallos en sus anuncios. Afortunadamente, el usuario de Twitter @sebasak hizo el esfuerzo de buscar y analizar al menos 55 anuncios de QRA desde su cuenta de Twitter que correspondieran a Chile, y luego buscó en los registros de GUC si el pronóstico fue acertado, considerando el criterio del propio QRA de que ellos anuncian sismos “sobre 4.5”, por ello sismos menores que esos son ignorados, y los colocó en esta planilla. La estadística que se logra, con los datos que observo de su versión del 21 de abril hasta las 21:00 horas es sorprendente:
  • Aciertos 8.
  • Fallos: 47.
  • Total de casos: 55
De acuerdo a esto, la tasa de aciertos de QRA para anunciar sismos en Chile es de apenas un 14.55%. Eso es el equivalente a acertar en la predicción de un sismo en 1 de cada 7 anuncios. Y eso es absolutamente lejos de tener una tasa de aciertos de (al menos) un 80% como se anuncia casi como una verdad revelada por todas partes.

Y nótese que esta baja tasa de aciertos sólo explica los errores de “falsos positivos”, es decir, los casos donde QRA hace un anuncio de futura ocurrencia de un sismo, pero este no ocurre. Si además tomáramos todos los sismos entre dos anuncios que figuran en esa planilla de cálculo, por ejemplo, entre el 04 de enero de 2012 (anuncian un sismo, no hubo) y el 16 de enero de 2012 (anuncian un sismo, no hubo), las cosas podrían ser aún peores para QRA.

Revisando el Twitter de QRA encontramos otro anuncio que involucra a Chile en ese rango de fechas:
“posibilidad de sismo en el norte de Chile entre Calama y Taparaca y el tiempo estimado de 12 horas.menor intensidad(Estamos trabajando con... “
http://twitter.com/#!/QuakeRedAlert/status/157651659907014656
Fecha 12 enero de 2012.
Resultado: No Hubo (sobre 4.5).
Ese pronóstico sumaría a los “No hubo”, bajando aún más la tasa de aciertos.

Pero lo terrible es que si buscamos entre esas dos fechas sismos en Chile sobre 4.5, encontramos que hubo 6 de ellos:
  • 05/01/2012, magnitud 4.7 a 282 km al O de Puerto Aysén 
  • 06/01/2012, magnitud 4.7 a 94 km al O de Lebu 
  • 09/01/2012, magnitud 5.2 a 36 km al O de La Ligua 
  • 10/01/2012, magnitud 5.0 a 90 km al N de San Pedro de Atacama 
  • 11/01/2012, magnitud 5.2 a 52 km al N de Huasco 
  • 15/01/2012, magnitud 4.9 a 18 km al O de Iquique 
En sólo ese rango de fechas (4 de enero de 2012 a 16 de enero de 2012), tenemos 6 sismos sobre 4.5 grados Richter que simplemente no fueron anunciados por QRA como predicciones. Estos 6 sismos deberían contar estadísticamente como falsos negativos, y por lo tanto, como fallos adicionales: QRA no anunció que hubiera posibilidad de sismo en Chile, y sí hubo un sismo.

Si se tomara en cuenta la cantidad de falsos negativos de QRA, probablemente la precisión de QRA para anunciar sismos caería lejos bajo el 14% preliminar de los resultados del usuario @sebasak.

Lo que ocurre en este instante es que no sabemos cual es el modelo exacto que QRA usa para hacer sus predicciones, y no sabemos si la gente de QRA no hizo estas 6 predicciones "omitidas" porque el modelo no los anunció (un real falso positivo), porque sí lo anunció y ellos no quisieron publicarlo, o simplemente porque QRA no sacó cuentas para Chile en esos días, por cualquier motivo.

¿Queda esperanza?

Hasta ahora mi conclusión es que el modelo que QRA está desarrollando incluso podría tener alguna sorpresa que sorprenda al mundo científico, pues tal vez en algunos casos específicos podría haber casos de sismos que sí tengan una correlación importante con sismos anteriores de otros lugares del mundo, pero mientras el modelo no se conozca, determinar la cantidad de falsos negativos del modelo es imposible, y lo que es ya malo, es que observando los anuncios de sismos ya publicados por QRA en su Twitter hacia atrás, su tasa de aciertos es lejos, pero muy lejos inferior a lo anunciado por la prensa, y es del orden de apenas 15%, número que podría incluso disminuir a futuro una vez que tengamos datos más precisos para evaluar su método.

Con esto, siento que las posibilidades de que QRA de verdad hayan descubierto algo que pueda revolucionar el mundo de la sismología y de que sean ellos quienes entreguen a la humanidad una añorada herramienta que permita predecir terremotos y salvar miles de vidas, son muy bajas. Honestamente, quisiera equivocarme, pero hasta ahora, es ahí donde apunta la evidencia.

27 comentarios:

Millaray Rojas dijo...

Como siempre Daniel, ahora me declaro tu Fan. Análisis detallado, claro, tratando de ser lo más objetivo posible y aportando con datos que prácticamente nadie se daría el trabajo de buscar (o porque no sepan buscar, da lo mismo). Gracias por este artículo.

Sebastián dijo...

Daniel, en primer lugar, muchas gracias por mencionar mi análisis. Hay que tener en cuenta que éste fue bastante generoso, ya que se consideraron los sismos que no llegaron a ser sensibles. Además, el aviso del 21 de julio del 2011 (https://twitter.com/QuakeRedAlert/status/94179581866676224) se contó como acierto, pero sólo por haber indicado una zona extremadamente vaga; el temblor ocurrió aproximadamente 700 kilómetros al norte de Valparaíso. Si se eliminaran estos "aciertos" de la tabla, el número bajaría considerablemente.

Por otra parte, encuentro que los artículos que has publicado sobre estos brasileños dan justo en el clavo. Me preocupa enormemente que tanta gente les crea ciegamente a estas personas sin pararse a reflexionar si de verdad logran lo que aseguran hacer o no. Espero que lo que has escrito ayude a disipar la desinformación e ignorancia que hay sobre el tema.

Sebastián dijo...

Al parecer el enlace no se muestra correctamente, así que acá está de nuevo: https://twitter.com/QuakeRedAlert/status/94179581866676224

Edgar Luis Gomez dijo...

Daniel excelente articulo.  también la ultima "predicción" comunicada por salfate  fallo 
http://elreptilianoesceptico.blogspot.mx/2012/04/aclaraciones.html
Aun así mucha gente dice que no importa que acierten al 100% dicen que su predicciones son como las que ofrecen los meteorólogos. 

Yo estoy esperando el paper científico. por cierto aroldo al no manejar bien el español no le entendieron bien y la entrevista fue todo un lió. 

Saludos!!! 

Daniel dijo...

Hola Edgar Luis Gomez 

La comparación que haces con los meteorólogos me parece super pertinente. Hoy en día no tiene nada de asombroso que los meteorólogos hagan anuncios respecto de la próxima lluvia o tormenta, y tampoco asombra que en ocasiones fallen su predicción, por ejemplo cuando ocurre una lluvia inesperada (y no pronosticada) o cuando no llueve y estuviste todo el día paseando un paraguas.

Pero nadie declara que puedan tener ni les exige tener un 100% de precisión.

Ahora, ¿Por qué confiamos en los meteorólogos si con cierta frecuencia fallan? La razón es que la tasa de fallos es en general  mucho menor que la tasa de sus aciertos, y con el uso de información satelital cada vez más detallada, sus predicciones son cada vez más precisas en sus detalles. Por ejemplo, me encanta el sitio "Weather Underground", donde para el pronóstico del día, la lluvia se anuncia con % de probabilidad de ocurrencia:

http://www.wunderground.com/cgi-bin/findweather/hdfForecast?query=Santiago+chile&searchType=WEATHER&MR=1 

Entonces, volviendo a  QRA ¿Su método debiera ser perfecto y con 100% de aciertos? Sería ideal, pero supongo que nadie exige eso. Sin embargo la tasa de aciertos que están mostrando al mirar hacia atrás es muy pobre, y me queda la duda... ¿Qué tan cerca o lejos estaría de hacer predicciones al azar? Pues si el valor de aciertos no fuera mejor que adivinar o dar predicciones al azar, en tal caso, como método predictivo, no tendría valor.

Así que también espero su paper, para lograr entender con más detalles su método. Pero yo no soy sismólogo o geólogo. Serán los científicos que hagan peer review y los que repitan sus métodos para ver replicabilidad quienes tendrán la última palabra.

Daniel dijo...

@Sebastián 

Muchas gracias a tí por el tiempo que dedicaste a hacerlo, en primer lugar.
Una de las críticas adicionales que tengo al actuar de QRA es que el único "criterio" que he escuchado para definir si una predicción es un acierto o no es que el sismo (si ocurre) sea sobre 4.5 Ml; pero todo lo demás es vago, no hay criterios respecto de que tan cerca o lejos de una ventana de predicción algo es un acierto, que tan lejos puede ser un sismo del lugar o zona para considerarla un acierto... o incluso, cuál es exactamente la zona a la que se refieren. Con eso, decidir (ellos o cualquiera) de si un sismo debe denominarse un acierto o un fallo es al final casi "subjetivo", con lo que simplemente se ponen casi fuera de una metodología que se pueda considerar científica, donde la repetibilidad es vital.

Mellon_34 dijo...

A mi me gustaría poner a cualquiera a predecir un sismo. Creo que a nadie se le pasa por la cabeza como hacerlo.... no se trata de que le acierten 100% a las predicciones, se ha visto ya que tienen fallos de horas y intensidades... pero al fin y al cabo los sismos se han hecho presentes. Si lo vemos del punto de vista de que no son exactos... o sea por Dios... ya es un avance que están haciendo estos tipos.

Vicente dijo...

14% no es una predicción, es una adivinanza. Si yo me pusiera a adivinar dónde va a haber una réplica mientras miro USGS.gov,  te apuesto que podría llegar a ese mismo porcentaje si lanzo suficientes especulaciones.

Wo0O0oW dijo...

mas claro echarle agua =) entre todos los que "pensamos"  y a costa de los que  "creen"  logramos develar el sistema  misterio  ...

igual yo creo que  que no lo hacen de mala fe..  pero al tener NULO conocimiento científico .. caen en errores de  niños...

Anónimo dijo...

Yo creo que en este tema de intentar predecir movimientos teluricos es lo primero q da algo de resultados positivos. Por lo que en vez de chaquetear los cientificos deben poner atencion y ver el estudio cientifico. Y ahi recien decir si tienen o no NULO conoc cientifico. Si nadie ha visto algun paper o algo preliminar ¿como saber? Si hay algo en los fundamentos q sirva y se pueda mejorar ya es algo valioso. Las ciencias se van desarrollando con los diferentes estudios y experiencias... ¿por q les pedimos tengan un 100% de predicciones acertadas? La logica dice q esto no será jamas asi... ni en mil años mas....

Javier Villalobos A. dijo...

Daniel, hay un pequeño error que podría menoscabar tu planteamiento, sobre el sismo de Calama y Tarapacá. Ellos dicen, "sismo de menor intensidad" y tal parece que tú asumiste "mediana intensidad" (sobre 4.5 no es menor intensidad). Esto, aparentemente, muestra que te equivocaste al revisar los datos lo que podría darle validez a lo de Quake, ¿por qué?, porque la mayoría funciona en base a que si estás mal, entonces lo otro está bien. 

Daniel dijo...

Hola Javier Villalobos A. 

La observación que haces es buena. JUSTAMENTE que digan "sismo de menor intensidad" sin especificar que es exactamente "menor intensidad" en esa predicción en particular, hace que evaluar si a posteriori tal predicción tuvo o no éxito sea virtualmente subjetivo, y poco científico.

Y lo otro, el valor de 4.5 no un valor arbitrario que yo haya impuesto. Es el único parametro objetivo que QRA mismo puso, pues ellos dicen que predicen sismos únicamente de 4.5 hacia arriba. Luego, ignorar sismos bajo 4.5 no es por menoscabar arbitrariamente a QRA, sino simplemente seguir las condicionantes que el propio QRA dice de su método.

De hecho, algunas fuentes citan que ellos no hacen avisos bajo los 5.0 grados Richter" (Fuente: TerraTV http://terratv.terra.cl/Entretenimiento/Cine-y-TV/Television/Quake-Red-Alert-aclara-en-matinal-prediccion-de-sismo-en-Chile_9285-384847.htm, minuto 1:05).

Así que usar ese umbral de 4.5 es incluso _conviente_ para QRA. Y si ellos solo avisan sismos sobre ese umbral (4.5 o 5.0, en este análisis se eligió el umbral más bajo que de hecho favorece a QRA), cualquier sismo _bajo_ ese umbral no puede ser el que predijeron, y es correcto ignorarlo para fines estadísticos.Y el detalle curioso, citando al LT:


PRECISIÓNRespecto a la precisión de sus datos, existen dos respuestas. Según su sitio web, trabajan con un 20% de margen de error, mientras que esta mañana, Aroldo Maciel dijo en Bienvenidos de Canal 13 que el margen de error se reduce al 5% ó 7%.

Fuente: La Tercera 18/04/2012 http://latercera.com/noticia/tendencias/2012/04/659-455063-9-las-claves-de-quake-red-alert-los-brasilenos-que-aseguran-predecir-sismos.shtml

Si el margen de error es 20% (según) la página, o 5% a 7% (según Maciel en Canal 13), entonces su tasa de aciertos debiera ser de al menos un 80%, hasta un astronómicamente impresionante 93% a 95%. Pero los datos muestran que _apenas_ son de alrededor de un 15%, y siendo optimistas...Ese es el problema, y no son las bases del análisis el problema, en mi opinión,, sino simplemente que la realidad no se comporta como QRA pronostica.

Daniel dijo...

Comentario anónimo que llegó reportado a mi correo, pero que no salió publicado automáticamente por Disqus:

Anónimo el 23/04 a las 09:51AM:
Yo creo que en este tema de intentar predecir movimientos teluricos es lo primero q da algo de resultados positivos. Por lo que en vez de chaquetear los cientificos deben poner atencion y ver el estudio cientifico. Y ahi recien decir si tienen o no NULO conoc cientifico. Si nadie ha visto algun paper o algo preliminar ¿como saber? Si hay algo en los fundamentos q sirva y se pueda mejorar ya es algo valioso. Las ciencias se van desarrollando con los diferentes estudios y experiencias... ¿por q les pedimos tengan un 100% de predicciones acertadas? La logica dice q esto no será jamas asi... ni en mil años mas.... 

Zeroarias dijo...

Me parece una nota bastante buena, no se si tan objetiva como algunos mencionan y quizas algo exigente para una idea que aun esta en paper. Me considero una persona culta y no cualquier personaje me convencera de que puede predecir sismos, menos si se basa en posicion de planetas u llamaradas solares. Lo que me parece interesante de QRA es que su proyecto se basa en cosas tangibles,numeros, ciencia en general, y lo que mas me llena de optimismo es el hecho que estan trabajando para publicarlo en revistas de los mas altos standares relacionadas con la ciencia. Alguien se arriesgaria a hacerlo si no esta convencido de tener algo consistente? No es sensato pensar que Aroldo Maciel y su equipo se anticiparan a las cientos de preguntas que se hacen los cientificos y ya las deben estan contestando en su trabajo? Cual es el sentido de trabajar tanto en un proyecto, publicarlo para que sea juzgado por las entidades cientificas si en el fondo no supieran que tendran exito? Creo que cualquier comentario en pro o contra de QRA aun no tiene una base solida hasta no saber con certeza lo que publicaran, aunque interiormente pienso que lo que se mostrara sera a otro nivel de conocimiento que sin duda rompera los standares clasicos de la sismologia. Personalmente agradezco lo que ya han hecho y pienso interiormente sobre su efectividad....si anticipan 10 sismos fuertes para Santiago y aciertan 5 (50%) no lo desprecio....prefiero eso a nada.

Zeroarias dijo...

Frente a los datos que tu me muestras, claramente existe una diferencia notable a lo que ellos expresan en television (80 o 90% de efectividad) quizas el universo que se utilizo para esta estadistica es irreal, quizas de un universo de 800 anuncios los 47 fallos no reflejen tal sideral diferencia, pero aun asi te concedo ese punto....ahora creo que lo interesante aca es aunque efectivamente fuese efectiva esa gran diferencia...que pasa con ese 14% de efectividad? no es digno de investigar como lo logran? Si de 800 anuncios supongamos le acertaran 100 (12.5 efectividad) personalmente me agradaria saber como predicen esos 100 a ti no?...saludos

Daniel dijo...

Lo que veo, es que es un 14% sólo contando los falsos positivos. Si contamos los falsos positivos, es aún menor (aunque no he cuantificado _cuán_ menor es).

Ahora, supongamos hipotéticamente de que si se contaran _todos_ los casos (aciertos, falsos positivos y falsos negativos), se llegara a un 9% de efectividad. De ese 9% de efectividad ¿No es digno de investigar como  lo logran? Claro, es digno siempre y cuando ocurra una cosa:

Que la probabilidad de acertar sólo por casualidad la ocurrencia de un sismo sea lejos más baja que ese hipotético 9%. En tal caso, este nuevo método te aportaría algo de información a simplemente adivinar. Pero si hacemos un experimento y comenzamos a lanzar predicciones a la misma tasa que QRA y llegamos al mismo 9% de predicciones acertadas... el método no sirve de nada, aunque tenga un cierto "fundamento" que parezca tener sentido.

Yo tengo la sensación que si sencillamente hago "predicciones al azar", podría andar cerca de ese mismo nivel de aciertos, y si es el caso ¿De qué sirve un método para predecir que no predice mejor que adivinar al azar? A mi gusto nada. Ese es el gran problema de un grado _tan_ bajo de aciertos. Y por eso con el 50% que tu decías sería para saltar en un pie, pero con 14% y menos, no. Pero yo no he hecho el experimento de lanzar predicciones al azar y comprobar lo que digo, pero lo dejo como una contención posible de la que no se discute mucho tampoco. Probablemente sea una de las primeras cosas que se prueben en el peer review.

Saludos

Eric dijo...

lei el articulo y me parece interesante pero.....  hasta donde se el equipo de QRA se fundo recien el 2011 creo, por lo cual a la fecha deberian llevar recien 1 año de estudio, por ende su modelo esta en pañales aun, recordemos que hace 20 años atras te decian que iba a llover, salias abrigado y con paraguas y   hacia un sol salvaje y tal lluvia nunca llego, pero de a poco se fue mejorando la prediccion meteorologica, no te parece logico que estos brasileños recien esten puliendo sus metodos y tengamos mas acertividad segun pase el tiempo???
la verdad que prefiero ke me digan que va a llover para salir con el paraguas y no usarlo, a que no me digan y que me moje

saludos y buen post de tu blog

Daniel dijo...

Hola @Eric ,

En ciencia lo usual es primero investigar, probar que algo funciona, y luego de eso comenzar a usarlo en el mundo real, por ejemplo, sólo después de que algo es probado tiene sentido dar pronósticos públicos que pueden distar de ser perfectos, pero en ese momento tendrán una base probada que los hace comprobadamente mejores que simplemente adivinar, al menos en la mayoría de los casos, y aún si en algunos casos tiene fallas (como andar con paraguas y que no llueva) esos casos fueran la _excepción_.

En el caso de QRA, si ellos "recién" están puliendo su método, en mi opinión no deberían haber estado dando pronósticos con tan baja tasa de aciertos en forma pública, pues ellos causan más alarma que lo que realmente pueden prevenir.

¿Crees que tendría sentido que un equipo de investigación inyectara sustancias en personas probando cosas _durante_ la investigación de una vacuna, ANTES de que esté demostrado que esa vacuna puede funcionar? Y aún si _al final_ se logra una vacuna que funcione ¿Justificaría eso una seguidilla de fallos por inyectar sustancias que no funcionaban en personas _antes_ de tiempo? En mi opinión, no. Y eso es extrapolable al caso de QRA.

Saludos

Wo0O0oW dijo...

mira en la ciencia y mas en la estadística .. hay algo que se llama la significancia.. osea ver si el resultado es significativo o no .. 

 por ejemplo si yo digo que puedo predecir que una moneda caerá sobre la cara.. el 50% de las veces ... no tienen ni una relevancia.. por que el azar y las probabilidades así lo indica... por lo tanto es un resultado no significativo..
pero  si predigo que caerá el 80% de las veces sobre la cara... el ressultado claro que sera significativo .. ...
 las probabilidades  de temblores entre 4y5 grados para chile  nos indica  que se producen cada 2 a 3 días aprox.    estamos hablando que  si de 100 dia   me pongo a decir  todos los días  que habrá un temblor .. de seguro le apuntare a 20 o 30 por lo menos osea un de 20 a 30% de efectividad..
si pensamos que lo de ello es menor que  las probabilidades normales.. yo creo que queda fuera de todo criterio predictivo real .. y pasa a  entrar en la coincidencia .. 

Wo0O0oW dijo...

javier lo que sucede .. es que ellos mismos dijeron que prredecian sismos sobre 4,5 solamente .. no menor a eso .. 

 bueno y es razonable .. ya que hay 10 sismos o mas de menor a 4 grados todos los días en chile .. así que predecir eso no tendria ni una gracia... y no tendría ni una importancia.. 
yo los voi claramente cuando lo dijeron en un programa de TV

La1450 dijo...

 Hola Daniel:

Primero
felicitarte por el trabajo realizado, porque es el único serio que he
encontrado sobre el tema.  


QRA dice que el “principio”
de su teoría esta basado en el Péndulo de Newton, es decir que la energía  generada por un terremoto es transmitida, a
otro lugar, vía las placas tectónicas no adyacentes, generando un sismo de igual
o mayor magnitud del que le dio origen.  De
ser esto cierto, el sismo, consecuencia del de origen, también generará una
energía similar, que a su vez, debería transmitirse en dirección contraria y hacia
el origen de la misma forma en que se inicio todo el proceso y por lo tanto, debería
producirse un nuevo sismo en el origen, diferido en el tiempo, produciéndose  una serie de sismos que van oscilado entre esos
dos lugares.


Como lo anterior
no ocurre, el “principio” no me convence o es una muy mala analogía. Si a esto
le agrego, las explicaciones  confusas y
vagas del  señor Aroldo Maciel en televisión,
en donde ni siquiera fue capaz de dibujar a grandes rasgos la ubicación de las
placas tectónicas, no me queda más que ser muy escéptico. Esto me trae a la
memoria el georobot TR del Tesoro de Juan Fernández, que resultó un fiasco.


A mi modo de ver,
el problema radica en que los “creyentes”  y  el  grupo de comunicadores (periodistas,
animadores, conductores de TV, mas el Sr Salfate),  que se dicen serios e informados, han generado
un revuelo mediático sobre un “algoritmo” desconocido, al cual se le atribuyen cualidades
no demostradas y predicciones tan generales, que impiden hacer un análisis
serio y fundado. Todas la discusión esta basada en suposiciones y descalificaciones
a las personas que emiten su opinión y no en el fondo del problema.


Con relación al
tema de los meteorólogos, ellos hacen un pronóstico y no una predicción, que no
es lo mismo.


Saludos


Lucho

Daniel dijo...

Hola @fb0181ffbaaf84859db777974649450e ,

Gracias por tu comentario. Y estoy de acuerdo que el péndulo de Newton es una pésima analogía. De hecho, hay un capítulo de los Cazadores de Mitos (Mythbusters) donde intentaron construir uno grande, muy grande, y... NO funcionó:

http://dsc.discovery.com/videos/mythbusters-newtons-crane-cradle/

Eran tales las pérdidas, roces y todo, que simplemente no funcionó. Imagina aplicar entonces el principio a una placa geológica de miles de kilómetros cuadrados, donde la energía se disipa aún más. Decir que el principio es el mismo....... simplemente es no entender mucho de física :-(

Respecto a la diferencia entre pronóstico y predicción, sí, son diferentes", pero no tanto, más semántica que nada. Según la RAE:

Pronosticar: Conocer por algunos indicios lo futuro.
http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=pronosticar 

Predecir: Anunciar por revelación, ciencia o conjetura algo que ha de suceder.
http://buscon.rae.es/draeI/SrvltConsulta?TIPO_BUS=3&LEMA=predecir 

O sea, puedes "predecir" por ciencia, haciendo observaciones científicas que son indicios del futuro, lo cual equivale a pronosticar, pero también puedes predecir por revelación o conjetura, y en estos dos casos no hay respaldo en indicios científicos o comprobables, y eso lo deja al margen de la ciencia... o sea, se puede predecir o pronosticar el tiempo atmosférico científicamente, pero no se puede pronosticar vía conjetura o revelación, pues en tal caso no hay indicios comprobables... al menos, eso creo entender. Pero creo que es sano dejar los pronósticos reservados para ciencia, para evitar confusiones.

Saludos

La1450 dijo...

 Hola Daniel:

 

Si observas con detención las
definicones de la RAE, predicción: "....................ha de suceder". Esto es
imperativo y no es el caso de pronóstico, que a mi enteder, conlleva algun grado
de incerteza. En todo caso, son sinónimos.

 

Saludos

 

Lucho

Daniel dijo...

Buen punto :-)

clarksoft dijo...

Muy buen artículo.. Lo he guardado en mis favoritos por que últimamente este asunto es tema de todos los días.

Adiejknfckd dijo...

si solo se busca una parte de ellos en vez del total se tendrá solo un resultado parcial, un porcentaje equivoco, es lo mismo que los políticos y sus encuestas...
Mejor analicen el total de anuncios, así verán el porcentaje real y no algo antojadizo...

Daniel dijo...

Hola @Adiejknfckd ,

Si te fijas con atención, en el listado que se realizó se presentan _todos_ los twitts de QuakeRedAlert entre el 16 de julio de 2011 y el 13 de febrero de 2012 que mencionarón predicciones de sismos para Chile ( https://docs.google.com/spreadsheet/ccc?key=0Ar_7KqwdX654dDBMOGtqMnBYTjAyZ0JWTkJ6Q2pnM3c#gid=0 ) . Esos son los avisos _para_ Chile en 7 meses, y casi sin omitir ninguno (yo encontré uno que no se contabilizó, y que era fallido), y son en total 55. No fueron elegidos a dedo ni por ningún criterio excepto que fuera para Chile (pues QRA hace anuncios para otras partes del mundo). Y de esas 55 predicciones, al contrastar contra la información de la DGUCh, sólo 8 de esas 55 predicciones efectivamente tuvieron un sismo sobre 4.5 Mw/Ml en Chile que "confirmara" la predicción.

Dado que esos son virtualmente _todos_ los avisos para Chile de QRA en 7 meses ¿Podrías explicar qué es lo antojadizo del método? ¿Entiendes que si la afirmación de que QRA tiene un 80% de aciertos fuera cierta, al tomar 55 avisos para Chile, QRA debería haber acertado al menos a 44 sismos, y no sólo a 8?

Saludos