Los falsos positivos

Una de las cosas mas interesantes de la investigación científica son los resultados falsos positivos.

Hablemos un poco del azar, de los resultados positivos, de los sesgos positivos y asi.

Imaginemos que nuestro proyecto es saber de que lado tenemos que poner la moneda en nuestro dedo para que cuando caiga en el piso salga siempre sol.

Tenemos entonces dos inicios posibles y dos respuestas posibles.

Inicio águila en inicio sol. Respuesta águila y respuesta sol.

Imaginemos que empezamos con el inicio águila. Ponemos nuestra moneda con la cara águila viendo hacia arriba, lanzamos el volado y observamos la respuesta.

Imaginemos que la respuesta es águila. Inmediatamente podemos concluir que si iniciamos con águila, no cae sol, pues la pregunta está formulada como "siempre cae sol". No tiene ningún sentido repetir el experimento proque no hay manera de conseguir un "siempre cae sol" a partir de tirar la moneda con un inicio águila.

Ahora imaginemos que al respuesta es sol. Existe la posibilidad de que si empezamos con sol, caiga sol. Pero lo importante es el "siempre cae sol", asi que tenemos que repetir el experimento hasta que caiga un águila. Si en algún momento cae águila entonces tendremos que concluir que no hay manera de que "siempre caiga sol" a partir del estado inicial.

Ahora imaginemos que repetimos el segundo tiro, y nuevamente cae sol a partir de sol y asi sucesivamente diez veces. ¿Son acaso diez veces suficientes para probar "siempre cae sol"? No.

Pero la impresión es que seguir adelante parecería inútil, vamos ya repetimos el experimento diez veces y diez veces hemos tenido el resultado que esperabamos.

Este es un resultado falso positivo.

Aprender a diferenciar falsos positivos de verdaderos positivos es un problema complicado, y como todos los problemas y de acuerdo con Murphy siempre se puede poner mas complicado.

Imaginemos ahora que la idea no es contestar "siempre sale sol" sino contestar la mayoría de las veces sale sol, y definimos la mayoría como 70% de las veces.

Inicio águila, resultado águila. El primer lance para saber si al tirar águila 7 de cada 10 veces cae sol es negativo. Nuestra primer impresión de este resultado (que es totalmente la tripa la que habla y no la razón) es que probablemente empezar con águila no termine con un 70% de soles. Pero la verdad es que tendríamos que hacer el experimento al menos 10 veces. El problema es que en general cuando el primer resultado es negativo la gente tiende a pensar que el resultado final será negativo mas que otra cosa.

El problema viene cuando el resultado es el contrario. Empezamos con sol y sale sol. Lo mas probable es que tengamos mas "ganas" de explorar este resultado y de creer que al final de experimento la premisa "tirar iniciando desde sol resulta en una mayoría de soles" pueda ser cierta.

Ahora como siento que el problema no es aún lo suficientemente complicado pensemos en algo mas complicado.

Imaginemos que tenemos en nuestras manos una moneda que por algún motivo misterioso cae en sol el 70% de las veces cuando uno empieza desde sol. Y repetimos el experimento mil veces y 700 fueron soles.

Este resultado, aún y cuando parece ser la respuesta correcta a nuestra pregunta, también puede ser un resultado falso positivo.

¿Son estos resultados representativos de todas las monedas o solo esta moneda?

Tendremos entonces que lanzar muchas monedas diferentes el número suficiente de veces para poder contestar la pregunta y estar seguros de que el resultado no es un falso positivo.

Pero imaginemos, que tomamos 100 monedas distintas y todas las monedas distintas cuando se les pone en sol el resultado final del volado es sol el 70% de las veces. ¿Como sabemos que el resultado depende de las monedas y no del cuarto donde estamos hechando los volados? Yo se que este último escenario parece absurdo y que la respuesta nos parece exagerada, pero cosas así suceden y sobretodo suceden porque muchas veces queremos ver lo que queremos ver.

Es por eso que las explicaciones alternativas deben ser consideradas y descartadas antes de poder dar una conclusión. Es por eso que la ciencia está llena de ejemplos de resultados falsos positivos. No es sino hasta que consideramos los límites del sistema que podemos saber si nuestro resultado es positivo o solo falso positivo.