¿Están equivocadas la mayoría de publicaciones científicas? – Crisis de Replicabilidad

Hacer ciencia no es encontrar la verdad, eso es posible en muy pocos casos. Lo que se hace, en cambio, es tratar de aproximarse a la certeza. No podemos afirmar que no existe una civilización extraterrestre en el lado oscuro de la luna, pero podemos decir que las probabilidades son muy pequeñas. ¿Cuánto? ¿0.0001%? ¿0.0002%? Realmente no importa, ¿verdad? El punto es que es casi imposible que existe vida inteligente en la cara oculta de la luna.

Pero no a todos les satisface esa respuesta. Si un científico va con estos datos a una entrevista de televisión, el entrevistador le pedirá que responda de forma consistente:  o no.

— Estamos aquí con el experto en astrofísica Juan Pérez PhD. para hablar de su investigación sobre el lado oscuro de la luna. Digamos Dr. Pérez ¿existen los extraterrestres?
— Buenos días. Bueno, eso es difícil de responder. Cuando se trata de ciencia, uno no puede hacer afirmaciones tan tajantes.
— Pero ¿qué indican sus experimentos?
— Oh, pues que las probabilidades son muy pequeñas.
— Bueno amigos, ya escucharon al experto, es posible que haya vida inteligente de otros planetas y más cerca de lo que pensamos.
— Pero yo no dije…

Y no son sólo los reporteros de televisión, otros científicos que quieren basarse en investigaciones de sus colegas, también quieren respuestas concretas. Nosotros también queremos respuestas exactas para tomar decisiones importantes. Especialmente en momentos donde nos sentimos amenazados y frágiles

— Bueno doctora ¿este medicamento funciona o no?
— Señora, este tratamiento es efectivo en el 98% de los casos.
— ¡Uy doctora! O sea que puede que no funcione conmigo, yo siempre tengo mala suerte. Vamos nomás donde tu primo el de la ayahuasca, Pedro.

Decir la verdad, en detalle, puede generar desastres porque los humanos no somos buenos procesando hechos en un nivel que va más allá de nuestra comodidad. Entonces los científicos se cansaron de dar explicaciones largas y se inventaron una respuesta corta, la significancia estadística. Esto quiere decir que si algo funciona en la mayoría de casos, pues ya está, lo tomamos como verdad. Asumimos que el resultado es producto de nuestro experimento y no fruto del azar. Un cinco por ciento de errores es admisible en la mayoría de los casos. ¿En ciencias sociales? Quizás mucho más.

Captura de pantalla de 2016-08-24 11:17:00Cuando consideramos estos números y los aplicamos al sistema de publicaciones científicas nos encontramos con un hecho bastante feo: Debido a esa decisión de aceptar cosas aún cuando no cuadran del todo, 31% de las publicaciones científicas podrían presentar resultados errados. Esto fue descrito en un artículo publicado por John Ioannidis en 2005, y desde entonces los científicos se dedicaron a investigar qué tan certera era esta afirmación. El proyecto de replicabilidad, por ejemplo, repitió cien estudios sobre psicología para darse cuenta que sólo 36% de los estudios eran estadísticamente significativos válidos. Y que en esos casos, los resultados no eran tan impresionantes como se describieron la primera vez. Lo mismo sucedió con 53 estudios de referencia sobre cáncer, sólo 6 obtuvieron resultados similares la segunda ocasión que se realizaron los experimentos, incluso trabajando de cerca con los investigadores originales.

A esto se le suman otros problemas de los estudios científicos, como que nadie quiere publicar resultados de investigaciones ya hechas anteriormente aunque se demuestre que los resultados fueron distintos. Que los estudio sin resultados son menospreciados —es decir que a nadie le interesa publicar que algo no funciona, aunque sería interesante para no volverlo a intentar. Esto ha llevado a los científicos a ajustar sus experimentos para revelar «verdades» que no aparecían en los experimentos originales, a cambiar el número de muestras en su experimento, escoger unos datos y otros no, y otras cosas más.

Sin embargo, toma mucho más que unas simples líneas entender el problema, y muchas más hablar de lo que se puede hacer para solucionarlo, pero es algo sobre lo que definitivamente tenemos que hablar. Y creo que el video de Derek Muller explica muy bien por dónde empezar. Por eso, traduje los subtítulos del video y ahora se encuentran disponibles en español. Les recomiendo verlo hasta el final.

Presiona «CC» en la parte inferior del video para habilitar los subtítulos en español


PS: Es mejor ver el video desde una computadora pues los subtítulos en dispositivos móviles se cortan. Hubiera querido darme cuenta de esto antes para acortar el número de caracteres en cada línea pero no es posible hacerlo una vez que los subtítulos han sido aprobados por la comunidad de Youtube. En otras noticias, ¡ya se puede subtitular directamente en YouTube, yay! ¿Lo bueno? No hay que depender de herramientas externas y cualquier puede contribuir y Youtube muestra los nombres de quienes realizaron los subtítulos en los créditos ¿Lo malo? Se necesiten por lo menos tres personas tratando de subtitular un video para que finalmente aparezcan publicados (uno subtitula, dos revisan) aunque con una baste para hacer el trabajo. Tampoco parece muy fácil corregir los errores de los subtítulos una vez que estos han sido publicados.

La hoja que pesa más que 412 libros

El día de ayer compartí una noticia de Russia Today en Español, que habla de un Meta-Análisis realizado en la Universidad de Rochester (EE.UU.), el cuál muestra una correlación negativa entre la inteligencia analítica y la religiosidad. Noticias de este tipo, o con resultados totalmente opuestos, se publican todo el tiempo pero ésta me pareció especialmente valiosa, más adelante explicaré por qué.

religion-inteligencia

Casi inmediatamente recibí respuesta de uno de mis amigos religiosos, la cuál decía textualmente:

«Chico Xavier era creyente, y escribió 412 libros de ciencia, medicina y filosofía, sólo habiendo terminado primaria. La inteligencia, o capacidad para resolver problemas no es tema a ateísmo o de fe, sino de tenerla, compartirla y hacerla que sirva a los demás».

No es la intención de esta publicación el comprobar quién tiene la razón, ni tampoco iniciar una discusión acerca del tema (aunque esto a veces se vuelve inevitable en internet), pero sí quiero compartir con ustedes algo que casi no sale de las aulas universitarias pero que, debido a la gran cantidad de información que recibimos diariamente, es imprescindible conocer en el mundo de hoy.

¿Cómo evaluar información?

Desde el inicio de nuestro tiempo, los seres humanos nos hemos asombrado ante lo desconocido, y producto de ello hemos buscado formas de descifrar todo aquello que no entendemos; y sería maravilloso que ésta fuera la única motivación cuando alguien publica algo (aparentemente de forma arbitraria), pero no es así. Existen intereses económicos detrás de muchas publicaciones médicas, religiosas, incluso en aquellas que encuentras diariamente en tu periódico o canal de televisión favorito. También está la necesidad de la gente de defender sus creencias como una forma de supervivencia psicológica y muchas otras formas de fraude que Ben Goldacre puede resumir mejor que yo.

Pero la mayoría de nosotros lucha por saber la verdad, así que merecemos conocer cómo se fabrica la información y qué peso le debemos dar a cada cosa que vemos o leemos.

Mi amigo menciona las obras de Chico Xavier, una persona que dijo poder comunicarse con los espíritus del más allá y que escribió cientos de libros cuyas ventas generaron dinero que financió muchas organizaciones sin fines de lucro (algunas de ellas espiritistas), sin obtener ganancia personal por ello. No estamos aquí para discutir sobre Chico Xavier sino sobre el punto en discusión en cuestión. ¿Demuestra esto la inteligencia de una persona? ¿Qué hay sobre los libros que escribió sobre medicina? ¿Cuán influyentes fueron para el avance del conocimiento humano en conjunto? ¿Cuántos pacientes fueron salvados por sus métodos? ¿Son replicables? ¿Cualquier médico puede aplicarlos? ¿Salvaron alguna vida?

Todos tienen una opinión, es verdad, pero cuando se trata de la aplicabilidad del conocimiento las opiniones son irrelevantes y lo que importa es el conocimiento que pueda ser comprobado por cualquier otro ser humano, y que toda persona pueda utilizar. En eso se basa precisamente el método científico, y tras años de experiencia, hemos desarrollado una pirámide que nos ayuda a saber qué publicaciones tienen más o menos validez.

Así pues, 412 libros son totalmente insignificantes cuando si es que hablan de cosas que nadie más puede comprobar, no representan aporte alguno al conocimiento humano aplicable, que es el que en última instancia mejora nuestras vidas. No es diferente, en la práctica, que la opinión de un niño de tres años acerca de la formación de nubes, o la de un paciente psicótico hablando acerca de la vida fuera de la tierra.

Todo nace a partir de una idea, una opinión, una hipótesis, no lo niego, e incluso un loco o un niño puede abrir el camino hacia descubrimientos infinitamente significativos, pero con recursos y tiempo limitados, debemos ser más cuidadosos al decidir a qué dedicarle atención. Una recomendación válida es empezar revisando que SÍ sabemos, en el caso de la medicina por ejemplo, es mucho más efectivo trabajar sobre lo que hemos estudiado por décadas, que atribuir una curación a métodos que nadie puede comprobar (como sucede con el espiritismo de Chico Xavier). Hace cosa de un mes conversaba con mis compañeros de trabajo, quienes al no ver que me santiguaba frente a una imagen de la carretera me preguntaron si era ateo. «Sí», mi colega odontólogo continuó «¿Y los milagros? ¿qué pasa con eso?» Mi respuesta fue algo parecido a esto: Yo no digo que no existan nada como los milagros, aunque no haya presenciado ninguno, pero incluso si existieran, pasan de forma casi excepcional. Incluso si fueran reales, no merecen mucho de mi atención, puesto que existen formas de intervención humanas que son mucho más efectivas a la hora de mejorar la salud humana, de salvar vidas y mejorar su calidad. Cosas que no dependen de una opinión o una creencia. Mi aproximación hacia cualquier artículo escrito y publicado físicamente o en internet no es distinta, así se trate de una revista científica, si la escriba un reconocido ingeniero o un famoso pediatra. Da igual.

Yendo un poco más allá de las opiniones están los experimentos, alguien hizo algo que le dio resultado. Por ejemplo se escuchan algunos casos de gente que reza y consigue lo que quiere, o de personas que afirman construir máquinas de movimiento perpetuo. Está bien. Eso es algo más creíble, pero las preguntas que uno debe hacer entonces es ¿volverá a suceder si se repite el experimento? ¿es el resultado de otros factores o de aquel especificado por el autor? Para poner un ejemplo, 9 de cada 10 ‘gripes’ son autolimitadas y las personas pasan sus peores días durante la fase inicial de la enfermedad, en la segunda semana están cansados y toman casi cualquier cosa y finalmente sanan (cosa que hubiera sucedido a pesar de no tomar nada) y de repente tenemos miles de curas efectivas para la gripe.

Cuando un experimento parece tener resultados positivos hacemos las cosas más difíciles; nos aseguramos que la gente que está en medio del experimento no sepa que lo está (a eso en ciencia se denomina cegamiento), y cuando el investigador también se incluye dentro de este protocolo se llama doble-ciego.

Usualmente se ciega a los participantes al no decirles cuando se les da un medicamento o un placebo (una pastilla de pura azúcar), para así comparar los efectos de ambos. Esto no vale sólo para las medicinas, sino también para cualquier intervención. Por ejemplo al asociar gente expuesta a la religión o no (o que afirma tener una creencia en dios), la exposición al sol, el uso de TICs, el escuchar música rock, etcétera. Cuando además estas intervenciones se asignas al azar, pues las publicaciones ganan peso.

En la cúspide de esta pirámide de evidencia están los meta-análisis, los cuáles nos ahorran el trabajo de discernir todo esto que acabo de nombrar, analizan los conflictos de interés, los métodos de estudio, la posibilidad de sesgo y muchas otras cosas que hacen que una publicación se califique como verídica y, por tanto, resulta verdaderamente útil. IMPRESCINDIBLE.

Como mencioné, el artículo al inicio del artículo hace referencia precisamente a un meta-análisis, el cuál lamentablemente no está disponible para su visualización gratuita, aunque así debería ser. Y aunque parezca una frase en una noticia nada más, es producto del perfeccionamiento humano para generar conocimiento. Son muchas de nuestras generaciones dando validez a la información y, sencillamente, esa página pesa más que los 412 libros escritos por Chico Xavier.