Cómo leer estudios científicos y no dejarte engañar por los titulares

Cada semana lo mismo. «Un nuevo estudio ha demostrado que el café alarga la vida». Un mes después: «Los científicos advierten de que el café es malo para el corazón». Los huevos fueron un veneno durante diez años y, de repente, se convirtieron en un superalimento. El desayuno es la comida más importante del día, a menos que esté de moda el ayuno intermitente. Al final, dejas de prestarle atención, te encoges de hombros y te dices que la ciencia se contradice y que no se puede confiar en ella.

Pero la ciencia no se contradice. Son los titulares los que se contradicen.

Detrás de esos dos titulares contradictorios suelen esconderse dos cosas totalmente diferentes: a veces se trata de una encuesta a cien mil personas, otras veces de un experimento con treinta ratones. En los periódicos, a ambas se les llama «estudio». A ambas les ponen un titular igual de rotundo. Y eso que una de ellas tiene tanta relevancia como el tiempo que hará el mes que viene.

La buena noticia es que se puede aprender a distinguir un estudio de calidad de uno sin valor en una sola tarde. No necesitas un doctorado ni saber de estadística para ello. Lo que necesitas es saber qué preguntas hacer y tener la disciplina de seguir preguntando incluso cuando el resultado te confirme lo que ya crees.

No todas las pruebas tienen el mismo peso

Esto es la base de todo lo demás. La palabra «estudio» no significa nada hasta que sabes de qué tipo es. Hay una jerarquía de pruebas bastante clara y vale la pena conocer al menos sus niveles generales.

Lo más básico son los experimentos de laboratorio y con animales. Células en una placa, ratones, ratas. Son imprescindibles, porque sin ellos no sabríamos ni por dónde empezar a buscar. Pero no son pruebas de cómo funciona algo en las personas. Ya hemos curado el cáncer en ratones muchas veces. En personas, todavía no. Si el titular habla de un descubrimiento revolucionario y en el texto se menciona discretamente a los roedores, es una idea interesante para futuras investigaciones, nada más.

Un piso más arriba están los casos clínicos y las series de casos. Son descripciones de uno o varios pacientes. Son útiles para enfermedades raras y para detectar efectos secundarios inesperados, pero no se puede sacar ninguna conclusión general a partir de ellos.

Los estudios transversales y las encuestas captan la situación en un momento concreto: qué comen las personas, cómo se sienten, cuánto pesan. El problema es que no sabes qué fue primero. ¿Esas personas están delgadas porque comen así, o comen así porque están delgadas? Un estudio transversal no lo distingue.

Los estudios de cohorte toman un grupo grande de personas y lo siguen durante años o incluso décadas. Esto sí que es un trabajo riguroso, y la mayor parte de lo que sabemos sobre los efectos a largo plazo del estilo de vida viene precisamente de ahí. Pero sigue siendo cierto que nadie ha dividido a nadie en ningún grupo. Solo se ha observado lo que la gente hace por su cuenta, y eso plantea un problema que analizaremos más adelante.

La aleatorización es lo que marca la diferencia

Los estudios aleatorios controlados dividen a las personas al azar en dos grupos: a uno se le aplica la intervención que se está estudiando y al otro, un placebo o nada, y luego se comparan los resultados. La asignación aleatoria es la clave: garantiza que ambos grupos sean similares en todo lo demás, incluso en aspectos que a nadie se le habría ocurrido medir. Es la única forma de determinar con fiabilidad si algo realmente provoca el resultado. Si, además, el estudio es ciego —es decir, los participantes no saben en qué grupo están— o doble ciego —cuando ni siquiera los investigadores lo saben—, aún mejor.

En lo más alto están las revisiones sistemáticas y los metaanálisis. Estos trabajos no hacen un experimento propio. Siguiendo unas reglas establecidas de antemano, buscan todos los estudios que hay hasta ahora sobre un tema concreto, evalúan su calidad y los suman todos. Un buen metaanálisis de estudios aleatorizados es lo mejor que tenemos sobre ese tema.

Una salvedad importante: un metaanálisis es tan bueno como los estudios que lo componen. Si coges veinte estudios malos y calculas la media, obtendrás un resultado sin sentido, aunque más preciso. Por eso, los metaanálisis rigurosos siempre incluyen una evaluación de la calidad de los trabajos incluidos, y por eso merece la pena comprobar si esa evaluación está ahí.

Conclusión práctica: cuando te topas con un titular, la primera pregunta que te viene a la cabeza es: ¿en quién lo han probado y los ha repartido alguien al azar?

La relación no es la causa

Todo el mundo ha oído hablar de esto y, aun así, todo el mundo se lo traga, incluso los periodistas que escribieron un artículo sobre ello el mes pasado.

Imagina que te enteras de que la gente que come frutos secos con regularidad vive, de media, más tiempo. Suena como una buena razón para comer frutos secos. Pero, ¿quiénes son esas personas? Normalmente tienen ingresos más altos, hacen más ejercicio, fuman menos, se hacen revisiones médicas preventivas y, en general, se cuidan. Los frutos secos son solo una manifestación visible de todo un estilo de vida.

En términos técnicos, se llama «variable de confusión», es decir, un tercer factor que influye en las dos cosas que se están estudiando a la vez. Los estadísticos intentan tenerlo en cuenta, pero nunca lo eliminan del todo, porque no pueden tener en cuenta lo que nadie ha medido.

Cómo lo reconoces en el texto: las expresiones «relacionado con», «vinculado a», «asociado a» o «aparecía con más frecuencia en» indican una relación. En el titular, casi siempre se convierten en «provoca». Si el estudio no ha dividido a nadie al azar, no habla de causa. Y punto.

El mecanismo aún no está listo

Este es el truco más habitual del marketing de los complementos alimenticios y es importante que lo conozcas.

El proceso es el siguiente: en el laboratorio se descubre que una sustancia activa una vía celular relacionada, por ejemplo, con el crecimiento muscular o la quema de grasa. Ese es el mecanismo. Y justo después sale al mercado un producto que afirma que, según estudios científicos, favorece el crecimiento de la masa muscular.

Pero el cuerpo es la suma de cientos de esas vías que funcionan a la vez y se influyen entre sí. El hecho de que el mecanismo exista no garantiza en absoluto que se refleje en el resultado que te interesa. Entre «activa una vía en la célula» y «te crecen los músculos» hay un abismo enorme que hay que salvar con un ensayo real en personas.

Pregúntate siempre: ¿se ha medido algo que realmente siento y quiero, como los músculos, el peso, los infartos o la esperanza de vida, o solo un indicador bioquímico que alguien espera que esté relacionado con eso? A esto último se le llama «indicador sustitutivo» y es uno de los aspectos más engañosos de toda la medicina. Un medicamento puede mejorar de maravilla los valores en sangre y, sin embargo, no salvar ni una sola vida.

Un solo estudio no es una prueba

Esto se merece que lo enmarques y lo cuelgues encima del monitor.

Un estudio es solo una opinión más en el debate. Nada más. El resultado solo se considerará válido cuando otros equipos lo repitan de forma independiente y alguien lo resuma todo en una revisión sistemática.

En los últimos años se ha visto que gran parte de los experimentos famosos, sobre todo en psicología y medicina, no se han podido confirmar al repetirlos. No es que alguien mintiera. La mayoría de las veces se debe a que los estudios originales eran de pequeña envergadura, el resultado quedó justo por debajo del umbral de significación y nadie se molestó en verificarlo.

Y eso es precisamente lo que explica esos titulares contradictorios del principio. Los medios sacan a relucir un estudio aislado, lo convierten en un milagro o en un fantasma, y al mes hacen lo mismo con un resultado opuesto. Sin embargo, en la literatura especializada no ha cambiado prácticamente nada mientras tanto; el conjunto de pruebas avanza de forma lenta y aburrida.

Lo más difícil es controlarse a uno mismo

Hasta ahora todo ha sido técnica. Esto es carácter.

Tenemos una tendencia natural a aceptar sin rechistar un estudio que confirma lo que ya pensamos y, por el contrario, a buscar fallos en aquel que nos contradice. Todo el mundo lo hace, incluso los científicos, sobre todo aquellos que han basado su carrera en un tema concreto.

Hay una prueba muy sencilla para esto. Cuando te encuentres con un estudio que te guste, léelo con el mismo rigor que si no te gustara. Repasa estas preguntas que hay más abajo. Si de repente no tienes nada que objetar y todo está milagrosamente bien, es muy probable que no estés leyendo, sino que solo estés recopilando argumentos para el debate.

Y otra cosa, quizá aún más importante: nunca dejes de pensar por ti mismo. Ni siquiera cuando un estudio lo haya publicado una revista prestigiosa. Ni siquiera cuando lo cite alguien con títulos. Ni siquiera cuando lo diga alguien en quien, por lo demás, confías. El método científico en sí mismo es fiable. Las personas que lo utilizan son tan propensas a equivocarse como cualquier otra.

Diez preguntas para un repaso rápido

Antes de compartir algo o de cambiar tu vida en función de ello, repasa estas diez preguntas:

1. ¿Personas, o ratones y células?
2. ¿Asignación aleatoria o solo observación?
3. ¿Cuánta gente había, cuánto tiempo duró y cuántos se quedaron en el camino?
4. ¿Los participantes se parecen a mí?
5. ¿Se mide el resultado real o solo un mecanismo o un indicador sustitutivo?
6. ¿Cuál es la cifra absoluta, no el cambio porcentual?
7. ¿Cómo es el intervalo de confianza? ¿Es estrecho o abarca desde nada hasta todo?
8. ¿Se había registrado el acta con antelación?
9. ¿Quién lo ha financiado y dónde se ha publicado?
10. ¿Ya lo ha confirmado alguien de forma independiente?

Si no sabes responder a la mayoría de ellas basándote en lo que lees, el problema no está en la ciencia. El problema está en ese artículo.

Las primeras cinco preguntas las podrás resolver con este texto. El resto son cifras y metodología que hay que consultar directamente en el estudio, y de eso trata la siguiente parte: «Qué hay que fijarse en un estudio antes de creerlo».