Qué mirar en un estudio antes de creértelo

Ahora que ya sabes que tienes ante ti un estudio que merece la pena leer, llega la segunda parte del trabajo: leerlo de forma que no te lleve a error. Solo hay unas cuantas cosas importantes: en qué parte del trabajo se esconde lo esencial, qué cuatro cifras dicen algo realmente significativo, a quién y durante cuánto tiempo hicieron el seguimiento, y quién pagó todo esto. No hace falta que entiendas de estadística.

Esta es la continuación del artículo «Cómo leer estudios científicos y no dejarte engañar por los titulares», en el que se trata de qué pueden demostrar los distintos tipos de estudios. Aquí vamos a profundizar en un trabajo concreto.

¿Dónde buscar la verdad en un estudio?

Todos los trabajos científicos tienen la misma estructura. Cuando la conoces, ya sabes dónde buscar.

El resumen es un resumen al principio, de una a dos frases de cada sección. Es básicamente el «marketing» del trabajo; se escribe para llamar la atención y para que se pueda citar. Todas las salvedades, limitaciones y «peros» no caben ahí. Incluso hay un apodo burlón para eso: el «guerrero de los resúmenes». Esa persona que lee el resumen y se lanza a un debate en Internet convencida de que lo ha entendido todo.

La introducción explica lo que ya se sabe, lo que es objeto de debate y, sobre todo, dos cosas: el objetivo y la hipótesis. Recuérdalas, porque más adelante comprobarás si el trabajo realmente ha tratado lo que prometía.

La metodología es la parte más aburrida y la más importante. Quiénes eran los participantes, cuántos había, cuánto duró, qué se midió exactamente y cómo. El noventa por ciento de los problemas de los estudios se pueden detectar precisamente aquí.

Los resultados incluyen cifras en bruto sin interpretación, tablas y gráficos.

La sección de «Discusión» es donde los propios autores admiten lo que su trabajo no consigue. Suele haber un párrafo sorprendentemente sincero sobre las limitaciones y, por lo general, son las veinte líneas más valiosas de todo el trabajo. Si no tienes tiempo para nada más, lee el resumen y luego las limitaciones de la discusión. La diferencia entre lo que parece al principio y lo que los autores admiten al final te dirá mucho.

La financiación y el conflicto de intereses aparecen al final, en letra pequeña. Ya hablaremos de eso en un momento.

Porcentajes que parecen más altos de lo que son

La magnitud del efecto no radica en si existe una diferencia, sino en cuán grande es. Esta cifra casi nunca aparece en los titulares, aunque es la más importante de todas. Una diferencia que existe, pero que es insignificante, es, en la práctica, lo mismo que si no existiera.

Cifras relativas frente a absolutas. «Una reducción del riesgo del 50 %» suena espectacular. Hasta que te das cuenta de que el riesgo ha bajado de dos casos a uno por cada cien mil personas. La diferencia absoluta es de un caso por cada cien mil. La diferencia relativa es la mitad. Ambas cifras son ciertas, pero una de ellas es engañosa. Es fácil adivinar cuál acabará en el titular. Busca siempre las cifras absolutas. Si no aparecen en el artículo, o bien el autor no las ha entendido, o bien las ha ocultado a propósito.

La magnitud y el intervalo que revelan la incertidumbre

La significación estadística, es decir, el valor p, te dice, en pocas palabras, cuál es la probabilidad de que ese resultado se obtuviera por pura casualidad.

Hay que tener en cuenta dos cosas al respecto. En primer lugar, que algo sea estadísticamente significativo no significa que sea importante: con una muestra lo bastante grande, hasta una diferencia que ni siquiera notarías en la vida real puede resultar significativa. En segundo lugar, ese umbral es una convención, así que los resultados que están justo por debajo y justo por encima de él están mucho más cerca de lo que se suele decir.

El intervalo de confianza es el rango en el que probablemente se encuentre el valor real. Cuando un estudio dice que una intervención ha mejorado el rendimiento un 5 %, con un intervalo del 4 al 6 %, es un resultado bastante seguro. Si el intervalo va del −2 al 12 %, significa que, en realidad, no sabemos casi nada: puede que ayude mucho o puede que sea perjudicial. Un intervalo amplio es señal de que la muestra es pequeña y es uno de los mejores indicadores rápidos de hasta qué punto se puede tomar en serio el resultado.

¿Quiénes, cuánto tiempo y cuántos se han ido?

Tres preguntas sobre la metodología que descartan la mayoría de los hallazgos sensacionalistas.

Oye. Veinte universitarios no son una muestra representativa. Los resultados de los deportistas profesionales no se aplican automáticamente a una persona normal de más de cuarenta años. Un estudio realizado exclusivamente con hombres jóvenes no dice nada sobre las mujeres que han pasado la menopausia. Fíjate siempre en si los participantes se parecen, aunque sea un poco, a ti.

¿Cuánto tiempo? Esta es la mayor debilidad de los estudios sobre nutrición y estilo de vida en general. Los estudios aleatorios más largos sobre la alimentación han durado dos años, pero la gran mayoría dura entre cuatro y seis semanas. La razón es muy sencilla: la gente no aguanta una dieta más tiempo y nadie está dispuesto a pagar por ello. Esto significa que sabemos mucho menos sobre los efectos a largo plazo de cualquier cosa de lo que la mitad de Internet quiere hacer creer.

Cuántos se han quedado en el camino. Si el estudio empezó con cien personas y lo terminaron cuarenta, el resultado habla de esas cuarenta personas que aguantaron, y ese es un grupo totalmente diferente al que había al principio. La alta tasa de abandono es una señal de alerta de la que nunca se habla en el resumen.

¿Cómo se pueden manipular los resultados?

No siempre se trata de un engaño. A menudo es solo la tendencia humana a buscar algo bonito en los datos. Pero el resultado es el mismo.

Cambiar la pregunta según el resultado. El procedimiento honesto es: formulo una hipótesis, registro el protocolo de antemano, hago el experimento y, si no sale bien, cambio la conclusión. El procedimiento poco honesto es justo al revés: hago el experimento, miro qué ha salido y, a posteriori, añado la pregunta como si la hubiera tenido desde el principio. Un buen investigador cambia las conclusiones para que encajen con los datos. Uno malo cambia los datos y las preguntas para que se ajusten a la conclusión.

La búsqueda de la significación. Cuando mides veinte indicadores en un estudio, desde un punto de vista puramente estadístico, uno de ellos resultará significativo aunque en realidad nada funcione. Entonces basta con escribir un artículo sobre ese único indicador. Por eso, hoy en día los protocolos se registran de antemano en registros públicos, para que se pueda ver qué se iba a medir inicialmente. Si un estudio menciona ese registro, es buena señal.

Sesgo de publicación. Los estudios que no encuentran nada tienen más dificultades para publicarse. Las revistas quieren descubrimientos, no aburrimiento. El resultado es que la literatura científica en su conjunto se inclina hacia los resultados positivos, aunque nadie haya falsificado nada.

Seleccionar lo que te conviene. Es el error más común tanto entre los lectores como entre quienes escriben sobre ciencia en las redes sociales. Para casi cualquier afirmación se puede encontrar al menos un estudio que la respalde.

¿Quién lo pagó y dónde salió?

Encontrarás la fuente de financiación al final de cada trabajo, junto con la declaración de conflicto de intereses.

Un estudio financiado por el fabricante no tiene por qué ser malo. Gran parte de la investigación seria se financia con dinero de la industria, porque, sencillamente, nadie más lo paga. Pero es una razón para leer con más atención, sobre todo cuando la conclusión se parece sospechosamente al mensaje de marketing del cliente, o cuando se ha medido precisamente el indicador que le conviene al producto.

También vale la pena fijarse en dónde se ha publicado el trabajo. Hay lo que se conoce como revistas «depredadoras», que, a cambio de una cuota, publican cualquier cosa sin una revisión real. Y ten cuidado también con los preprints, es decir, los trabajos publicados antes de la revisión. No es que no tengan valor, pero aún no han pasado por la revisión de tus colegas del sector.

¿Dónde puedes comprobarlo?

No tienes por qué creerte el artículo que habla del estudio. Casi siempre se puede conseguir el original.

PubMed es una base de datos gratuita de literatura biomédica en la que encontrarás resúmenes de prácticamente cualquier tema. La Biblioteca Cochrane contiene revisiones sistemáticas que se cuentan entre las más rigurosas del mundo. Google Scholar te muestra cuántas veces se ha citado un trabajo y quién lo ha citado.

Hay dos páginas que sirven para comprobar la integridad: Retraction Watch hace un seguimiento de los estudios retirados y PubPeer recopila las objeciones de los expertos sobre trabajos concretos. Cuando un estudio del que se está hablando aparece en alguna de ellas, ya tienes suficiente información.

Y una cosa práctica: la mayoría de los artículos periodísticos sobre ciencia no incluyen un enlace al trabajo original. Eso ya es, de por sí, una señal de alerta. Si no puedes acceder al original, trata esa afirmación como si fuera un rumor.

Pequeño glosario

Aleatorización: distribución aleatoria de los participantes en grupos. Es la única forma fiable de distinguir el efecto real del azar y de la influencia del estilo de vida.

Cegamiento: ni los participantes, ni —en el caso del doble cegamiento— los investigadores saben quién ha recibido el tratamiento real y quién el placebo.

Placebo: un sustituto inactivo que sirve para comparar. La mera expectativa de un efecto puede cambiar realmente el resultado, por lo que sin un grupo de control no se puede evaluar nada.

Cohorte: grupo de personas a las que se hace un seguimiento a largo plazo.

Variable de confusión: el tercer factor que influye en las dos cosas que estamos estudiando a la vez y crea una aparente relación.

Indicador sustitutivo: un valor medido que pretende representar lo que realmente nos interesa, por ejemplo, el colesterol en lugar del infarto.

La magnitud del efecto: qué tan grande es la diferencia detectada, no solo si existe o no.

Valor p: la probabilidad de que ese resultado se diera por casualidad. El umbral de 0,05 es un acuerdo, no una ley.

Intervalo de confianza: el rango en el que probablemente se encuentre el valor real. Cuanto más amplio sea, menos sabemos.

Metaanálisis: la combinación estadística de los resultados de varios estudios en una sola cifra.

Revisión sistemática: trabajo en el que, siguiendo unas normas preestablecidas, se recopilan y evalúan todos los estudios sobre un tema concreto.

Preprint: trabajo publicado antes de pasar por la revisión por pares.