10 pistas para saber si un estudio (de nutrición) publicado es fiable

Investigar en nutrición

La nutrición es una de las ciencias experimentales más complejas, entre otras cosas porque los estudios de investigación son muy difíciles de diseñar y de llevar a cabo, en particular, los ensayos clínicos aleatorizados y controlados. En otras ciencias es relativamente sencillo encontrar controles para los experimentos. Por ejemplo, si un científico quiere probar que un compuesto tiene un determinado efecto sobre una enfermedad, puede diseñar un ensayo con placebo. Es decir, puede comparar el efecto del compuesto con el de otra sustancia que no tiene efecto alguno sobre esa enfermedad. Además, puede cegar de forma sencilla tanto a los sujetos de estudio como a los investigadores que participan en él, de forma que nadie (excepto la persona que guarda los códigos) sabe quién está recibiendo el compuesto y quién el placebo. Así, es posible controlar que ambos grupos de sujetos están siendo sometidos a las mismas condiciones de ensayo.

En la ciencia de la nutrición esto es, a menudo, imposible. Si se quiere determinar el efecto que tiene un alimento sobre la salud, no puede compararse con un placebo real, sino con otro alimento, que tiene una composición compleja y, puede también afectar al ensayo. Es más, cuando se ha intentado utilizar alimentos como placebo, los resultados han sido un fracaso.

Algunos estudios son tan complejos que requieren una cantidad enorme de esfuerzo y dinero, como el Estudio Predimed, que tuvo una duración de unos 8 años en total y costó aproximadamente 9 millones de euros. Algo impensable para la mayoría de los investigadores en nutrición. Cuando los ensayos clínicos no son posibles, los investigadores tienen que resignarse a los estudios observacionales. Estos estudios, que buscan establecer correlaciones entre el consumo de nutrientes, compuestos bioactivos, alimentos o dietas y marcadores de determinadas enfermedades, son perfectamente válidos, pero no permiten establecer relaciones de causa y efecto.

Hype, sesgos y fraude

Quizá es por la complejidad que tienen los estudios de nutrición, que es frecuente que levanten altas expectativas a pesar de que el grado de evidencia que muestran sea relativamente bajo. Probablemente, la ciencia de la nutrición es la que genera más “hype” . Y quizá por eso, unos días escuchamos que el café puede aumentar el riesgo de cáncer de pulmón y otros días que reduce el riesgo de cáncer de endometrio. Al final, terminamos descubriendo que los resultados del estudio eran poco consistentes, ya que solo se recopilaron datos sobre el consumo de café al inicio del estudio y no se tuvieron en cuenta otros condicionantes, como la presencia se fumadores pasivos y su riesgo de cáncer. Esto no invalida el estudio, pero sí reduce el “hype”.

Por su fuera poco, también sucede que los estudios no están bien diseñados, están sesgados, tienen conflictos de intereses económicos o ideológicos, etc. Por eso, es importante no fiarse de todos los artículos que uno lee por el mero hecho de estar publicados en una revista e indexados en Pubmed (el motor de búsqueda de la base de datos Medline). Además, existe la posibilidad de que los investigadores hayan sido negligentes, hayan cometido errores e incluso que el artículo sea fraudulento.

Al leer un paper, no solo es necesario mirar los resultados y las conclusiones, sino que deberíamos fijarnos en algunos otras cuestiones, que nos pueden dar pistas sobre la calidad del paper, es decir, que podamos confiar en que los resultados son fiables. Aquí os dejo 10 pistas a modos de preguntas que te pueden servir para evaluar la calidad de un artículo científico, en concreto en nutrición.

1. ¿En qué revista se ha publicado?

En principio, la revista donde se ha publicado el artículo no debería ser un parámetro de calidad, puesto que ésta debería estar asociada más al diseño del estudio que a cuestiones editoriales. Eso en teoría. En la práctica es de sobra conocido que unas revistas tienen más prestigio que otras. Tradicionalmente, ese prestigio venía determinado por el factor de impacto (FI), un indicador que relaciona el número de citas que esa revista tiene en relación con el número de artículos que publica en los dos últimos años. Este indicador, que fue en principio diseñado para ayudar a los bibliotecarios a elegir a qué revistas suscribirse, ha derivado en una forma indirecta de determinar la calidad de una revista, aunque no es adecuado para ese uso. Existen otros indicadores para determinar la calidad de una revista pero son complejos y suele ser necesario estar suscrito a una base de datos para acceder a ellos.

Para hacerlo simple, es más útil plantearse si la revista es conocida. Por ejemplo, Nature, Science, Lancet, PNAS, New Englang Journal of Medicine, PlosONE, etc. En el campo de la nutrición, algunas de las revistas tradicionales más conocidas son American Journal of Clinical Nutrition, Journal of Nutrition, Journal of Nutritional Biochemistry, Clinical Nutrition, British Journal of Clinical Nutrition, etc. Claro que hay muchas revistas donde se publican valiosos estudios sobre nutrición.

Si no se conoce el nombre de la revista (lo que es bastante habitual, dado que existen miles), debemos asegurarnos de que no se trata de una revista depredadora. Estas revistas se publican con el único propósito de amasar dinero a través de las tasas que pagan los investigadores por publicar sus artículos y ponen el listón de la calidad científica bajísimo. A ras de suelo, diría yo, como comenté en este y este artículos hace unos años.

Algunas pistas para reconocer una revista depredadora son las siguientes:

• Entrar en su página web y ver cómo está construida, si es un diseño descuidado o no.
• Ver cuándo se fundó. Si se trata de una revista creada a lo largo del siglo XX, es probable que no sea depredadora.
• Si cobran una tasa por publicar, aunque ya muchas no depredadoras lo hacen.
• Y por último, revisar la lista de de Beall de revistas depredadoras.

Ninguno de estos consejos, por sí mismos, aseguran que la revista no sea depredadora, pero dan bastantes pistas.

2. ¿El diseño experimental es adecuado?

Una vez dentro del artículo, es necesario echar un vistazo al diseño del experimento. ¿Se trata de un estudio preclínico, es decir realizado en un laboratorio, con modelos de células en cultivo o con animales de experimentación? Si es así, no debería emplearse para extraer conclusiones aplicables a humanos y, por tanto, no deberían hacerse recomendaciones nutricionales basadas en él.

Si el estudio se ha realizado en humanos, debemos revisar si se trata de un estudio observacional (casos y controles, cohortes…) o es un ensayo clínico. Si está entre los primeros, no se deberían realizar asociaciones de causalidad porque esos estudios no están controlados y no lo permiten. Si es un ensayo clínico, deberíamos preguntarnos si está aleatorizado, es decir, si los sujetos han sido distribuidos de forma aleatoria a los grupos de estudio (grupo de tratamiento o grupo de control). También habría que preguntarse si existe ese grupo de control, es decir, contra qué se ha comparado el tratamiento. Eso debería estar declarado no solo en la sección de materiales y métodos sino en la propia conclusión del estudio y, mejor aún, en el título.

3. ¿El ensayo clínico está registrado?

Si se trata de un ensayo clínico, es imprescindible que haya sido registrado. Registrar un estudio es un gesto de transparencia que implica publicar online un documento público detallando lo que los investigadores planean hacer a lo largo del estudio antes de iniciar la recopilación cualquier dato. De esa forma, se podrá verificar qué proporción de los experimentos planteados realmente llegan a publicarse. Así se podrá saber si los autores están escondiendo en el cajón resultados negativos, que van en contra de la hipótesis inicialmente formulada o si han cambiado de hipótesis a mitad de estudio.

Además, si los autores han indicado en el registro la forma en que van a analizar los datos obtenidos, se podrá saber si están usando los métodos estadísticos adecuados o no. Lo ideal es que los autores hagan públicos esos datos para que cualquiera pueda comprobar que no hay errores en los cálculos y facilitar la reproducibilidad del estudio. Precisamente, en la actualidad hay gran preocupación porque la ciencia se encuentra inmersa en una enorme crisis de reproducibilidad.

El registro de ensayos clínicos más conocido es el que proporciona el gobierno de Estados Unidos y se puede consultar en la web ClinicalTrials.gov.

4. ¿El tamaño de la muestra parece suficiente?

El tamaño (de la muestra) importa. Ya sea en un estudio preclínico o clínico, el tamaño de la muestra estudiada es fundamental a la hora de valorar la calidad del estudio, aunque eso no significa que cuanto más grande, mejor. Por ejemplo, si se trata de un estudio con animales de experimentación, es necesario ajustar bien el tamaño muestral para no tener que usar un número de animales más allá de lo estrictamente necesario para obtener datos relevantes. Lo mismo ocurre cuando los participantes son personas enfermas.

El tamaño de la muestra importa, principalmente, por razones de poder estadístico. En ocasiones, los estudios son demasiado pequeños, bien porque estudios más grandes son caros y difíciles de realizar o bien porque no se ha hecho una estimación adecuada del tamaño muestral. Para saber si el estudio ha empleado un número adecuado de sujetos en el estudio, es necesario leer el apartado correspondiente de los materiales y métodos, donde debe estar indicado el procedimiento estadístico empleado para ese cálculo. Si no puede encontrarse ese párrafo y el número de individuos o repeticiones parece bajo, podemos sospechar que el estudio está proporcionando resultados poco fiables. Los estudios con un número bajo de participantes corren el riesgo de que, por azar, se hayan seleccionado sujetos que tengan algunas características en común que no sean representativas de la población.

Otra cosa a tener en cuenta en los ensayos clínicos es cuántos sujetos fueron excluidos de la muestra final. Es habitual que en estos estudios haya exclusiones por motivos muy diversos, que además pueden ser desconocidos. Los participantes que se retiran de un estudio no tienen por qué declarar sus motivos para hacerlo. También puede darse el caso de que los investigadores eliminen sujetos porque, por ejemplo, no han seguido las instrucciones como debían. Sin embargo, si la tasa de exclusión es demasiado alta, digamos la mitad de la muestra, se genera la duda de si los autores seleccionaron a los sujetos que mostraron el efecto deseado, mientras excluyeron los que no lo hicieron.

5. ¿Cuál es el tamaño del efecto observado?

La significancia estadística es una de las claves de cualquier estudio. ¿Cómo saber si la diferencia observada en un experimento es suficientemente grande para demostrar un efecto y no es debida al simple azar? Para eso, se emplea el valor p. Expresado con rigor, el valor p no da la probabilidad de que un resultado sea verdadero sino que plantea la probabilidad de que en un mundo donde la hipótesis no sea cierta, el resultado sea consecuencia del ruido o del azar. Es decir, que cuanto menor sea, más se acerca uno a la verdad. Así, si p<0,05, existiría un 5% de probabilidades de que el resultado sea consecuencia del ruido. Sin embargo, la mayoría de los científicos lo emplean a la inversa, aunque es menos preciso: p<0,05 sería un 95% de probabilidades de que el resultado del experimento sea cierto. Un resultado de p<0,01 o mejor aún p<0,001, indicaría una mayor probabilidad de que haya un resultado real en el experimento.

El uso del valor p ha provocado que los científicos se vuelvan locos intentando “ajustar” sus resultados para conseguir p<0,05, de forma más o menos ética. Para ello, pueden usar diferentes estrategias, como repetir experimentos, usar diferentes test estadísticos o trucar los datos hasta conseguirlo. En estos casos, los valores de p suelen acercarse sospechosamente a 0,05. Si un artículo tiene muchos resultados con valores de p cercanos a 0,05, o se usa con frecuencia términos como “tendencia” para resultados que no alcanzan la significación estadística, deberíamos olernos que hay algo raro.

Pero además, habría que preguntarse cuánto de grande fue el efecto encontrado en relación con otros estudios similares. Podría suceder que los artículos periodísticos o los propios científicos estén interpretando un estudio con un efecto pequeño como si fuera muy grande solo porque salió p<0,05. Por otro lado, también sería sospechoso que los efectos fueran inverosímilmente grandes. Asimismo, un estudio que muestra exclusivamente, o casi exclusivamente, resultados significativos y ningún o casi ningún resultado no significativo, debería hacernos levantar una ceja. Los estudios científicos no son perfectos y, a menudo, tienen un poder estadístico muy bajo.

6. ¿Las conclusiones parecen adecuadas?

Como hemos visto más arriba, algunos estudios, como los observacionales, no permiten realizar asociaciones causales entre las variables. Es decir, no permiten establecer relaciones de causa y efecto. No deberíamos fiarnos mucho de un estudio observacional en el que los autores empleen un lenguaje que recuerda a la causalidad, empleando términos como “efecto”, “impacto” o “influencia” entre las variables del estudio.

Del mismo modo, tampoco deberían hacerse extrapolaciones que vayan más allá del diseño experimental o los resultados obtenidos. Si el experimento se ha realizado en cultivos celulares o animales de experimentación, no se puede inferir que en seres humanos tendría lugar el mismo efecto. Las células, aunque sean de origen humano, no se comportan de la misma forma en cultivo que cuando forman parte de in tejido dentro de un organismo. Es más, en muchas ocasiones, se emplean células procedentes de carcinomas, así que el comportamiento es aún más diferente.

También ocurre lo mismo en estudios con un tamaño muestral pequeño. Las conclusiones no pueden ser presentadas como algo que nos dice algo sobre el conjunto de una población o de la humanidad en general.

En los últimos tiempos, muchas revistas están solicitando a los autores que agreguen un apartado de fortalezas y limitaciones de los estudios. La forma en que los autores son transparentes con la calidad de su trabajo puede dar una idea de su fiabilidad.

7. ¿Los resultados parecen razonables?

Para eso, es útil colocarse en el papel de uno de los sujetos participantes, si es que se trata de un estudio realizado en humanos. Por ejemplo, en los estudios que se realizan con cuestionarios de frecuencia de consumo de alimentos, podemos pensar si uno es capaz de recordar todos los alimentos o grupos de alimentos por los que se pregunta. También nos podemos plantear si la duración del experimento habrá sido tan larga que uno pudiera estar agotado a la hora de contestar a las últimas preguntas. Asimismo, podemos preguntarnos si el lugar donde se llevó a cabo el estudio está relacionado o no con la hipótesis del estudio. Por ejemplo, no es lo mismo responder a preguntas sobre actividad física en un centro deportivo que en un laboratorio.

Lo mismo puede hacerse con los resultados. ¿Parecen fiables? ¿El efecto observado es razonable respecto a lo que uno esperaría que ocurriera?

8. ¿Quiénes son los autores?

En principio, quiénes sean los autores o de qué universidad o centro de investigación procedan no debería ser un parámetro que nos haga sospechar de la baja calidad de un estudio. Pero veámoslo al contrario. Si los autores son reputados y experimentados científicos, de los que sabemos que llevan mucho tiempo trabajando sobre un determinado tema, podemos tener más confianza en que los resultados sean fiables. Lo mismo ocurre con las universidades. En general, las universidad más prestigiosas suelen ser más exigentes con lo que hacen sus científicos, aunque existen excepciones, como el casi de Paolo Macchiarini. Este cirujano italiano publicó en 2008 un artículo de gran éxito en la revista The Lancet sobre el trasplante de tráquea, que finalmente resultó ser un fraude. El Instituto Karoliska sueco, al que pertenecía Macchiarini, respaldó durante años al investigador, hasta que se demostró que había engañado a todo el mundo, y en particular, a las personas que sufrieron el trasplante de tráquea y que fallecieron como consecuencia del procedimiento.

9. ¿Existen sesgos en el estudio?

La realidad es que el método científico está diseñado para evitar los sesgos del investigador. Es obvio que cualquier científico que tenga una hipótesis tiene un interés en que el resultado de la investigación sea favorable a su idea inicial. Eso implica un sesgo de partida. Por eso, los estudios doble ciego, en los que tanto los participantes como los investigadores desconocen cuál es el tratamiento y cuál el control o el placebo, impiden ese sesgo.

Pero hay otras implicaciones que ponen en riesgo la imparcialidad de los investigadores. Por ejemplo, que el estudio esté financiado por una empresa o una institución que tenga un determinado interés en un resultado en particular. Esto no invalida el estudio ni sus resultados pero sí deberíamos leerlo con especial cautela. Todos los artículos deben indicar una declaración de financiación de la investigación.

Por otra parte, el sesgo puede derivarse de conflictos de intereses propios. En general, se trata de intereses económicos que pueden interferir en la forma en que se realiza la investigación o en cómo se interpretan los resultados. Esto sucede con determinada frecuencia en estudios biomédicos en los que los investigadores pueden tener un interés financiero en la empresa que comercializará el medicamento que se está investigando. En el ámbito de la nutrición esto es menos habitual.

Pero además, el conflicto de interés puede darse por cuestiones ideológicas, lo que es habitual en estudios de ciencias políticas y económicas. Por ejemplo, un investigador en economía con ideología marxista es probable que tenga un sesgo hacia estudios que apoyen esa ideología. Lo mismo ocurriría con un investigador de ideología liberal, claro está. También existe la ideología en nutrición. Hay personas, incluidos investigadores, que creen que un tipo de dieta es más saludable que otro y la practican. Evidentemente, si esos investigadores llevan a cabo un estudio en el que se evalúa una de esas dietas, existirá un sesgo a favor de ella. Estos conflictos de intereses también deberían ser declarados en los artículos científicos.

10. ¿El estudio ha sido reproducido posteriormente?

La reproducibilidad es una parte imprescindible del proceso científico. Un solo estudio no demuestra que un fenómeno sea verdadero. Es necesario que los resultados sean confirmados por el mismo equipo de investigación o, mejor aún, por investigadores independientes. Por eso, es conveniente buscar estudios que hayan reproducido los resultados y los hayan confirmado. Los meta-análisis hacen este trabajo por nosotros, pero no siempre podemos encontrar un meta-análisis adecuado, incluso una réplica para todos los estudios, sobre todo para los más novedosos. También en este caso, deberíamos ser particularmente precavidos con las conclusiones. Además, un meta-análisis no deja de ser un estudio en sí mismo y, por tanto, sujeto a todos los problemas que hemos visto en los puntos anteriores. Lamentablemente, como he mencionado más arriba, en la ciencia del siglo XXI existe un gran problema de reproducibilidad.

Creo que con estas 10 pistas es posible hacerse una idea bastante certera sobre la fiabilidad de un estudio científico. Sin embargo, ninguna de las preguntas, por sí mismas, será definitiva e incluso, después de responder a todas ellas, aún podemos tener muchas dudas. Si es así, dos últimos consejos: aplica el principio de precaución y pregunta a algún especialista.