Etiquetas

,

Artículo publicado por Monya Baker el 27 de agosto de 2015 en Nature News

El mayor estudio de replicación hasta la fecha arroja dudas sobre muchos resultados positivos publicados.

No te creas todo lo que leas en la literatura psicológica. De hecho, probablemente debas recelar de dos tercios de la misma.

En el mayor proyecto de este tipo, Brian Nosek, psicólogo social y director del Centro de Ciencia Abierta en Charlottesville en Virginia, y otros 269 coautores, repitieron el trabajo publicado en 98 artículo originales procedentes de 3 revistas de psicología para ver si podían llegar independientemente a los mismos resultados.

Prueba de fiabilidad de estudios en psicología

Prueba de fiabilidad de estudios en psicología

Los estudios variaban desde si expresar las inseguridades las perpetúa, a las diferencias entre niños y adultos sobre cómo responden a estímulos de miedo, o formas efectivas de enseñar aritmética.

De acuerdo con la evaluación cualitativa de los encargados de reproducir los trabajos, tal como se informaba anteriormente en Naturesólo 39 de los 100 intentos de réplica tuvieron éxito. (Hubo 100 intentos de réplica completados sobre los 98 artículos, ya que en dos casos los esfuerzos por replicarlos se duplicaron entre dos equipos). Pero saber si un intento de réplica se considera exitoso no es tan sencillo. Tal como se publica en Science, el equipo informa de las múltiples y diferentes medidas que usaron para responder a esta pregunta1.

La cifra del 39% se desprende de la evaluación subjetiva del equipo del éxito o fallo (ver gráfico, prueba de fiabilidad). Otro método evaluaba si podía hallarse un efecto estadísticamente significativo, y producía un resultado aún más desalentador. Mientras que el 97% de los estudios originales encontraron un efecto significativo, apenas el 36% de los estudios de replicación encontraron dichos resultados positivos. El equipo también encontró que el tamaño medio de los efectos hallados en los estudios replicados era de apenas la mitad del que se informaba en los estudios originales.

No hay forma de saber si un artículo aislado es cierto o falso a partir de este trabajo, dice Nosek. El original o la réplica podrían tener fallos, o podrían no haberse apreciado diferencias clave entre ambos. En general, sin embargo, el proyecto apunta a una amplia publicación de trabajos que no se sostienen bajo el escrutinio.

Aunque Nosek rápidamente comenta que la mayor parte de recursos deberían canalizarse hacia nuevas investigaciones, sugiere que apenas el 3% de los fondos científicos dedicados a la replicación podrían crear una gran diferencia. La cantidad actual, señala, es casi cero.

Fracaso en la replicación

El trabajo es parte del Reproducibility Project, lanzado en 2011 durante un momento en el que una cantidad de informes de perfil alto de análisis estadísticos erróneos derivaron en una crisis de identidad en la psicología.

John Ioannidis, epidemiólogo de la Universidad de Stanford, en California, apunta que la verdadera tasa de fracaso en la replicación podría superar el 80%, incluso más de lo que sugiere el estudio de Nosek. Esto se debe a que el Reproducibility Project se centraba en trabajos de revistas de gran prestigio, los científicos de la publicación original trabajaron estrechamente junto a los encargados de la réplica, y los equipos de replicación, normalmente, optaron por artículos que empleaban métodos relativamente sencillos, todo esto debería haber facilitado la replicación.

Pero, añade: “Realmente podemos usarlos para mejorar la situación, en lugar de simplemente lamentarnos por ella. El simple hecho de que haya tenido lugar una colaboración a tal escala sugiere que los científicos están dispuestos a moverse en la dirección de la mejora”.

El trabajo publicado en Science es diferente de artículos anteriores sobre replicación debido a que el equipo realmente llevó a cabo la reproducción de un amplio abanico de experimentos, señala Andrew Gelman, estadístico en la Universidad de Columbia, en Nueva York. En el pasado, algunos investigadores descartaron las indicaciones de problemas muy extendidos debido a que implicaban estudios de réplica pequeños o estaban basados en simulaciones estadísticas.

Pero lo tendrán más difícil para desembarazarse del último estudio, apunta Gelman. “Éstas son pruebas empíricas, no un argumento teórico. El valor de este proyecto es que, con suerte, confiaremos menos en nuestras afirmaciones”.

Sesgo de publicación

La clave, señala Nosek, no es criticar los artículos individuales, sino evaluar cuánto sesgo hay en las publicaciones de psicología. Por ejemplo, estudios aburridos pero precisos puede que nunca lleguen a publicarse, o investigadores que llegan a resultados intrigantes más por suerte en la ruleta estadística que por documentar un verdadero efecto; hallar un resultado significativo por suerte o intentar distintos métodos analíticos hasta que alguno dé resultado.

Nosek cree que es probable que otros campos científicos tengan mucho en común con la psicología. Un análisis encontró que sólo 6 de 53 artículos de perfil alto en biología oncológica pudieron reproducirse2 y actualmente hay en curso un proyecto de reproducibilidad relacionado con la biología oncológica. Los incentivos para encontrar resultados merecedores de publicaciones de perfil alto son muy fuertes en todos los campos, y pueden espolear a los investigadores a perder su objetividad. “Si esto sucede a gran escala, entonces la literatura publicada puede ser más belleza que realidad”, apunta Nosek.

Los resultados publicados en el artículo deberían avivar un debate más amplio sobre las prácticas científicas y de publicación óptimas, apunta Betsy Levy Paluck, psicóloga social en la Universidad de Princeton, en Nueva Jersey. “Nos dice que no conocemos el equilibrio entre innovación y replicación”.

El hecho de que el estudio se publicase en una revista de prestigio animará a los futuros eruditos, dice, y demostrará que ahora “la replicación se promueve como una línea de investigación responsable e interesante”.

Referencias:

Nature doi:10.1038/nature.2015.18248

1.- Open Science Collaboration. Science http://dx.doi.org/10.1126/science.aac4716 (2015)

2.- Begley, C. G. & Ellis, L. M. Nature 483, 531533 (2012)

Anuncios