Aprender algo nuevo es estimulante, pero el verdadero impacto intelectual llega cuando el nuevo conocimiento exige corregir el viejo, cuando un artículo como el que voy a comentar hoy hace temblar un planteamiento que te parecía tremendamente lógico.
Las revistas de mayor impacto (Science, Nature, New England Journal of Medicine…) reciben gran cantidad de excelentes artículos, y tras una dura selección terminan aceptando sólo unos pocos. El científico cuyo estudio sea rechazado, intentará publicarlo en una revista de menor impact factor.
Esto conduce a pensar que cuanto mayor es el factor de impacto de una revista, más certeros y fiables son los artículos en ella publicados ¿Cierto? Falso! Este es el cambio de paradigma que propone un provocador análisis de la revista PLOS : las investigaciones aparecidas en publicaciones de gran impacto tienen más posibilidades de ser erróneas que otras similares publicadas en revistas de categoría inferior.
¿Por qué? Por los criterios de publicación: si un estudio está bien hecho y presenta resultados espectaculares puede terminar en Science o Nature, pero si otro parecido obtiene resultados negativos o menos contundentes, aunque esté mucho mejor realizado y por tanto se aproxime más a la realidad, termina publicado en revistas de menor impacto.
Un ejemplo concreto: imaginemos que unos investigadores muestran fotografías amenazantes a 23 votantes republicanos y 23 demócratas para ver si reaccionan diferente frente a ellas. Comprueban que sí lo hacen, y concluyen que las personas conservadoras sienten más temor a las novedades que los liberales. Este artículo (más elaborado de lo que he descrito) puede terminar en Science. Imaginemos ahora que otro grupo hace un nuevo estudio con 200 personas en lugar de 46, y con experimentos mejor diseñados metodológicamente, pero no encuentra diferencias significativas entre demócratas y republicanos. ¿Se publicará tal estudio en Science? Podéis apostar que no. El estudio más preciso quedará relegado a una revista más discreta.
Consecuencia: la imagen final de la ciencia que obtienen los investigadores o reflejan los periodistas si sólo se tiene en cuenta Science o Nature puede estar sistemáticamente distorsionada .
Los autores del artículo de PLOS asemejan este hecho a un efecto que en teoría económica se llama “Winner’s curse” (la maldición del ganador) según el cual el ganador en una subasta siempre suele pagar un precio superior al real.
Uno de los primeros ejemplos en que se aplicó el término “Winner’s curse” fue durante la venta de unos campos petrolíferos. Las diferentes empresas pujaban en función de sus predicciones sobre el petróleo que podía haber esos campos. Imaginemos que el rango de ofertas iba de los 10 millones de dólares a los 50, concentrándose la mayoría de pujantes entorno a los 25-35 millones. Posiblemente por ahí andaría el valor real del campo subastado, pero ganaba la puja el que hubiera ofertado 50, seguramente tras haberse equivocado es sus estimaciones del petróleo que iba a conseguir.
Algo parecido puede ocurrir en las tan competitivas publicaciones científicas: Sobre un mismo tema, de todos los estudios metodológicamente bien hechos que existen, llegan a las grandes revistas científicas los que presentan unos resultados más escorados.
Imaginemos que haya varios grupos esparcidos por el mundo investigando la influencia de un polimorfismo genético determinado en, por ejemplo, nuestra predisposición a la agresividad, y que el rango de influencia observado vaya del 10% al 40%, concentrándose la mayoría de resultados entorno al 25%. Posiblemente esta sería la cifra más acertada, pero si no hay errores metodológicos el grupo que obtenga el 40% será el que publique más alto. Luego ya se corregirá.
De hecho, el artículo de PLOS avala su hipótesis con un estudio realizado en 2005 que analizó 49 de los estudios clínicos más citados entre 1990 y 2003, y que habían aparecido en las tres revistas médicas de mayor impacto (New England Journal of Medicine, JAMA y Lancet). Un tercio de estos habían sido rebatidos al poco tiempo por investigaciones posteriores.
Siendo conscientes de la enorme presión por publicar a la que están sujetos los científicos (su curriculum, financiación, prestigio y posibilidades de promoción dependen del índice de impacto que consigan sus artículos), otro efecto que no debe ser desestimado es la tentación de exagerar ligeramente algunos resultados para desmarcarse del resto de grupos que están investigando lo mismo que ellos.
Los autores del artículo proponen diversas soluciones cuyos detalles se escapan a las pretensiones de este blog, pero quizás en la que más insisten es dar preferencia a la calidad del estudio frente a los resultados obtenidos.
En un momento de tal avalancha de resultados científicos, la rigurosidad metodológica, tamaño de muestras, diseño de los experimentos… debería ser un criterio más importante que los resultados a la hora de publicar. Es decir, que el estudio que llegue al ranking más alto no sea necesariamente el más llamativo, sino el más completo y exhaustivo.
Factible o no, esta critica al modelo de publicación actual es un elemento más del activo debate existente dentro de la comunidad científica sobre cómo mejorar uno de sus pilares fundamentales.
info: Apuntes cientificos desde el MIT. Escrito por Pere Estupinyà.
.jpg)
No hay comentarios:
Publicar un comentario