2023
301
15062021
07092021
Antonio Laguna-Camacho alagunaca@uaemex.mx
Universidad Autónoma del Estado de México, México
Resumen: Se brinda una introducción a la ciencia abierta por medio de la revisión de sus aspectos básicos. En particular, se presenta la crisis de replicación en investigación y ejemplos de prácticas cuestionables que generan resultados falsos positivos. Se presentan también iniciativas de ciencia abierta para mejorar la reproducibilidad y confiabilidad del saber científico. Se discute además el impacto de la adopción de los principios de ciencia abierta en elevar los estándares para publicar reportes científicos, así como retos para transformar el sistema en el que se desarrolla la investigación. En general, se busca una reflexión para acercar la comunidad académica en Latinoamérica al movimiento de ciencia abierta y se comparten recursos para que el lector interesado pueda profundizar e involucrarse.
Palabras clave: crisis de replicación, ciencia abierta, Latinoamérica.
Abstract: This paper provides an introduction to open science by reviewing its basic aspects. In particular, it presents the replication crisis in research and examples of questionable practices that generate false positive results. Open science initiatives are also presented to improve the reproducibility and reliability of scientific knowledge. The impact of adopting open science principles on raising standards for publishing scientific reports is also discussed, as well as challenges in transforming the research system. Overall, the paper aims to encourage reflection among the academic community in Latin America on the open science movement, and shares resources for interested readers to deepen their understanding and get involved.
Keywords: replication crisis, Open Science, Latin America.
Ensayo
Ciencia abierta: iniciativas para mejorar la investigación en Latinoamérica
Open science: initiatives to improve research in Latin America
Antonio Laguna-Camacho alagunaca@uaemex.mx
Recepción: 15 Junio 2021
Aprobación: 07 Septiembre 2021
La ciencia es una actividad relevante para generar conocimiento que contribuya al desarrollo y bienestar social, por eso es que los gobiernos destinan presupuesto para apoyo de la investigación (CPEUM, 2021). Idealmente, tal saber científico puede informar acciones para resolver problemas sociales (Grundmann y Stehr, 2012).
Aun así, el impulso a la investigación en Latinoamérica dista mucho del encontrado en otras regiones del planeta. Por ejemplo, de los participantes en estudios científicos en el área de psicología, más del 70% provienen de Estados Unidos y Europa y, en contraste, sólo 1% provienen de Latinoamérica (Onie, 2020), tales porcentajes dan una idea de la gran brecha que existe. Los recursos son también mucho más limitados en Latinoamérica, por lo que, para compensar esta desventaja, la investigación conducida debiera ser muy eficiente. Sin embargo, el rezago académico desfavorece la calidad de la ciencia generada (Ciocca y Delgado, 2017).
Para entender mejor las fallas en la investigación y desarrollar estrategias de afrontamiento, en este artículo se considera una evaluación desde la perspectiva científica. La metaciencia es una disciplina que tiene por objeto de estudio la misma ciencia, esto incluye el escrutinio de las prácticas de investigación y la evidencia científica. La comunicación de la investigación es a través de artículos publicados en revistas científicas después de su revisión por pares. Los hallazgos de un estudio debieran replicarse siguiendo el método descrito en el artículo. Sin embargo, el fracaso en replicar los resultados encontrados en publicaciones científicas indica problemas generalizados en la forma en que se conducen y reportan los estudios (Anvari y Lakens, 2018). Por ejemplo, una colaboración internacional repitió 100 estudios de los cuales sólo en 36% los hallazgos fueron replicados (Open Science Collaboration, 2015). Este tipo de inconsistencias encontradas en la evidencia reportada ha detonado la así llamada crisis de replicación en investigación (Nelson et al., 2018).
La lista de casos que han alertado sobre serios problemas en los reportes científicos es larga. Por ejemplo, el profesor Daryl Bem (2011) logró publicar resultados donde recordar una lista de palabras mejoraba cuando se repasaban las palabras después de tal recordatorio, pese a que un evento futuro no puede alterar el pasado. Cuando diferentes investigadores repitieron el experimento, los resultados no se replicaron (Galak et al., 2012; Ritchie et al., 2012). Metacientíficos (investigadores de la ciencia) señalan entre posibles explicaciones para los implausibles hallazgos recolectar datos de participantes hasta obtener el resultado buscado con una probabilidad estadísticamente significativa (Schimmack, 2018).
Otro caso fue el del investigador en conducta alimentaria Brian Wansink, quien en su blog comentó sobre su forma de buscar resultados en datos de un estudio fallido y de ello resultaron cuatro publicaciones. Esto llamo la atención de metacientíficos, quienes encontraron en tales artículos un gran número de inconsistencias y errores (Anaya et al., 2017). Escrutinio adicional a la investigación del profesor Wansink ha llevado a retracción de al menos dieciocho de sus publicaciones y al dictamen de incurrir en mala conducta académica (Munafò et al., 2018).
Peor es el caso de fraude científico de Diererik Stapel, un investigador en psicología de la Universidad de Tilburg quien admitió la fabricación de datos y resultados en múltiples reportes de investigación (Carey, 2011), por lo que cincuenta y cinco de sus artículos fueron retractados y se dio cese a su posición académica.
Estos casos un tanto extremos fueron sólo el inicio para hacer una introspección a la manera en la que se ha conducido convencionalmente la investigación. En particular, se ha encontrado una falta de transparencia en los reportes científicos (Baker, 2016). Esto hace poco posible la evaluación del desarrollo de un estudio porque diversos aspectos son subreportados y porque los datos recolectados no se encuentran disponibles para verificar sus resultados (Wicherts et al., 2006). Además, hay evidencia de que diversas prácticas de investigación que comprometen la veracidad del conocimiento científico son altamente prevalentes (John et al., 2012). Por esto, hay una gran preocupación acerca de la validez de los hallazgos reportados en una gran proporción de las publicaciones científicas (Ioannidis, 2005).
Como respuesta a esto, en años recientes surgió el movimiento de ciencia abierta (Open Science) integrado por una comunidad internacional que llama a mejorar la ciencia. El movimiento se ha extendido con rapidez en Europa y Norteamérica. Pese a esto, la actividad en Latinoamérica en los temas de ciencia abierta ha sido menor, en particular entorno a la práctica científica (De Filippo y D’Onofrio, 2019). Para contribuir a cerrar esta brecha, se describen a continuación aspectos básicos que se han abordado en ciencia abierta.
Son muchas las prácticas de investigación que entran en un complicado espectro para identificar si su uso es o no correcto (Neuroskeptic, 2012), pero que en conjunto contribuyen a elevar la tasa de resultados falsos positivos en la literatura científica. La figura 1 muestra ejemplos de estas prácticas que se busca descontinuar, las cuales se describen a continuación.
Entre los aspectos del diseño metodológico, sobresale el poder estadístico por su relevancia en determinar la certeza de una relación entre variables. Al probar una hipótesis, un poder estadístico de 80% indica 20% de posibilidad de que un resultado positivo sea falso. Muestras pequeñas de participantes disminuyen considerablemente el poder estadístico e incrementan, por tanto, la tasa de resultados falsos positivos (Button et al., 2013; Simmons et al., 2011). Un efecto estadístico pequeño o una débil relación entre variables disminuye también el poder estadístico, lo que incrementa igual la posibilidad de resultados falsos positivos (Simmons et al., 2011; Simonsohn et al., 2014). En consecuencia, la presencia de resultados falsos positivos sería común en estudios con muestra pequeña y bajo efecto estadístico.
Idealmente, un estudio debe adherirse a un protocolo de investigación que establece ad hoc la hipótesis por probar. Sin embargo, el desarrollo de una investigación o sus resultados no siempre son los esperados. Esto lleva a que, una vez recolectados los datos, se conforme el reporte de un estudio hacia resultados positivos basados en una relación de variables diferente a la hipotetizada desde un inicio. Esto se conoce como HARKing, acrónimo en inglés que significa “hipotetizar después de conocer los resultados” (hipothesizing after the results are known) (Kerr, 1998). En encuestas sobre prácticas científicas una mayoría de los investigadores admite haber incurrido en algún tipo de reporte selectivo (John et al., 2012). Por otra parte, mucha de la investigación que presenta resultados nulos no es publicada (Scheel et al., 2021), lo cual aumenta el sesgo hacia resultados positivos.
P-hacking es una práctica que se refiere a buscar en los datos de un estudio relaciones de variables que alcancen la convencional significancia estadística de una probabilidad menor a 0.05 (Hawkes, 2018). Para esto, se incurre en diversas tácticas como incluir/remover de manera aislada datos de participantes, cambiar las variables principales o reportarlas de forma parcial, probar con diversos análisis estadísticos, etc. Este tipo de manipulaciones incrementan la posibilidad de encontrar resultados falsos positivos. El “minar” así una base de datos genera por azar asociaciones con p < 0.05 entre variables en realidad no relacionadas (Nelson et al., 2018). Por ejemplo, simulaciones muestran que alterar las variables originales del estudio hacia las que tengan un resultado positivo contribuye significativamente a falsos positivos (Simmons et al., 2011). Más aún, el valor de probabilidad en la relación de variables de un subconjunto de datos es incierto al no ajustarse al conjunto completo de datos (Gelman y Loken, 2014).
La ciencia abierta incluye diversas propuestas orientadas a prevenir prácticas cuestionables de investigación. Esto no cambia el proceso de investigación; sin embargo, integra novedosos desarrollos teóricos y metodológicos para corregir la generación de saber científico. A continuación, se describen ejemplos de prácticas para aumentar la reproducibilidad y confiabilidad de la evidencia científica e impulsar su adopción entre académicos. Además, en la tabla 1 se listan ejemplos de iniciativas que están dinamizando la ciencia abierta en la comunidad científica.
Aunque por lo general en los artículos se incluye la declaración de que un comité de ética revisó y aprobó el protocolo, el plan original del estudio no es hecho público o incluido como anexo de la publicación. Esto permite que el estudio reportado difiera del plan original y de que los autores consciente o inconscientemente hayan incurrido en prácticas cuestionables. La prerregistración se refiere a publicar el protocolo o plan de investigación antes de comenzar la recolección de datos (por medio del llamado protocolo prerregistrado con un registro de la fecha en que este se publicó) (Munafò et al., 2017). Así, se puede verificar que la conducción del estudio se haya adherido al protocolo, y de esta forma prevenir el P-hacking y el reporte selectivo.
Una mejor propuesta son los “reportes registrados” (registered reports) (Munafò et al., 2017), un nuevo tipo de publicación en revistas científicas en el que el protocolo es revisado por pares y si es aprobado hay en principio una aceptación de publicación antes de iniciar la recolección de datos. Al terminar el estudio, después de un periodo definido, el manuscrito completo se revisa de nuevo y si es aprobado se publica más allá de si los resultados fueron positivos o nulos. Esta modalidad de publicación es de mayor rigor científico tanto para escrutinar aspectos clave del protocolo antes de que comience el estudio como para limitar los grados de libertad o flexibilidad en probar la hipótesis propuesta con la metodología preespecificada. Por ejemplo, un requerimiento para los reportes registrados es la determinación previa del poder estadístico a fin de dar confiabilidad a los resultados del estudio, i. e. que el estudio tenga una muestra suficiente para identificar el efecto propuesto de una variable sobre otra.
La práctica recomendada es compartir la información que permita verificar el estudio presentado y sus resultados. Esto incluye, por ejemplo, el uso de guías predefinidas para presentar un reporte de investigación, las cuales faciliten a los revisores la evaluación de aspectos claves sobre el racional del estudio, método y resultados (Aczel et al., 2020; Altman y Moher, 2013). Incluye también acceso abierto a materiales y a los datos completos del estudio (Goodman et al., 2016). Pese a que los datos son la base que sustenta los resultados de la investigación no es una práctica establecida que estos acompañen los artículos científicos. Esto es central para que cualquier persona pueda reproducir los resultados del estudio y ver que lo que se encuentra coincide con lo que se reporta.
Una actividad exitosa para llevar la ciencia abierta a las universidades han sido los journal clubs, en los que en cada encuentro se discute la lectura común de un artículo. Un ejemplo es ReproducibiliTea con presencia en más de cien universidades alrededor del mundo (Orben, 2019). El lanzamiento de un grupo ReproducibiliTea en una universidad requiere de un organizador, de seleccionar un artículo científico, de programar la hora y lugar de una reunión presencial o virtual y de invitar a la gente a que asista. Los temas de las sesiones tienden a enfocarse en aspectos diversos de ciencia abierta. Llevar a cabo estas reuniones de forma periódica contribuye al entrenamiento de estudiantes e investigadores en etapas tempranas de su carrera, y a la actualización continua de académicos más establecidos, lo cual en adición brinda la ventaja potencial de mejorar proyectos de investigación en los que participen. En estas reuniones se observa en los participantes un espíritu de entusiasmo por involucrarse y mejorar la ciencia. La comunidad de ciencia abierta igual realiza diversas presentaciones en línea que enriquecen la experiencia en eventos internacionales y la formación científica.
El movimiento de ciencia abierta ha surgido en respuesta a la crisis de replicación y ha venido desarrollando propuestas constructivas en dar transparencia a la investigación. La evidente importancia de la confiabilidad de los reportes científicos ha llevado a prestigiadas revistas como Nature a incorporar reportes registrados e incluir en sus requisitos de publicación aspectos de rigor científico y transparencia (Editor Nature Human Behaviour, 2017; Editor Nature Communications, 2020). Asimismo, muchos investigadores ya comienzan a adoptar principios de ciencia abierta como la prerregistración y a incorporar en sus artículos las ligas de internet para consultar los materiales o datos del estudio.
El impacto de estas reformas en la manera de reportar la investigación generada es sin duda favorable para el progreso científico. Por ejemplo, al comparar el número de resultados positivos, se encuentra que, mientras en los reportes convencionales la prevalencia fue mayor al 95%, en los reportes registrados la prevalencia fue cerca del 50% (Scheel et al., 2021). Esto muestra que los reportes registrados hacen una diferencia significativa en disminuir resultados falsos positivos y en contribuir a obtener evidencia más confiable.
En diversas disciplinas científicas las prácticas cuestionables de investigación han sido prevalentes por muchos años, lo cual afecta la base teórica que ha informado subóptimamente las hipótesis de investigaciones subsecuentes. Por tanto, otra recomendación ha sido la de revisar los conceptos previos y poner mayor énfasis en desarrollar evaluaciones y mediciones más precisas para teorías más sólidas y realistas (Scheel et al., 2020).
Al mismo tiempo, los investigadores continúan inmersos en un ambiente competitivo donde el desarrollo de sus carreras y la obtención de estímulos económicos depende en parte de publicar prolíficamente (Begley et al., 2015). Este escenario favorece la incidencia de prácticas cuestionables de investigación que enfatizan más el número de publicaciones que su calidad (Bruton et al., 2020; Stürmer et al., 2017). Así pues, es posible que esta estructura de estímulos por publicar afecte en particular la generación de conocimiento científico en Latinoamérica donde los recursos son limitados. Se ha observado, por ejemplo, una mayor prevalencia de ciertas tácticas de reporte selectivo en investigadores latinoamericanos que norteamericanos o europeos (Rabelo et al., 2019), aunque se requiere todavía de más estudios para caracterizar mejor estas diferencias.
La educación en universidades sobre temas de ciencia abierta quizá sea necesaria para que las nuevas generaciones transformen el sistema en el que se desarrolla la ciencia. Una intervención educativa sobre prácticas cuestionables de investigación en estudiantes de posgrado influyó en su actitud a favor de cambios que mitiguen el efecto perjudicial de tales prácticas sobre el conocimiento científico (Sacco y Brown, 2019). En la actualidad, son todavía pocas las iniciativas para lograr el cambio cultural en el sistema académico al que apunta el movimiento de ciencia abierta (Norris y O’Connor, 2019).
Este artículo hace extensiva la ciencia abierta a académicos de Latinoamérica con el fin de lograr una reflexión que eventualmente contribuya al progreso científico de esta región. Se encuentran disponibles tutoriales adicionales para académicos interesados en adentrarse más a la práctica de la ciencia abierta (Crüwell et al., 2019; Kathawalla et al., 2021; Robson et al. 2021).
Agradezco al árbitro anónimo por enriquecer con sus gentiles observaciones la estructura y contenidos del artículo. Aprecio también el brillante trabajo que la gente de ciencia abierta comparte en iniciativas como las referidas en la tabla 1.
