Breve panorama de la replicabilidad de estudios

La publicación en revistas de alto impacto de un gran número de estudios científicos cuestionables realzó una controversia sobre los criterios de calidad de la producción científica que ya era preexistente (^{Gelman & Loken, 2014}). Estas controversias en psicología han logrado estimular las conversaciones sobre la naturaleza y calidad de la investigación psicológica (^{Makel et al., 2012}). Por ello, un gran número de psicólogos muestran su preocupación ante un posible exceso de falsos positivos en la literatura científica (^{Maxwell et al., 2015}) y esta preocupación no es reciente (^{Agnoli et al., 2017}; John P. A. ^{Ioannidis, 2005}). ^{Simmons et al. (2011}) afirmarían que es más alta la probabilidad de que un investigador encuentre evidencia de que existe algún efecto que la probabilidad de encontrar correctamente la evidencia que no lo hace, lo que alimentaria la conclusión de que existe una crisis de confianza en la ciencia psicológica (^{Pashler & Wagenmakers, 2012}) que ha generado una reiterada discusión sobre la importancia de la replicación (^{Earp & Trafi- mow, 2015}).

En gran medida, la credibilidad de una ciencia depende de la posibilidad de replicar sus hallazgos, es decir, reproducir los efectos que se reportan en estudios originales. En ese sentido, la replicabilidad se convierte en un procedimiento esencial y en uno de los criterios usados en la investigación científica para garantizar la validez del conocimiento (^{Blanco et al., 2018}). Por ejemplo, un experimento de replicación que demuestre que se pueden obtener los mismos resultados en otro lugar o con otro investigador se concibe como la operacionalización de la objetividad, y aunque la replicación es de gran importancia (^{Schmidt, 2009}), rara vez los estudios de replicación aparecen en las revistas de psicología (^{Association for Psychological Science, 2013}), dado que solo un mínimo porcentaje (1.07%) corresponde a estudios replicados (^{Makel et al., 2012}). Esta situación se debe a una menor valoración de estudios de replicación frente a estudios originales (o novedosos) por parte del consejo editorial de las revistas, generados por un énfasis en la novedad (^{Stevens, 2017}).

En vista de esta situación, uno de los proyectos más grandes que intentó cuantificar los problemas de replicabilidad en la psicología fue el Reproducibility Project: Psychology (Open Science Collaboration, 2015) donde intentaron replicar 100 estudios extraídos de manera aleatoria de tres de las revistas más prestigiosas, de los cuales 97 reportaban resultados significativos. Sin embargo, solo un 36% de los estudios de replicación lo hicieron. Además, la magnitud del efecto de las réplicas fue la mitad de lo observado en los estudios originales. Estos resultados avivaron el debate sobre las conclusiones de la baja tasa de replicabilidad en psicología (^{Protzko & Schooler, 2020}), demostrando que la tasa de replicabilidad en psicología social es de solo el 25% y en psicología cognitiva del 50% (^{Open Science Collaboration, 2015}). Por otro lado aunque la psicología clínica y escolar no han sido incluidos con mucha frecuencia en los estudios y discusiones sobre replicabilidad e incluso se consideren “aislados”, es poco probable que sean inmunes a esta crisis (^{Tackett et al., 2017}). Incluso, en vista de la heterogeneidad de los sistemas educativos en los diferentes países, es altamente probable que la tasa de replicabilidad sea aún más baja.

Los resultados de los estudios de replicabilidad no han sido alentadores, sin embargo, los propios autores señalan la necesidad de realizar estos estudios en otros contextos para poder determinar la influencia que podría existir por las diferencias culturales.

Tipos de replicación

En párrafos anteriores se indicó que la replicabilidad es la piedra angular de la ciencia (^{Open Science Collaboration, 2012}); sin embargo, esto no coincide con el número de replicaciones que se observan en la literatura, y aunque durante los últimos años los investigadores han mostrado cada vez más preocupación por conocer si realmente los hallazgos que se publican en la literatura son replicables (^{Świątkowski & Dompnier, 2017}), los propios investigadores no realizan estudios de replicación. Esta situación abre una serie de interrogantes: ¿Cuáles son las razones por las que pese a conocer su importancia no se refleja en literatura científica un número considerable de estos estudios? y un punto más importante aún ¿Cómo se puede lograr impulsar el desarrollo de más estudios de replicación?

Es importante conocer que un estudio de réplica es un procedimiento que se utiliza para verificar la veracidad y exactitud de resultados informados. En una revisión de la literatura se puede encontrar que se identificaron varios tipos de replicación. En psicología, se clasifican en réplicas directas y réplicas conceptuales (^{Schmidt, 2009}). Cuando los investigadores repiten todos los aspectos relevantes de un estudio original y pretenden ser lo más parecido posible a este, se le define como replicación directa, las que deben distinguirse de las replicaciones conceptuales que son las que buscan probar la hipótesis de estudios anteriores utilizando un diseño de investigación diferente (^{Makel et al., 2012}). La replicación directa es poco frecuente (^{Patil et al., 2016}) y aunque las réplicas conceptuales se pueden encontrar ocasionalmente, a menudo carecen de enfoque sistemático (Schmidt, 2009). Esto ha llevado a la conclusión de que existe una crisis de replicabilidad en la psicología (^{Anvari y Lakens, 2018}), lo que ha provocado un proceso de revisión de la evidencia científica para generar la oportunidad de reconsiderar algunas prácticas actuales que podrían ser parte del origen de esta crisis.

¿Qué impide la replicación de estudios?

Algunas de estas causas han sido mencionadas por diversos autores, de los cuales muchos han coincidido en que existen factores individuales (^{Blanco et al., 2018}), de toma de decisiones o grados de libertad del investigador (^{Gelman & Loken, 2014}) así como factores contextuales, entre los cuales se incluyen la presión de algunas revistas por la publicación de estudios positivos, así como la competitividad y necesidad de novedad en investigación y la falta de aceptación e incentivos adecuados a los estudios de replicabilidad (^{Blanco et al., 2017}; ^{John et al., 2012}; ^{Patil et al., 2016}; ^{Świątkowski & Dompnier, 2017}).

Empezando por los factores individuales, algunos estudios conectan esta crisis con los graves defectos de las pruebas de significación de hipótesis nulas (NHST; ^{Cumming, 2014}; ^{Savalei & Dunn, 2015}), identificando como una causa subyacente la de- pendencia que aún se tendría a estas pruebas de significación (^{Collins & Tabak, 2014}), al imperativo de lograr un significado estadístico y la adopción de comportamientos de búsqueda de importancia de varios campos, destacando selectivamente resultados positivos (^{Brunner & Schimmack, 2016}). Por ejemplo, una de las cosas que ocurren en este sentido es que los investigadores pueden llegar a ser víctimas del sesgo de confirmación y centrarse solo en confirmaciones positivas de hipótesis, ya que al analizar los datos, los investigadores podrían informar resultados que confirmen sus hipótesis mientras ignoran otros que no lo hacen (^{Bakker et al., 2012}; ^{Bakker y Wicherts, 2011}). Estas prácticas están relacionadas con el comportamiento y decisión de los propios investigadores; sin embargo; ¿Se trata solo de un sesgo de publicación a nivel académico individual? La negativa por parte de los investigadores a enviar resultados nulos para publicación además de poder significar conflicto con los modelos teóricos, representan para ellos la creencia de que no serán publicados (^{Ferguson y Heene, 2012}); lo cual relacionaría este factor individual con un sesgo de publicación, y el rechazo a los resultados nulos. (^{Świątkowski y Dompnier, 2017}; ^{Wagenmakers et al., 2011}; ^{Wetzels et al., 2011}).

Asimismo, también es posible observar que en algunos casos las hipótesis van “emergiendo” a medida que se exploran los datos en lugar de ser formuladas a priori, analizando los datos cuanto sea necesario hasta encontrar el resultado positivo para ser publicado. A esta práctica se le conoce como p-hacking (pruebas múltiples no reveladas sin ajuste; ^{Wicherts et al., 2016}) que generan un exceso de informes de resultados significativos (^{Stevens, 2017}). Estas prácticas se dan a conocer en la literatura científica como prácticas de investigación cuestionables (PIC; ^{John et al., 2012}; ^{Protzko & Schooler, 2020}) que debilitan la credibilidad y reproducibilidad de los resultados de la investigación, son muy frecuentes en la actualidad (^{Agnoli et al., 2017}) y trae consigo la posibilidad de perder objetividad, mantener teorías ante pruebas inadecuadas y por ende distorsionar la evidencia científica real.

Por lo expuesto, el poder estadístico sería reconocido entonces como una de las razones por la cual los estudios de replicación no logran encontrar el efecto original, aunado a que varios estudios han descubierto evidencia directa e indirecta del uso de PIC entre psicólogos, como los sesgos selectivos en la información de métodos y resultados, información de análisis exploratorios como confirmatorios y errores generalizados de portabilidad de resultados estadísticos, demostrando que la prevalencia de PIC en distintos países que incluyen hasta diez de estas prácticas llegan a ser más de la cuarta parte de la totalidad de los encuestados en los estudios, y aquellos que han usado alguna PIC más del 80% (^{Agnoli et al., 2017}; ^{Fiedler & Schwarz, 2016}; ^{John et al., 2012}). Por esta razón se plantea una posibilidad de generalización. Sin embargo, sería necesario que se pudieran realizar más estudios que permitan conocer la extensión de estas prácticas sobre todo en países latinoamericanos.

Además de los factores individuales, se añaden factores contextuales que actualmente siguen respondiendo a la falta de replicaciones en psicología, pero sobre todo a la ausencia de estudios de replicación, y presencia de las PIC ya mencionadas. ¿Existe actualmente presión por publicar resultados positivos y novedosos? Varios autores a lo largo de los años lo han afirmado y es que la publicación sistemática de estudios que dependen de su resultado, y donde los artículos publicados solo incluyen resultados confirmatorios de las hipótesis presentadas, representan el 90% del volumen de publicación en psicología (^{Blanco et al., 2018}; ^{Fanelli, 2010}). Los resultados positivos estadísticamente significativos se publican con mayor facilidad que los resultados negativos estadísticamente no significativos, este problema es conocido como el “cajón de archivos” (^{Fanelli, 2012}; ^{Ferguson y Heene, 2012}) y se relaciona a la toma de decisiones basadas en el valor p, una de las limitaciones del procedimiento NHST mencionado anteriormente. Un valor p significativo lleva al rechazo de la hipótesis nula, sin embargo, un valor p no significativo no conduce a la aceptación de le hipótesis nula, lo que lo convierte en resultados no concluyentes y difíciles de interpretar (^{Cohen, 1994}); siendo esta una razón para que los revisores puedan preferir los resultados positivos y para ellos más concluyentes. Si existe una presión para publicar resultados positivos y un sesgo de publicación contra resultados negativos; los investigadores podrán centrar más su interés en la obtención de resultados “exitosos” (^{Giner-Sorolla, 2012}), aunque esto involucre el uso de las PIC (^{John et al., 2012}; ^{Schimmack, 2012}; ^{Simmons et al., 2011}), y apartar los resultados negativos; con todo esto, no resultaría sorpresivo que la publicación de resultados nulos disminuyera con el tiempo (^{Fanelli, 2012}).

Además, no solo los resultados significativos, sino aquellos que se consideran novedosos son los que tienen mayor facilidad de ser publicados (^{Klein et al., 2014}). Este sesgo de publicación representa la distorsión directa del conocimiento científico, todos los resultados independientemente de sus añadidos son relevantes para la ciencia, siempre que hayan sido producidos por métodos sólidos (^{Fanelli, 2010}). ¿Resulta importante publicar resultados negativos? Algunos autores mencionan que representan el 50% del conocimiento, por lo tanto su nivel de importancia sería equivalente a la de resultados positivos (^{Culebras, 2016}); y es que su divulgación representaría un aumento de conocimiento de otros investigadores, al facilitarles que conozcan los resultados negativos de las investigaciones en el campo de su interés; proporcionaría también una optimización de gastos en recursos humanos y materiales ya que representaría en muchos casos que los investigadores puedan hacer modificaciones en sus estudios si se difundiera lo que ya se ha descubierto (^{Tárraga y Rodríguez, 2016}); además si los resulta- dos negativos se omiten de manera sistemática de la literatura científica esta se distorsiona e impide su claridad para próximos estudios o procedimientos como los mataanaliticos (^{Świątkowski y Dompnier, 2017}). Aunado a esto, si hay un énfasis en la novedad, se impide una construcción de ciencia acumulativa; si las revistas en la actualidad centran su criterio de aceptación en estudios con información novedosa, se descuida la importancia de las replicaciones (^{Makel et al., 2012}) pese a que la comunidad de investigación se beneficiaria de forma colectiva si los investigadores realizaran réplicas (^{Koole y Lakens, 2012}), la situación actual de lo que se puede publicar introduce sesgos que impiden que los investigadores se arriesguen a tomar este camino.

Para ejemplificar esta situación se revisaron las 45 revistas latinoamericanas de psicología incluidas en el Scimago Journal & Country Rank para el año 2019 y se encontró que un porcentaje considerable (alrededor de 40%) desalienta las contribuciones en forma de réplicas, incluyendo como parte de sus criterios de valoración la novedad y originalidad teórica y empírica en los estudios que aspiren a publicarse. Asimismo, alrededor del 55% de estas revistas no incluyen información en sus criterios de valoración editorial sobre las replicaciones, otorgando así mínimas posibilidades de aceptación. Finalmente, solo un pequeño porcentaje deja abierta la posibilidad de recibir estudios de réplicas. Queda claro que este panorama es una de las principales limitaciones para que más investigadores apuesten por replicar dado que en la carrera científica actual, al menos en el contexto peruano, las publicaciones en revistas SCOPUS son valoradas, además de ser un indicador determinante de su éxito profesional (^{van Dijk et al., 2014}).

Por ello, si estas revistas priorizan la novedad, los investigadores maximizarán su número de publicaciones concentrándose en hallar resultados novedosos (^{Higginson & Munafò, 2016}) dejan- do fuera los trabajos de replicación, en vista que podrían arriesgarse a un rechazo inmediato si presentan este tipo de estudios, por lo que es poco probable que se motiven para alguna vez ejecutarlos.

¿Por qué esto representa un problema?

La réplica es un mecanismo que permite comprobar experiencias empíricas y de exploración de conocimientos que enriquecen los distintos abordajes de una problemática (^{Ordoñez-Morales, 2014}). Si existe una crisis de replicabilidad en psicología no solo se limita un proceso de adaptación de diseños origina- les, sino también se limitan los nuevos espacios de aprendizaje que estos pueden generar, así como el análisis crítico, los re- planteamientos de los problemas y resultados que en mayores ocasiones se presentan como la última palabra que los demás investigadores, psicólogos y estudiantes deben aceptar de manera incondicional.

Por esto, la falta de replicabilidad representa no solo uno sino diversos problemas en las diferentes áreas de la psicología, la ausencia de este criterio obstruye la verificación de la evidencia. En psicología clínica ¿se debe aplicar una terapia o intervención que no esté empíricamente respaldada? La respuesta podría ser no, sin embargo, si solo se toma en cuenta los resultados positivos de una investigación que concluya la validez de un procedimiento o método, y con ello se asegure su validez total se está yendo en contra del avance de la psicología.

En párrafos anteriores se mencionó que la psicología clínica y áreas relacionadas han sido poco participes de las discusiones de replicabilidad, representando una pérdida de oportunidad para los científicos clínicos y el campo en general, y aunque se han atribuido posibles causas de este aislamiento, también se ha recalcado la preocupación que existe por ello, dado que actualmente la evidencia de investigación critica no tendría una mayor rigurosidad , por ejemplo, los criterios de terapias empíricamente respaldada (TER) en intervenciones psicológicas para los trastornos específicos, solo requieren dos resultados positivos para darle este respaldo, independientemente del número de resultados negativos que se puedan obtener; pudiendo en el contexto de resultados negativos estos resultados positivos ser atribuibles al azar (^{Tackett et al., 2017}). Entonces, si esta información llega como respaldada hacia otros profesionales, optarán por utilizarla en sus diversas intervenciones sin una verificación de procedimientos, métodos o teorías. Con todo, es probable que los científicos clínicos presenten mayores dificultades para poder aplicar cambios relacionados a los pun- tos mencionados anteriormente, la investigación clínica se beneficiaría con la implementación de las recomendaciones que permitan mejorar la replicabilidad en el campo permitiendo su avance con una evaluación e intervención empíricamente respaldada.

Asimismo, en el ámbito de la psicometría suele aceptarse que un solo estudio instrumental concluya que el instrumento estudiado posee suficientes cualidades métricas, sin considerar que la obtención de evidencias de validez es un proceso continuo y se requieren diversos estudios para consolidar los hallazgos (American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, 2014).), ya que es posible que, por ejemplo, la estructura interna encontrada obedezca en mayor medida a las características de la muestra, más no represente al constructo. Asimismo, también es frecuente el uso de procedimientos obsoletos o inadecuados (ver ^{Lloret, Ferreres, Hernández, & Tomás, 2014}), por lo que estudios adicionales servirían para contrastar y refutar esos hallazgos (ver Dominguez-Lara & Navarro-Loli, 2018).

En muchos casos los resultados de investigaciones pueden caer en los puntos mencionados anteriormente, y ser sobreestima- dos en magnitud, lo cual implica la necesidad de estudios de replicabilidad que permitan brindarle mayor rigurosidad a la evidencia de investigación.

¿Qué alternativas existen?

Algunos autores respondiendo a los factores que contribuyen a esta llamada crisis de replicabilidad describen métodos y recomendaciones para que esto pueda cambiar. Entre estas propuestas está implementar enfoques estadísticos que enfaticen en la estimación de parámetros en lugar de la NHST (^{Asendorpf et al., 2013}). En este sentido, las estadísticas bayesianas se presentan como una alternativa para remediar el sesgo en contra de publicaciones de resultados no significativos (^{Świątkowski & Dompnier, 2017}). Actualmente más revistas se suman a requerir el abordaje del poder estadístico y el tamaño de muestra, permitiendo el uso de nuevos enfoques como las estadísticas bayesianas y el metaanálisis.

Se debe considerar reestructurar el incentivo a las publicaciones de replicabilidad, ya que si las réplicas siguen siendo desconocidas para la comunidad científica, los investigadores no tendrán motivación de realizar este tipo de estudios. Por ello, deben existir salidas para que puedan publicar, ya sea con espacio separado a las replicaciones en las revistas científicas o abrir el acceso de los datos como material en línea junto con los estudios originales (^{Asendorpf et al., 2013}; ^{Koole y Lakens, 2012}). Asimismo, podría considerarse una visión metaanalitica del conocimiento científico (^{Cumming, 2014}), considerando que el valor de una publicación es muchas veces determinada por la cantidad de citas que pueda obtener (^{van Dijk et al., 2014}), ya que al citar un artículo original se podría realizar una cocitación del archivo de replicación; esto podría significar que a la vez que las réplicas obtienen mayor número de citas, los estudios originales son beneficiados también de la misma manera (^{Koole y Lakens, 2012}).

Finalmente, se debe incentivar el desarrollo de políticas editoriales que generen el acceso a la preinscripción y datos abiertos; lo cual incluye el prerregistrar hipótesis, diseñar, analizar y hacer que los datos recopilados sean de acceso abierto (^{Gelman & Loken, 2014}) por ejemplo; el archivar datos, scripts, análisis y una descripción de los mismos de manera pública, permitiría el acceso completo a otros investigadores y, por ende, facilitar la replicación. Asimismo, se deben considerar los flujos de trabajo de publicación reproducibles, que permitan el seguimiento del proceso, y proporcione a los investigadores un espacio para almacenar materiales IRB, datos, guiones de análisis, etc. (Nosek et al. 2012); tal como la Open Science Framework, que proporciona investigaciones con una plataforma de prerregistros de hipótesis y recopilación y análisis mediante datos anónimos disponibles en modo publico después del estudio, lo cual per- mite que los materiales estén disponibles a otros investigadores (^{Tackett et al., 2017}). Si las revistas implementaran estos espacios, se impediría el que se puedan modificar a conveniencia las hipótesis de investigación iniciales de los estudios, se disminuiría las PIC entre los investigadores, y la tasa de falsos positivos en la literatura científica sería menor. Se debe considerar que el registro pueda ser lo más exacto, transparente y confiable; sin embargo, la evidencia muestra lo lejos que se está de este ideal, y sigue proporcionando estudios que no pueden reproducirse o evaluarse; si el registro de un estudio no es adecuado, a pesar de este ser muy bueno se vuelve inutilizable (^{Zúñiga, 2019}). Como una posible solución a esta problemática, es importante que los autores y editores se apoyen de herramientas que guíen la escritura y publicación de trabajos científicos, tal como indica la red EQUATOR (Enhancing the Quality and Transparency of health Research), lo que permitirá mejorar la confiabilidad y el valor de la bibliografía de investigación. La red EQUATOR es una iniciativa internacional establecida para promover informes de alta calidad sobre estudios de investigación en salud (^{Simera et al., 2010}) y proporciona herramientas destinadas a los autores que incluye recursos de orientación sobre informes; directrices para planificar, redactar, consideraciones éticas, compartir y publicar datos. Asimismo, contiene herramientas destinadas a revisores pares que evalúan manuscritos de investigación, así como también para los editores que consideren implementar políticas que ayuden a mejorar la exactitud e integridad de los informes; y valoren un contenido que garantice el resultado de una investigación trasparente, reproducible y de calidad.

Algunas revistas han tomado medidas para mejorar la calidad de investigación que publican (^{Ioannidis et al., 2010}), contemplando así la posibilidad de publicar replicas o resultados nulos; por ejemplo Adavances in Methods and Practices in Psychological Science ha incorporado una sección destinada a recopilar estudios de replicación; el nuevo tipo de artículo, Registerd Replication Reports, tiene como objetivo fortalecer la base de la ciencia psicológica incentivando la publicación de replicaciones basadas en un protocolo compartido y examinado.

CONCLUSIÓN

Para la investigación en la ciencia en general la replicabilidad es un requisito previo para la obtención de conclusiones válidas, por ello resulta necesario incentivar estos estudios en la psicología, y aunque existen barreras y desafíos para implementarlos, y más aún en el ámbito de las publicaciones científicas, estos cambios formarán parte de una mejora en la ciencia psicológica dado que mejoraría su calidad y reputación en medida que aumenta la confianza por las publicaciones actuales. Es importante descubrir, pero en igual medida también lo es replicar, y de ese modo la psicología podría ser considerada como una ciencia más rigurosa y sólida.