¿Puede el aprendizaje automático resolver el problema de replicación de la psicología?

Fuente: Creado por Alex Danvers en Canva.

La replicación de la investigación es clave para obtener resultados confianza ellos tienen. No solo queremos efectos psicológicos que ocurrieron una vez en el laboratorio, queremos efectos que sean generalmente ciertos y que puedan usarse para ayudarnos a mejorar nuestras vidas en el mundo real. Pero realizar estudios de replicación es complejo, lleva mucho tiempo y, a menudo, está lleno de dificultades académicas. ¿Qué pasaría si pudiéramos usar aprendizaje automático ayudar a automatizar este proceso y obtener automáticamente estimaciones de repetibilidad para miles de estudios simultáneamente?

Nueva investigación Wu Youyou, Yang Yang y Brian Uzzi en procedimientos de la Academia Nacional de Ciencias tratando de hacerlo Usan el aprendizaje automático para tratar de comprender qué tan bien se replicará la investigación psicológica en múltiples subcampos (p. ej., psicología clínica, psicología del desarrollo, psicología social). Este es un documento ambicioso y proporciona una idea de la reproducción en psicología. Sin embargo, debido a problemas con el enfoque de aprendizaje automático, debemos tener cuidado al interpretar los resultados.

¿Que hicieron?

Los investigadores recolectaron una muestra de 388 estudios psicológicos que se habían replicado antes y los usaron para entrenar su modelo de aprendizaje automático. Estos eran estudios existentes que se realizaron por otras razones, como en 2016 Proyecto de Replicación en Psicología (RPP) y Proyecto Resultados de la Vida de la Reproducción de la Personalidad (LOOPR).. Los textos de estos trabajos fueron analizados utilizando un conocido algoritmo. El algoritmo cuenta aproximadamente con qué frecuencia se usa cada palabra en un artículo, luego las convierte en una serie de 200 números basados ​​en asociaciones de palabras comunes en la investigación de las ciencias sociales. Estos 200 números de resumen del texto del manuscrito se utilizan luego para entrenar un modelo de aprendizaje automático para predecir si el estudio se replica con precisión o no.

Luego, los investigadores utilizaron un modelo de aprendizaje automático entrenado en replicaciones existentes para predecir si se replicarían otros documentos (si alguien intentara replicarlos en el futuro). Hicieron estas predicciones en un conjunto mucho más grande de artículos: más de 14 000 artículos, que cubren casi todos los artículos publicados en seis revistas líderes durante una década. Luego analizaron estas predicciones para tratar de comprender mejor estos subcampos.

Posibles problemas con el estudio

Los lectores cuidadosos de este artículo pueden detectar de inmediato algunos problemas potenciales.

Fuente: Creado por Alex Danvers en Canva.

1. ¿Qué tan precisas fueron estas predicciones?

La precisión fue decente, pero no excelente: 68%. Entonces, cuando analizan las predicciones de 14,000 artículos nuevos, sabemos que van a ser bastante inexactas.

Además, podemos comparar rápidamente la replicación de campo prevista con la replicación de campo real. A veces, esto se superpone: para la psicología social, la tasa de replicación en los estudios completados es del 38 % y la tasa de replicación prevista es del 37 %. Pero a veces está lejos: por personalidad psicología, la tasa de replicación en los estudios completados es del 77 %, pero la tasa prevista es del 55 %. Esto debería darnos una pausa cuando saquemos conclusiones de este modelo.

2. ¿Es realmente razonable esperar que los estudios de replicación anteriores predigan otros nuevos?

Responder a esta pregunta significa determinar si los estudios previos son bien representativos de las réplicas cualquier posible replicación futura (al menos de estas seis revistas). Hay varias razones por las que esto no es así.

En primer lugar, los estudios de replicación anteriores no incluyen ningún estudio clínico o de psicología del desarrollo. Esto es un problema porque este artículo quiere hacer predicciones sobre los mejores artículos en ambas áreas. Dado que el modelo no se entrenó en ninguno de estos papeles, es probable que la precisión sea aún menor cuando se encuentre con este tipo de papel nuevo y diferente. (Los autores tratan de abordar esto diciendo que los tipos de palabras que se usan en estos trabajos son similares a los tipos de palabras que se usan en las áreas donde tenemos copias, pero esto no es del todo convincente). Nuestro 68 % de precisión es probablemente aún más bajo. para estos campos.

En segundo lugar, incluso en áreas donde existen múltiples copias existentes, no representan todas las áreas igualmente bien. Por ejemplo, los experimentos de psicología social que se pueden realizar rápidamente en una computadora se han replicado más que aquellos que involucran el registro de interacciones y la codificación o evaluación del comportamiento. En consecuencia, nuestra precisión para este tipo de estudios también puede ser menos precisa.

3. ¿Es un modelo basado en asociaciones léxicas la mejor forma de evaluar estudios que tienen marcadores como p-valores?

El uso de vectores de palabras (200 números asociados con las elecciones de palabras de los autores) significa que este enfoque de aprendizaje automático se basa solo en asociaciones de palabras. Los factores distintos de las palabras que se usaron son ciertamente importantes. Por ejemplo, sabemos que el estudio de valor p que apenas cruzan el umbral para la publicación tienden a ser menos fiables que los estudios con valor p que se cruzan con un gran margen. Si estos datos pudieran usarse y la precisión aumentara en un 5-10%, tendría mucha más confianza en las conclusiones extraídas de las predicciones.

¿Qué podemos aprender?

Fuente: Creado por Alex Danvers en Canva

Usted y sus colegas llegaron a la conclusión de que su «Este modelo nos permite realizar el primer reexamen de casi todos los artículos publicados en seis revistas de psicología líderes durante un período de 20 años». Aunque hacen y analizan predicciones basadas en este gran conjunto de manuscritos, las preocupaciones sobre la precisión y la aplicación de algoritmos para nuevos tipos de datos (por ejemplo, nuevos subcampos, nuevos tipos de investigación) me hacen escéptico sobre la capacidad de sacar conclusiones confiables de los resultados del algoritmo.

Sin embargo, los autores hacen varios argumentos convincentes cuando su algoritmo coincide con la literatura existente. Estos argumentos son los más convincentes (para mí) debido a este partido.

• Para la psicología, hay más de una tasa de replicación; la tasa de replicación realmente debe considerarse por campo (por ejemplo, la psicología de la personalidad funciona mejor que la psicología social)
• Los mejores autores que publican más y en mejores revistas tienden a tener más trabajos replicados, pero trabajar en una universidad prestigiosa no predice mejores tasas de replicación.
• Estudios que abarcan más medios atención tienden a circular menos, tal vez porque los medios se sienten atraídos por historias llamativas y controvertidas que también tienen menos probabilidades de resistir el paso del tiempo.

finalmente, los autores encontraron que los estudios experimentales (donde los psicólogos manipulan activamente las condiciones) tienden a reproducirse menos que los estudios no experimentales (donde los psicólogos observan el comportamiento e informan qué está asociado con qué). Esto es algo sorprendente, pero creo que puede explicarse por el patrón utilizado para entrenar el modelo: la psicología de la personalidad, que tiende a ser más metodológicamente rigurosa y observacional, es más iterativa. La psicología social, que tiende a ser metodológicamente más relajada y experimental, replica menos. Los modelos de aprendizaje automático recogen patrones en los datos en los que se entrenan. Al igual que aprender un criminalidad un modelo de predicción basado en datos racialmente sesgados reproducir estos prejuiciosentrenar un modelo de predicción de replicación en datos sesgados hacia estudios observacionales reproducirá esto parcialidad. Tal vez la investigación observacional en psicología tenga ventajas únicas sobre los experimentos, pero todavía no estoy convencido.

En general, este manuscrito es una contribución interesante a la creciente literatura sobre el uso del aprendizaje automático para evaluar la literatura de investigación. Se dedicó mucho esfuerzo computacional a desarrollar tanto la codificación textual como las predicciones para más de 14 000 estudios nuevos. Aunque el algoritmo aún no es lo suficientemente sólido como para que podamos sacar conclusiones sólidas, existe la posibilidad de que, en unos años, las revisiones automatizadas del campo basadas en este modelo sean lo suficientemente precisas como para que podamos hacer afirmaciones seguras sobre la psicología en su conjunto.