Un nuevo estudio dirigido por la Universidad de Tel Aviv publicado el 20 de mayo en Naturaleza ofrece nueva evidencia de que la complejidad de los métodos analíticos contemporáneos en la ciencia contribuye a la variabilidad de los resultados de la investigación.
Estudios anteriores en los campos de la psicología, la biología del cáncer y la economía del comportamiento revelaron muchos fracasos en el intento de reproducir metodologías y reflejar resultados. Los investigadores de TAU utilizaron un enfoque conocido como "Muchos analistas", en el que muchos investigadores analizaron el mismo conjunto de datos paraprueba la variabilidad en los resultados del análisis, explica el coautor principal del estudio, el Dr. Tom Schonberg, del Departamento de Neurobiología de la Facultad de Ciencias de la Vida George S. Wise de TAU y la Escuela de Neurociencia Sagol de TAU.
"La variabilidad en los resultados demostrada en este estudio es una parte inherente del complejo proceso de obtención de resultados científicos, y debemos comprenderla para saber cómo abordarla", agrega. "La ciencia la llevan a cabo los humanos yno hay forma de escapar de la variabilidad. Pero debemos reconocer esto para autocorregirnos y obtener las respuestas más confiables ".
El estudio de análisis, replicación y predicción de neuroimágenes NARPS también fue dirigido por el ex estudiante de doctorado del Dr. Schonberg, el Dr. Rotem Botvinik-Nezer, hoy investigador postdoctoral en Dartmouth College, junto con los co-investigadores, el profesor Russel Poldrack deUniversidad de Stanford y el profesor Thomas Nichols de la Universidad de Oxford.
En total, 180 investigadores de 70 equipos de científicos de todo el mundo analizaron el mismo conjunto de datos de imágenes cerebrales de 108 sujetos. Estos sujetos participaron en una tarea que puso a prueba su toma de decisiones con respecto a las apuestas de posibles ganancias y pérdidas. Cada grupo eligió un análisis distintométodo, y los diferentes métodos llevaron a diferentes conclusiones.
"La ciencia está siendo criticada a menudo", agrega el Dr. Schonberg. "Pero no es una creencia como una religión, como algunos han argumentado. Tiene reglas y un método: el método científico. Estamos constantemente tratando de mejorar estométodo en un proceso de auto-cuestionamiento constante. Creemos que nuestro estudio lleva este proceso adelante ".
A los equipos de investigación se les presentaron los mismos datos, escáneres de resonancia magnética funcional de sujetos que realizaban una tarea de toma de decisiones basada en valores, y se les pidió que probaran los mismos nueve conjuntos de hipótesis diferentes.
El gran conjunto de datos de neuroimagen se recopiló durante un año en el Centro Alfredo Federico Strauss de Neuroimagen Computacional en TAU por Roni Iwanir, un ex alumno de maestría de la Escuela Sagol del laboratorio de Schonberg. Mientras que los participantes del estudio participaron en la decisión monetaria:Se utilizaron escáneres de resonancia magnética funcional para comprobar si la actividad de regiones cerebrales específicas involucradas en el procesamiento de valores cambiaba en relación con la cantidad de dinero ganado o perdido en una apuesta. Unos 70 equipos internacionales analizaron de forma independiente estos conjuntos de datos en el transcurso de tres meses.
"El procesamiento por el que tiene que pasar desde los datos sin procesar hasta un resultado con fMRI es realmente complicado", agrega el profesor Poldrack. "Hay muchas elecciones que debe tomar en cada lugar del flujo de trabajo de análisis".
Cada equipo de investigadores llegó a sus propias conclusiones finales con respecto a los datos, y los resultados variaron significativamente entre los equipos en cinco de nueve hipótesis.
"Nuestro nuevo estudio demostró una alta flexibilidad analítica como ocurre 'en la naturaleza'", dice el Dr. Schonberg. "Los investigadores participantes modelaron las hipótesis de manera diferente y utilizaron software diferente para el análisis. También utilizaron diferentes técnicas y definiciones en diferentes aspectosdel análisis. "
Otra parte del estudio involucró a expertos del campo, así como a investigadores de los equipos de análisis que negocian con otros investigadores en lo que se denominan "mercados de predicción" sobre lo que ellos pensaban que serían los resultados de la investigación. Esta parte del estudio fuedirigido por economistas y expertos en finanzas del comportamiento, quienes proporcionaron la idea inicial para el estudio y revelaron un marcado exceso de optimismo sobre la capacidad de replicar hallazgos anteriores, incluso por investigadores que analizaron los datos por sí mismos.
"Si bien los resultados finales informados variaron sustancialmente, los resultados del análisis de etapas anteriores en realidad mostraron un consenso entre la mayoría de los equipos de investigación", dice el Dr. Schonberg. "Esto es muy alentador y, de hecho, fue un resultado algo sorprendente. A pesar de la gran variabilidad eninformaron los resultados, el análisis subyacente fue similar, lo que significa que necesitamos encontrar métodos para expresar esta convergencia.
"Por ejemplo, el estudio sugiere que los investigadores podrían realizar e informar múltiples análisis con los mismos datos, para encontrar los resultados en los que convergen diferentes métodos confiables".
El Dr. Schonberg cree que los hallazgos pueden ayudar a los científicos a avanzar en su metodología y mejorar la calidad de sus análisis en el futuro.
"Me gustaría que nuestros hallazgos se usaran para hacer avanzar la ciencia, hacia un intercambio aún mayor de toda la información relacionada con el estudio, la transparencia de los métodos, los códigos de análisis y los datos", dice el Dr. Schonberg. Esa es la única forma en que todospuede probar y "jugar" con los resultados para ver qué se sostiene. Hemos visto la importancia y la gran necesidad de compartir datos en la reciente pandemia de COVID-19 para comprender el curso de acción óptimo.
"Naturalmente, la novedad de los descubrimientos es muy importante para los científicos. Pero igualmente importante es el rigor de nuestra metodología", concluye el Dr. Schonberg. "Nuestro estudio refleja la ambición de una vasta comunidad de científicos de dedicar miles de horasmejorar nuestras metodologías para sacar las conclusiones correctas y alcanzar resultados fiables ".
Fuente de la historia :
Materiales proporcionado por Amigos estadounidenses de la Universidad de Tel Aviv . Nota: el contenido se puede editar por estilo y longitud.
Referencia de la revista :
cite esta página :