En los últimos años, 14 estados en los EE. UU. Han comenzado a evaluar a los maestros y las escuelas utilizando modelos de valor agregado o VAM. La idea es bastante simple: un VAM analiza los cambios de año a año en los puntajes de las pruebas estandarizadas entre los estudiantes, ycalifica los maestros y las escuelas de esos estudiantes en consecuencia. Cuando se descubre que los estudiantes mejoran o retroceden, los maestros y las escuelas obtienen el crédito o la culpa.
Tal vez no sea sorprendente, sin embargo, los VAM han generado un amplio debate. Los defensores dicen que aportan responsabilidad y métricas útiles a la evaluación de la educación. Los opositores dicen que las pruebas estandarizadas probablemente sean una guía engañosa para la calidad del educador. Aunque los VAM a menudo se ajustan a algunas diferencias en los estudiantescaracterísticas, los educadores han argumentado que estos ajustes son inadecuados. Por ejemplo, un maestro con muchos estudiantes tratando de superar las dificultades de aprendizaje puede estar ayudando a los estudiantes a mejorar más de lo que indicará un VAM.
Un nuevo estudio realizado por un equipo de economistas del MIT ha desarrollado una forma novedosa de evaluar y mejorar los VAM. Al tomar datos de las escuelas de Boston con loterías de admisión, los académicos han utilizado la asignación aleatoria de estudiantes a las escuelas para ver cómo grupos similaresde estudiantes en diferentes aulas.
"Los modelos de valor agregado tienen mucho en juego", dice Josh Angrist, profesor de economía de Ford en el MIT y coautor de un nuevo artículo que detalla el estudio. "Es importante que los VAM proporcionen una guía confiable sobre la calidad de la escuela".
Los investigadores han descubierto que los VAM existentes tienden a subestimar la cantidad de mejora en el puntaje de las pruebas que en realidad ocurre en algunas escuelas. Por otro lado, dicen los académicos, los VAM convencionales proporcionan una cifra aproximada para la mejora que no debe descartarse.
"Los modelos de valor agregado convencionales están sesgados, pero podemos demostrar que el sesgo es modesto", dice el coautor Peter Hull PhD '17, quien pronto se unirá al departamento de economía de la Universidad de Chicago como profesor asistente.Agrega que, al menos en Boston, los VAM "generan predicciones útiles de la calidad de la escuela".
El mismo enfoque que permite al equipo del MIT evaluar los VAM también les permite mostrar cómo se pueden mejorar las métricas. Al hacerlo, según el documento, el nuevo método podría ayudar a "mejorar la orientación de políticas en relación con los VAM convencionales".
El documento, "Aprovechando las loterías para el valor agregado de la escuela: pruebas y estimación" aparece en el Revista trimestral de economía . Los autores son Angrist; Hull; Parag Pathak, Jane Berkowitz Carlton y Dennis William Carlton Profesor de Microeconomía en el MIT; y Christopher Walters PhD '13, profesor asistente en la Universidad de California en Berkeley.
público de Boston
La conclusión proviene de un análisis de datos del sistema de escuelas públicas de Boston, que abarca un período comprendido entre los años académicos 2006-07 y 2013-14. Los datos incluyen una muestra de aproximadamente 28,000 estudiantes en 51 escuelas diferentes, incluidos algunos estatutos yescuelas piloto.
Los puntajes de las pruebas de los estudiantes se toman de los resultados de quinto y sexto grado en el Sistema de Evaluación Integral de Massachusetts MCAS, en matemáticas y artes del lenguaje en inglés. Los investigadores usan estos datos para replicar VAM convencionales y desarrollar su propio "híbrido"Modelo VAM que combina las nuevas estimaciones de calidad escolar con el enfoque anterior.
El estudio explota el hecho de que el sistema escolar de Boston utiliza un sistema de asignación centralizada para estudiantes que fue diseñado en parte por Pathak. Este sistema utiliza una función de "desempate de lotería" para ayudar a determinar qué estudiantes asistirán a escuelas con alta demandaPor lo tanto, un elemento de oportunidad ayuda a determinar dónde una gran parte alrededor del 77 por ciento de los alumnos de sexto grado se inscribirán en la escuela intermedia. Esto, a su vez, les da a los investigadores la asignación aleatoria que necesitan para obtener comparaciones de mayor resolución deefectos que las escuelas tienen en el rendimiento de los estudiantes.
Debido a que los estudiantes en este grupo de aplicaciones difieren en promedio solo en el lugar donde se les ofreció un lugar, los investigadores pueden hacer comparaciones de manzanas a manzanas para ver cómo se desempeñan los estudiantes que son admitidos a través de la lotería, en comparación con los que fueronno admitido Las diferencias en el rendimiento reflejan la calidad de la escuela en lugar de las diferencias en la capacidad o los antecedentes familiares
Por el contrario, cuando se comparan dos escuelas sin el uso de una asignación aleatoria, puede ser muy difícil, si no imposible, garantizar que los estudiantes evaluados sean similares. En este escenario, lo que podría parecer una falta de rendimiento estudiantil,usar una estimación VAM convencional, podría resultar de que una escuela tenga un mayor número de estudiantes desfavorecidos.
El estudio en sí muestra la diferencia creada por la nueva técnica VAM a través de un escenario hipotético que involucra el cierre y la expansión de la escuela: supongamos que la escuela de Boston con la calificación más baja fue reemplazada por una escuela donde los estudiantes mostraron la cantidad promedio de mejora en los puntajes de las pruebas.Según los investigadores, los puntajes aumentarían en 0.24 de una desviación estándar cuando se juzga por un método VAM convencional, y 0.32 de una desviación estándar cuando se usa el nuevo método. Esto refleja "la utilidad de los VAM convencionales, a pesar de su incapacidad paracontrol de la capacidad del estudiante ", como observa Hull.
De manera similar, si se reemplaza la escuela con el puntaje más bajo en la encuesta por una escuela de quintil superior, los puntajes de las pruebas de los estudiantes mejorarían en 0.39 de una desviación estándar usando un VAM convencional y 0.53 de una desviación estándar cuando se usa el VAM del propio equipo MITmétodo.
El debate continúa
Los autores del artículo señalan que los hallazgos se sitúan dentro de algunos debates políticos más amplios sobre los sistemas educativos en general. Las escuelas chárter a menudo son objeto de un debate público considerable, ya que reciben fondos públicos pero pueden ser operados de manera privada y con personal de maestros no sindicales, enen contraste con las escuelas públicas tradicionales. Las escuelas piloto son un modelo híbrido, con más espacio para variaciones en la programación y el currículo que la mayoría de las escuelas públicas, pero con maestros sindicalizados.
Los 14 estados que utilizan VAM basados en puntajes de prueba para la formulación de políticas son Alabama, Arizona, Florida, Indiana, Louisana, Maine, Mississippi, Nuevo México, Carolina del Norte, Ohio, Oklahoma, Texas, Utah y Virginia.
En cualquier caso, señala Angrist, el tema del rendimiento escolar es vital para que los investigadores lo examinen y para que lo evalúen los educadores. De hecho, puede ser más apremiante, señala, en los distritos escolares donde los puntajes de las pruebas han sido perennemente bajos, ydonde pueden existir grandes disparidades en la calidad de la escuela.
"Para familias de bajos ingresos, esto es fatal", observa Angrist.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Peter Dizikes. Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :