Una visita a la hemeroteca

Authors

Eva Expósito Casas

Resumen

En los últimos años se ha observado un interés creciente por la evaluación del Sistema Educativo, prueba de ello es el incremento exponencial tanto de su frecuencia como de su calidad técnica y teórica. A finales de los años 70, la International Association for the Evaluation of Educational Achievement (IEA) llevó a cabo la elaboración de los primeros estudios periódicos de evaluación, cuyo objetivo principal era obtener información acerca del progreso de los estudiantes, los estudios de tendencias educativas cobraron fuerza desde este momento, con las implicaciones metodológicas que ello conlleva. De este modo, la IEA llevó a cabo el estudio «Second International Mathematics Study (SIMS)» con la participación de 20 países en el período 1980-1982, así como el «Second International Science Study (SISS)» en el que participaron 24 países entre los años 1983 y 1984. La aportación esencial de estas evaluaciones, es la demostración de que la repetición de un estudio en un periodo temporal determinado, aporta a los países participantes información importante sobre las tendencias de sus niveles de logro, marcando uno de los puntos clave en el desarrollo posterior de evaluaciones de este tipo. En la actualidad, el interés por estas evaluaciones sigue aumentando, así como las preocupaciones relativas al cumplimiento de los supuestos metodológicos que aseguren que el proceso llevado a cabo es el adecuado.

En esta línea, uno de los principales problemas a los que se enfrenta la evaluación educativa es el relativo a la comparabilidad.

Por cuestiones tales como la seguridad en la aplicación, la amplitud del dominio competencial que se pretende evaluar, los cambios curriculares, los cambios en el dominio evaluado, etc. Una misma evaluación necesita aplicar un abanico amplio de pruebas, situación que exige la introducción de un sistema que permita la comparación de puntuaciones procedentes de diversos instrumentos o de instrumentos aplicados en distintos momentos. Los procesos técnicos conocidos como equating, scaling y linking, tienen el objetivo de garantizar la adecuación de la comparabilidad de puntuaciones a distintos niveles.

A continuación presentamos tres trabajos con una importancia esencial en el estudio de ésta temática. El primero de ellos (Kolen y Brennan, 2014) supone un referente clave que permite una comprensión global, y al mismo tiempo exhaustiva, de la comparabilidad de puntuaciones. En segundo lugar, el trabajo de van der Linden (2013) supone una invitación abierta al debate y reflexión acerca de los procedimientos y criterios clásicos de equiparación de puntuaciones. Por último, la obra de Wu (2010), sitúa el problema del cálculo del error de equiparación dentro de una panorámica general, destacando y reivindicando su papel esencial, especialmente destacado en los estudios de tendencias.

Kolen, M. J., & Brennan, R. L. (2014).
Test equating, scaling, and linking: Methods and practices (3 Ed.)
(New York, Springer)
———————————————–

Sin lugar a dudas, uno de los referentes imprescindibles en el estudio de los procedimientos de equiparación, escalamiento y enlace de puntuaciones es el trabajo de Kolen y Brennan. Dicho trabajo, pone de manifiesto su dilatada experiencia en el estudio de los aspectos teóricos y prácticos relacionados con el enlace de puntuaciones.

La primera edición de la obra, publicada en 1995, supuso un hito en el estudio de la equiparación de puntuaciones, la segunda edición, publicada en 2004, incorpora nuevas consideraciones teóricas y metodológicas acordes a la evolución tanto de ésta línea de trabajo, como de las nuevas corrientes en evaluación educativa, en la tercera edición se incluye una detallada revisión de los últimos trabajos desarrollados en éste ámbito, actualizando de manera exhaustiva los avances desarrollados en la última década.

La obra realiza un completo recorrido por el origen, concepto, procedimientos estadísticos y cuestiones prácticas asociadas con el escalamiento y equiparación de puntuaciones. Su clara estructura, el uso de frecuentes ejemplos, el énfasis en los aspectos conceptuales imprescindibles, así como la incorporación de un apartado de ejercicios al final de cada capítulo, dotan al texto de un valor adicional para aquellos que deseen iniciar el estudio en esta línea de trabajo.

El libro, con un marcado carácter didáctico, está orientado a que el lector comprenda los principios de la equiparación, el escalamiento y el enlace de puntuaciones, siendo capaz de llevar a cabo dichos procedimientos e interpretaciones de manera adecuada a los resultados obtenidos.

Del mismo modo, los autores realizan un recorrido por los retos y nuevas corrientes en comparabilidad.

Van der Linden, W. J. (2013).
Some conceptual Issues in Observed-Score Equating Journal of Educational Measurement, 50:3, pp. 249-285.
———————————————–

Durante la última década, son numerosos los estudios que han trabajado diferentes aspectos relativos a la equiparación de puntuaciones, desde una perspectiva tanto teórica como aplicada. El trabajo de van der Linden, supone una de las aportaciones más singulares de los últimos años, tanto por su contenido como por el amplio debate académico suscitado a raíz de la publicación del mismo, debate al que se han sumado multitud de especialistas, defendiendo visiones previas y proponiendo nuevos desarrollos y perspectivas.

En el artículo, van der Linden, parte del reconocimiento de los avances técnicos de los últimos años en el ámbito de la equiparación de puntuaciones observadas, sin embargo, señala la existencia de cierta falta de comprensión acerca de diversos aspectos conceptuales implicados en el proceso, con importantes repercusiones en la práctica de la medida y evaluación educativas. Para el autor, el progreso en cualquier área de investigación, se basa en la disposición a participar en un intercambio abierto de argumentos por parte de los investigadores. De este modo, su trabajo, ha sido capaz de suscitar un interesante debate en torno a los procedimientos y criterios de equiparación.

En la primera sección del artículo, titulada A few embarrassing examples, ilustra las dudas que plantea el uso del procedimiento equipercentil en la equiparación de puntuaciones observadas, concluyendo que el procedimiento puede ser utilizado para equiparar la forma de cualquier distribución de puntuación con cualquier otra distribución, ello no implica necesariamente la equiparación de puntuaciones entre distintos tests.

Posteriormente, en el apartado titulado Equating Criteria, analiza de forma más detallada cada uno de los criterios o requisitos clásicos de equiparación (unidimensionalidad; equidad; invarianza; simetría y fiabilidad) proponiendo una sensible reducción de los mismos a unidimensionalidad y equidad.

Finalmente, entre los aspectos más destacados del artículo, se encuentra la propuesta de simplificación terminológica propuesta por el autor, al considerar que, los trabajos previos, han creado una variedad terminológica innecesaria y confusa en torno a la equiparación de puntuaciones observadas. La lectura del presente artículo, así como los trabajos surgidos a raíz del mismo, supone un interesante acercamiento a la apertura de un debate científico en torno a uno de los problemas clásicos a los que se enfrenta la Evaluación Educativa.

Wu, M. (2010).
Measurement, Sampling, and Equating Errors in Large-Scale Assessments Educational Measurement: Issues and Practice, 29:4, pp. 15-27.
—————————————-

El presente trabajo parte del análisis de la complejidad inherente a las evaluaciones a gran escala (muestrales y censales), destacando la existencia de posibles fuentes de error en cada una de las fases implicadas en este tipo de estudios. Identificar el origen del error, así como cuantificar su magnitud, son aspectos esenciales que deben ser reconocidos por los especialistas.

A lo largo del trabajo, se discute la importancia relativa de tres tipos de error con gran implicación en la evaluación (el error de medida, el error muestral y el error de equiparación), sin perder de vista la implicación que en la consideración del error tienen los objetivos específicos de la evaluación, es decir, valorando la importancia diferencial de las posibles fuentes de error en función de los objetivos perseguidos.

Con frecuencia, el error de medida hace referencia a imprecisiones asociadas con el instrumento utilizado. Con el fin de demostrar las implicaciones de este error en la evaluación educativa, se utilizan los datos procedentes del National Assessment Program Literacy and Numeracy (NAPLAN) llevado a cabo en Australia.

A partir de los resultados de dicha evaluación, el artículo pone de manifiesto las limitaciones de este tipo de estudios para el seguimiento individual de estudiantes, grupos, cohortes o profesores.

Del mismo modo, cuando hablamos de evaluaciones muestrales, es necesario tener en cuenta el error asociado a la selección muestral. El artículo utiliza un análisis secundario de los datos procedentes del Australian National Assessment Program Civics and Citizenship survey for Year 10 (NAP-Civic Study), para analizar el efecto de dicho error, apuntando la necesidad de implementar una selección muestral acorde a los objetivos de la evaluación.

Por otro lado, el objetivo de la mayoría de evaluaciones a gran escala es valorar la evolución de los estudiantes. El seguimiento del progreso de los mismos año a año exige llevar a cabo procedimientos de equiparación de puntuaciones, cuyo error asociado es escasamente considerado. En este trabajo se analiza uno de los procedimientos más comunes en equiparación, el denominado diseño con ítems comunes discutiendo cómo la violación de los supuestos de la TRI (multidimensionalidad, funcionamiento diferencial y efectos de posición) puede tener repercusiones importantes en el error de equiparación y, por tanto, en los resultados y calidad del estudio, especialmente cuando se trabaja con escalas verticales. En esta sección, se utilizan datos e información de evaluaciones como PISA, TIMSS, y NAPLAN.

Citación recomendada | Recommended citation

Casas, E. E. (2023) . Una visita a la hemeroteca. Revista Española de Pedagogía. https://www.revistadepedagogia.org/rep/vol0/iss0/79