The concept of validity of teaching evaluation processes

Jesús Miguel Jornet Meliá
María Jesús Perales Montolío
José González-Such

Abstract

This paper presents a conceptual and methodological proposal about validity in teaching assessment processes. Although they are very common processes, and in some cases have significant individual and organisational consequences, a theoretical and methodlogical approach to them has not yet been performed. Based on reviewing research and the experience accumulated over years of conducting evaluations and evaluative research, we take as a starting point our own conceptualisation of evaluation (summative and formative evaluation or appraisal/diagnosis) as an applied research form that essentially uses measurement processes. Therefore, it takes the concept of validity in these two knowledge areas and applies it to the area of teaching evaluation by providing a specific definition of the validity in the evaluation process. Moreover, based on conceptual references in research and measurement, this work identifies generic and specific methodological considerations, which include the concept of validity, providing meaningful definitions for each of them. Understanding that validity, as a quality of evaluation, must be taken into account throughout the evaluation process, we also propose a series of strategies to ensure this is done correctly, based on defining validity and the aspects that comprise it. Therefore, this work’s contribution is conceptual and methodological, and it proposes a reference point for conceptualising validity in a field with broad use and with profound consequences for teachers, institutions, and educational systems.

This is the English version of an article originally printed in Spanish in issue 276 of the revista española de pedagogía. For this reason, the abbreviation EV has been added to the page numbers. Please, cite this article as follows: Jornet Meliá, J. M., Perales Montolío, M. J., & González-Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia | The concept of validity of teaching evaluation processes. Revista Española de Pedagogía, 78 (276), 233-252. doi: 10.22550/REP78-2-2020-01

Referencias | References

Anguera, M. T., Blanco, A., Losada, J. L., & Portell, M. (2018). Pautas para elaborar trabajos que utilizan la metodología observacional. Anuario de psicología, 48 (1), 9-17.

Aparicio, J. J., Tejedor, F. J., & Sanmartín, J. (1984). Reseñas de investigación. La enseñanza universitaria vista por los alumnos: un estudio para la evaluación de los cursos en la enseñanza superior. Revista de Educación, 273, 238-239.

Bericat Alastuey, E. (1998). La integración de los métodos cuantitativo y cualitativo en la investigación social: significado y medida. Madrid: Ariel.

Cronbach, L. J. (1963). Course improvement through evaluation. Teachers College Record, 64 (8), 672-683.

Delgado Álvarez, C. (2014). Viajando a Ítaca por mares cuantitativos: manual de ruta para investigar en grado y postgrado. Salamanca: Amarú.

García Mestanza, J. (2010). Propuesta de evaluación de la actividad docente universitaria en entornos virtuales de aprendizaje. revista española de pedagogía, 68 (246), 261-280.

González-Sanmamed, M., Muñoz-Carril, P. C., & Santos-Caamaño, F. J. (2019). Key components of learning ecologies: A Delphi assessment. British Journal of Educational Technology, 50 (4), 1639-1655.

González-Sanmamed, M., Sangrá, A., Souto-Seijo, A., & Estévez, I. (2018). Ecologías de aprendizaje en la era digital: Desafíos para la educación superior. Publicaciones, 48 (1), 11-38.

González-Such, J. (1988). Evaluación de la docencia universitaria. Valencia: CSV. Guerra García, M., Leyva Barajas, Y. E., & Conzuelo Serrato, S. (2019). Factores contextuales que afectan la práctica docente desde la perspectiva de docentes en México. Publicaciones, 49, (1), 137-149. doi:10.30827/publicaciones.v49i1.9858

Jornet Meliá, J. M. (2014, September). Facetas del concepto de validez en la evaluación de la Docencia. In V Coloquio de la Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED). Symposium conducted at the meeting of the Instituto de Investigación y Desarrollo Educativo of the Universidad Autónoma de Baja California (UABC), Ensenada, México.

Jornet Meliá J. M., Bakieva, M., & Sánchez-Delgado, P. (in press). La cohesión social como objetivo de la educación: ¿Podemos especificar un modelo de calidad para realizar la evaluación de sistemas educativos? Fronteiras: Journal of Social, Technological and Environmental Science.

Jornet Meliá, J. M., González-Such, J., Perales Montolío, M. J., Sánchez-Delgado, P., Bisquert, M., Bakieva, M., … Ortega Gaite, S. (2017). Aproximaciones cualitativas para la definición y validación de constructos de instrumentos estandarizados de medida. In A. P. Costa, M. C. Sánchez-Gómez, & V. Martín Cillero (Eds.), La Práctica de la investigación cualitativa: ejemplificación de estudios. Salamanca: CIAIQ.

Jornet Meliá, J. M., Suárez Rodríguez, J. M., & Perales Montolío, J. M., (2003). Metodología de evaluación de programas de formación ocupacional y continua. Valencia: Adeit.

Jornet Meliá, J. M., Suárez Rodríguez, J. M., & Pérez Carbonell, A. (2000). La validez en evaluación de programas. Revista de Investigación Educativa, 18 (2), 341-356.

Lorenzo Quiles, O. (2011). Análisis cualitativo de textos sobre multi e interculturalidad. DEDiCA. Revista de Educação e Humanidades, 1, 535-546. Manzi, J.. González, R., & Sun, Y. (Eds.) (2011). La evaluación docente en Chile. Santiago de Chile: MIDE-UC.

Martínez-Rizo, F. (Coord.) (2015). Las pruebas ENLACE y EXCALE. Un estudio de validación. Cuadernos de Investigación, 40. México, DF: Instituto Nacional para la Evaluación de la Educación.

Martín-García, A. V., Sánchez-Gómez, M. C., & Costa, P. (2019). Percepción de Blended Learning en profesores universitarios de distintos ámbitos disciplinares. Revista Lusófona de Educaçao, 44 (44), 117-133.

Mertens, D. M. (2015). Mixed methods and wicked problems. Journal of Mixed Methods Research, 9 (1), 3-6.

Nava, M., & Rueda, M. (2014). La evaluación docente en la agenda pública. Revista Electrónica de Investigación Educativa, 16 (1), 1-11.

Nussbaum, M. C. (2006). Education and democratic citizenship: capabilities and quality education. Journal of Human Development, 7 (3), 385-395.

Ortega Gaite, S., Tejedor Mardomingo, M., & Perales Montolío, M. J. (2019, September). La distribución económica y desigualdad en los manuales escolares de educación para la ciudadanía y derechos humanos en clave de educación para el desarrollo. In Educación Crítica: hacia una práctica inclusiva y comprometida socialmente (EDUCRÍ- TICA 2019). Symposium conducted at the international meeting of the Faculty of Education of the Universidad de León (ULE), León, Spain.

Rueda-Beltrán, M. (Coord.) (2019). Las condiciones institucionales de la docencia en universidades iberoamericanas. Temuco: Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED), Universidad de La Frontera.

Ruiz-Primo, M. A., Jornet Meliá, J. M., & Backhoff Escudero, E. (2006). Acerca de la Validez de los Exámenes de la Calidad y el Logro Educativos (Excale). Cuadernos de Investigación (México), 20. Ciudad de México: Instituto Nacional para la Evaluación de la Educación. Retrieved from https:// www.inee.edu.mx/publicaciones/acerca-de-la-validez- de-los-examenes-de-la-calidad-y-el-logro-educativas- excale-no-20/ (Consulted on 2019-08-25).

Rutman, L. (1984). Evaluation research methods: a basic guide. California: Sage Publications. Sánchez-Gómez, M. C., Martín-Cilleros, M. V., Costa, A. P., & Peñalvo, F. J. G. (2018). Posicionamiento de la investigación en Ciencias Sociales. RISTI - Revista Ibérica de Sistemas e Tecnologias de Informação, 28, 102-113.

Sánchez-Gómez, M. C., Rodrigues, A. I., & Costa, A. P. (2018). Desde los métodos cualitativos hacia los modelos mixtos: tendencia actual de investigación en ciencias sociales. RISTI - Revista Ibérica de Sistemas e Tecnologias de Informação, 28.

Sandín Esteban, M. P. (2000). Criterios de validez en la investigación cualitativa. De la objetividad a la solidaridad. Revista de Investigación Educativa, 18 (1), 223-242.

Solano-Flores, G., Contreras-Niño, L. A., & Backhoff, E. (2006). Traducción y adaptación de pruebas: Lecciones aprendidas y recomendaciones para países participantes en TIMSS, PISA y otras comparaciones internacionales. Revista Electrónica de Investigación Educativa, 8 (2).

Solano-Flores, G., & Milbourn, T. (2016). Capacidad evaluativa, validez cultural y validez consecuencial en PISA. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 22 (1).

Taut, S., & Palacios, D. (2016). Interpretaciones no intencionadas e intencionadas y usos de los resultados de PISA: Una perspectiva de validez consecuencial. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 22 (1).

Tejedor, F. J. (2004). Investigación educativa: ¿Hacia dónde vamos? In L. Buendía, D. González, & T. Pozo (Coords.), Temas fundamentales en la investigación educativa (pp. 63-107). Madrid: La Muralla.

Tejedor, F. J., & García Valcárcel, A. (2010). Evaluación del desempeño docente. revista española de pedagogía, 68 (247), 439-459.

Tejedor, F. J., & Jornet Meliá, J. M. (2008). La evaluación del profesorado universitario en España. REDIE Revista Electrónica de Investigación Educativa, 10, special issue 2008, 1-29.

Vedung, E. (1995). Utilización de la evaluación de programas. In R. Fernández Ballesteros (Ed.), Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud (pp. 321-338). Madrid: Síntesis.

Walker, M. C. (2003). Framing social justice in education: what does the «capabilities» approach offer? British Journal of Educational Studies, 51, 168-187. Weiss, C. (1998). Evaluatión. Nueva Jersey: Prentice- Hall.

Author Biography

Jesús Miguel Jornet Meliá is a PhD in Philosophy and Education Sciences / Pedagogy from the Universitat de València and a Professor of Educational Measurement and Evaluation. He was the Director of the Research Methods and Diagnosis in Education Department (1993-1999) at the same university. Currently he coordinates the GemEduCo group: www.uv.es/gem. Main research interests: design of measurement and evaluation tools, evaluation of competencies, programmes, teachers and education systems.

https://orcid.org/0000-0001-6905-497X

María Jesús Perales Montolío has a PhD in Philosophy and Educational Sciences from the Universitat de València. She is currently Associate Professor in the Department of Research Methods and Diagnosis in Education; Director of the Official Master in Social and Educational Action, and Member of the GEM-Educo Research Group. Main research intersts: design of measurement and evaluation tools, evaluation of competencies, programmes, teachers and education systems.

https://orcid.org/0000-0003-2033-2750

José González Such is a PhD in Philosophy and Educational Sciences. He is currently Professor in the area of Research Methods and Diagnosis in Education and Director of the Master in Special Education at the University of Valencia, Member of the GemEduco group and Coordinator of the Educational Innovation and Teaching Quality Network InnovaMIDE. Lines of research: design of measurement and evaluation instruments, evaluation of competencies, programs, teachers and educational systems; educational innovation.

https://orcid.org/0000-0001-9086-6446

Citación recomendada | Recommended citation

Jornet Meliá, J. M., Perales Montolío, M. J., & González-Such, J. (2020) . The concept of validity of teaching evaluation processes. Revista Española de Pedagogía, 78(276). https://www.revistadepedagogia.org/rep/vol78/iss276/15