Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación inicial del profesorado

Construct validity of an instrument to assess assertive feedback in initial teacher training

María de la Luz Berlanga Ramírez, Escuela Normal Superior del Estado de Coahuila
Luis Gibran Juárez Hernández, Centro Universitario CIFE

DOI

10.22550/REP80-3-2022-08

Resumen

La retroalimentación en el proceso de evaluación cobró mayor relevancia en las prácticas docentes durante la pandemia de COVID-19. El objetivo del presente estudio fue realizar un análisis de la validez de constructo y confiabilidad del instrumento «Rúbrica Analítica Socioformativa para la Evaluación de la Retroalimentación Asertiva» (RASERA). El instrumento se aplicó a una muestra de 525 discentes de escuelas normales en México. Para el análisis de validez de constructo se empleó el análisis factorial exploratorio y confirmatorio, y el análisis de confiabilidad se efectuó mediante el Alfa de Cronbach. Los resultados del primer análisis mostraron la conformación de dos factores; el primero se denominó Ejecución de la retroalimentación asertiva y el segundo Representatividad de la retroalimentación asertiva. Ambos factores explicaron más 65 % de la varianza y en donde se encuentran incorporados todos los ítems con cargas factoriales significativas (CF>0.50). Por su parte, el AFC reveló un buen ajuste de este modelo (Razón χ2/gl: 2.284; GFI: 0.909; RMSAE: 0.068; RMR: 0.035; CFI: 0.966; TLI: 0.955). Se especifica que, para cada factor, la varianza media extraída y la confiabilidad compuesta fue pertinente (VME>0.50 y CC>0.70) y cada ítem manifestó una carga factorial estandarizada adecuada (CFE>0.50). Concerniente al análisis de confiabilidad, se obtuvieron valores óptimos por factor (Alfa de Cronbach y Omega de McDonald>0.85). Se concluye que el dispositivo RASERA posee propiedades psicométricas adecuadas.

Cómo citar este artículo: Berlanga Ramírez, M. L. y Juárez Hernández, L. G. (2022). Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación inicial del profesorado | Construct validity of an instrument to assess assertive feedback in initial teacher training. Revista Española de Pedagogía, 80 (283), 583-600. 10.22550/REP80-3-2022-08

Referencias | References

Anijovich, R. y Cappelletti, G. (2017). Más allá de las pruebas: la retroalimentación en la evaluación como. Paidós.

Ato, M., López, J. y Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29 (3), 1038-1059.

Berlanga Ramírez, M. L. y Juárez Hernández, L. G. (2020a). Diseño y validación de un instrumento para evaluar la retroalimentación asertiva en educación normal. IE Revista de Investigación Educativa de la REDIECH, 11, e-791. 10.33010/ie_rie_rediech.v11i0.791

Berlanga Ramírez, M. L. y Juárez Hernández, L. G. (2020b). Paradigmas de evaluación: del tradicional al socioformativo. Diálogos sobre educación. Temas actuales en investigación educativa, 21, 1-14. 10.32870/dse.v0i21.646

Bollen, K. A. y Long, J. S. (1993). Testing structural equation models [Prueba de modelos de ecuaciones estructurales]. Sage.

Blunch, N. (2013). Introduction to structural equation modeling using IBM SPSS statistics and AMOS [Introducción a la modelización de ecuaciones estructurales con el programa esta- dístico IBM SPSS y AMOS]. Sage.

Bordas, M. I. y Cabrera, F. Á. (2001). Estrategias de evaluación de los aprendizajes centrados en el proceso. revista española de pedagogía, 59 (218), 25-48. Brown, T. A. (2015). Confirmatory factor analysis for applied research [Análisis factorial confirmatorio para la investigación aplicada]. Guilford publications.

Canabal, C. y Margalef, L. (2017). La retroalimentaón: la clave para una evaluación orientada al aprendizaje. Profesorado. Revista de Currículum y Formación de Profesorado, 21 (2), 149-170.

Carvajal, A., Centeno, C., Watson, R., Martínez, M. y Sanz Rubiales, A. (2011). ¿Cómo validar un instrumento de medida de la salud? Anales del Sistema Sanitario de Navarra, 34 (1), 63-72.

Castro, S., Paz, L. y Cela, M. (2020). Aprendiendo a enseñar en tiempos de pandemia COVID-19: nuestra experiencia en una universidad pública. [Learning to teach in times of the COVID-19 pandemic: Our experience at Universidad de Buenos Aires]. Revista Digital de Investigación en Docencia Universitaria, 14 (2), e1271.

Charter, R. A. (2003). A breakdown of reliability coefficients by test type and reliability method and the clinical implications of low reliability. The Journal of General Psychology, 130 (3), 290-304. 10.1080/00221300309601160

Cheung, G. W. y Wang, C. (2017). Current approa- ches for assessing convergent and discriminant validity with SEM: issues and solutions [Enfoques actuales para evaluar la validez conver- gente y discriminante con el SEM: problemas y soluciones]. Academy of Management Proceedings, 2017 (1), 12706. 10.5465/AMBPP.2017.12706abstract

Cho, E. y Kim, S. (2015). Cronbach’s coefficient alpha: wellknown but poorly understood. Organizational Research Methods, 18 (2), 207-230. 10.1177/1094428114555994

CIFE (2018). Instrumento «Cuestionario de satisfacción con el instrumento». Centro Universitario CIFE. https://docs.google.com/forms/d/e/1FAI-pQLSc8-jOiWYwG64QbnhRyGAg1ElTgg- q2aP1XiSg45pyN9XLbXNQ/viewform

Connell, J., Carlton, J., Grundy, A., Taylor Buck, E., Keetharuth, A. D., Ricketts, T., Barkham, M., Robotham, D., Rose, D. y Brazier, J. (2018). The importance of content and face validity in instrument development: Lessons learnt from service users when developing the Recovering Quality of Life measure (ReQoL) [La importancia de la validez de contenido y apariencia en el desarrollo del instrumento: lecciones aprendidas de los usuarios del servicio al desarrollar la medida Recuperando la Calidad de Vida]. Quality of life research: an international journal of quality-of-life aspects of treatment, care, and rehabilitation, 27 (7), 1893-1902. https://doi. org/10.1007/s11136-018-1847-y

Contreras, G. y Zúñiga, C. G. (2019). Prácticas y concepciones de retroalimentación en formación inicial docente [Practices and concep tions of feedback in initial teacher training]. Educação e Pesquisa, 45, 1-22. 10.1590/s1678-4634201945192953

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests [Coeficiente alfa y la estructura interna de pruebas]. Psychometrika, 16 (3), 297-334. 10.1007/BF02310555

Díaz, L. (2001). La metaevaluación y su método. Revista de Ciencias Sociales (Cr), II-III (93), 171-192. https://www.redalyc.org/articulo.oa?id=15309314 Evans, C. (2013). Making sense of assessment feed- back in higher education [Dar sentido a la retro-alimentación de la evaluación en la educación superior]. Review of Educational Research, 83 (1), 70-12. 10.3102/0034654312474350

Farahman, F. y Masoud, Z. (2011). A comparative study of EFL teachers’ and intermediate High School students’ perceptions of written corrective feedback on grammatical errors [Un estudio comparativo de las percepciones de los profesores de inglés como lengua extranjera y de los estudiantes de secundaria intermedia sobre la retroalimentación correctiva escrita sobre errores gramaticales]. English Language Teaching, 4 (4), 36-48. http://dx.doi.org/10.5539/elt.v4n4p36

Fornell, C. y Larcker, D. (1981). Evaluating structural equation models with unobservable variables and measurement error [Evaluación de modelos de ecuaciones estructurales con variables no observables y error de medición]. Journal of Marketing Research, 18 (1), 39-50. 10.2307/3151312

Furr, R. M. (2020). Psychometrics in clinical psychological research [Psicometría en la investigación psicológica clínica]. En The Cambridge hand-book of research methods in clinical psychology (pp. 54-65). Cambridge University Press. 10.1017/9781316995808.008

García-Jiménez, E. (2015). La evaluación del aprendizaje: de la retroalimentación a la autorregulación. El papel de las tecnologías. Relieve: Revista Electrónica de Investigación y Evaluación Educativa, 21 (2), 1-24. http://dx.doi.org/10.7203/relieve.21.2.7546

Gliner, J. A., Morgan, G. A. y Harmon, R. J. (2001). Measurement reliability [Fiabilidad de la medición]. Journal of the American Academy of Child y Adolescent Psychiatry, 40, 486-488. 10.1097/00004583-200104000-00019

Hair, Jr., William, C. B., Barry, J. B. y Anderson, R. (2014). Multivariate data analysis [Análisis de datos multivariantes]. Pearson

Hattie, J. y Timperley, H. (2007). The power of feeddback [El poder de la retroalimentación]. Review of Educational Research, 77 (1), 81-112. 10.3102/003465430298487

Halek, M., Holle, D. y Bartholomeyczik, S. (2017). Development and evaluation of the content validity, practicability, and feasibility of the Innovative dementia-oriented Assessment system for challenging behaviour in residents with dementia [Desarrollo y evaluación de la validez de contenido, viabilidad y factibilidad del innovador sistema de evaluación orientado a la demencia para el comportamiento desafiante en residentes con demencia]. BMC health services research, 17 (1), 1-26.

Henson, R. K. y Roberts, J. K. (2006). Use of exploratory factor analysis in published research: Common errors and some comment on improved practice [Uso del análisis factorial exploratorio en investigaciones publicadas: errores comunes y algunos comentarios sobre prácticas mejoradas]. Educational and Psychological measurement, 66 (3), 393-416. 10.1177/0013164405282485

Herrero, J. (2010). El análisis factorial confirmatorio en el estudio de la estructura y estabilidad de los instrumentos de evaluación: un ejemplo con el cuestionario de autoestima CA-14. Intervention Psychosocial, 19 (3), 289-300. 10.5093/in2010v19n3a9

Howard, C. M. (2016). A review of exploratory factor analysis decisions and overview of current practices: What we are doing and how can we improve? [Una revisión de las decisiones del análisis facto- rial exploratorio y una descripción general de las prácticas actuales: ¿qué estamos haciendo y cómo podemos mejorar?]. International Journal of Human–Computer Interaction, 32 (1), 51-62. 10.1080/10447318.2015.1087664

JASP Team (2019). JASP (Version 0.11.1) [Programa informático].

Kline, P. (2015). A handbook of test construction (psychology revivals). Introduction to psychometric design [Un manual de construcción de pruebas (renacimientos de psicología). Introducción al diseño psicométrico]. Routledge.

Koller, I., Levenson, M. R. y Glück, J. (2017). What do you think you are measuring? A mixed-methods

procedure for assessing the content validity of test items and theory-based scaling [¿Qué crees que estás midiendo? Un procedimiento de métodos mixtos para evaluar la validez de contenido de los ítems del test y el escalamiento basado en la teoría]. Frontiers in Psychology, 8, 126. 10.3389/fpsyg.2017.00126

Koning, A. J. y Frances, P. H. (2003). Confidence intervals for Cronbach’s Coefficient Alpha values [Intervalos de confianza para los valores del Coeficiente Alfa de Cronbach]. ERIM Re- port Series Reference No. ERS-2003-041-MKT. http://hdl.handle.net/1765/431

Jabrayilov, R., Emons, W. H. M. y Sijtsma, K. (2016). Comparison of classical test theory and item response theory in individual change assessment. Applied Psychological Measurement, 40 (8), 559-572. 10.1177/0146621616664046

Jonsson, A. (2013). Facilitating productive use of feed- back in higher education [Facilitar el uso produc- tivo de la retroalimentación en la educación supe- rior]. Active Learning in Higher Education, 14 (1), 63-76. 10.1177/1469787412467125

Jónsson, I. R., Smith, K. y Geirsdóttir, G. (2018). Shared language of feedback and assessment. Perception of teachers and students in three Icelandic secondary schools [Lenguaje compartido de retroalimentación y evaluación Percepción de profesores y estudiantes en tres escuelas secundarias islandesas]. Studies in Educational Evaluation, 56, 52- 58. 10.1016/j.stueduc.2017.11.003

Lagunes-Córdoba, R. (2017). Recomendaciones sobre los procedimientos de construcción y validación de instrumentos y escalas de medición en la psicología de la salud. Revista Psicología y Salud, 27 (1), 5-18.

Ley General de Protección de Datos Personales en Posesión de Sujetos Obligados. Diario oficial de la Federación, de 26 de enero de 2017. Cámara de Diputados del H. Congreso de la Unión. Esta- dos Unidos Mexicanos. https://www.diputados.gob.mx/LeyesBiblio/pdf/LGPDPPSO.pdf

Leyva, E. (2011). Una reseña sobre la validez de constructo de pruebas referidas a criterio. Perfiles Educativos, 33 (131), 131-154. https://doi. org/10.22201/iisue.24486167e.2011.131.24238

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A. y Tomas-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30 (3), 1151-1169. http://dx.doi.org/10.6018/analesps.30.3.199361

López, A. y Osorio, K. (2016). Percepciones de estudiantes sobre la retroalimentación formativa en el proceso de evaluación. Actualidades Pedagógicas, 68, 43-64. http://dx.doi.org/10.19052/ap.2829

Martínez, M. (1995). Psicometria: teoría de los tests psicologicos y educativos [Psychometry: Theory of psychological and educational tests]. Síntesis.

Martínez-Rizo, F. (2013). Dificultades para implemen- tar la evaluación formativa: revisión de literatura. Perfiles educativos, 35 (139), 128-150. http://www.scielo.org.mx/pdf/peredu/v35n139/v35n139a9.pdf

McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates, Inc. Mejía, M. y Pasek de Pinto, E. (2017). Proceso general para la evaluación formativa del aprendizaje. Revista Iberoamericana de Evaluación Educativa, 10 (1), 177-193. 10.15366/riee2017.10.1.009

Mendoza-Mendoza, J. y Garza, J. B. (2009). La medición en el proceso de investigación científica: Evaluación de validez de contenido y confiabilidad. Innovaciones de Negocios, 6 (11), 17- 32.

Messick, S. (1980). Test validity and ethics of assessment [Validez de las pruebas y ética de la evaluación]. American Psychologist, 35 (11), 1012-1027. 10.1037/0003-066X.35.11.1012

Miguel, J. A. (2020). La educación superior en tiempos de pandemia: una visión desde dentro del proceso formativo. Revista Latinoamericana de Estudios Educativos, 50 (ESPECIAL), 13-40. 10.48102/rlee.2020.50.ESPECIAL.95

Monje, V., Camacho, M., Rodríguez, E. y Carvajal, L. (2009). Influencia de los estilos de comunica- ción asertiva de los docentes en el aprendizaje escolar. Psicogente, 12 (21), 78-95.

Padilla, M. T. y Gil, J. (2008). La evaluación orientada al aprendizaje en la educación superior: condiciones y estrategias para su aplicación a la docencia universitaria. revista española de pedagogía, 66 (241), 467-486.

Pérez-Gil, J. A., Chacon-Moscoso, S. y Moreno-Rodríguez, R. (2000). Validez de constructo: El uso del análisis factorial exploratorio-confirmatorio para obtener evidencias de validez. Psicothema, 12 (2), 442-446. https://www.psicothema.com/pdf/601.pdf

Quezada, S. y Salinas, C. (2021). Modelo de retroa- limentación para el aprendizaje: Una propuesta basada en la revisión de literatura. Revista mexicana de investigación educativa, 26 (88), 225-251.

Randall, M. y Thornton, B. (2005). Advising and supporting teachers [Asesoramiento y apoyo a los profesores]. University Press.

Sadler, D. (1989). Formative assessment and the design of instructional systems [Evaluación formativa y diseño de sistemas instruccionales]. Instructional Science, 18, 119-144. http://dx.doi.org/10.1007/BF00117714

Shute, V. J. (2008). Focus on formative feedback [Centrarse en la retroalimentación formativa] Review of Educational Research, 78 (1), 153-189. 10.3102/0034654307313795

Tabachnick, B. G. y Fidell, L. S. (2001). Using multivariate statistics [Uso de estadísticas multivariadas]. Allyn y Bacon.

Taber, K. S. (2018). The use of Cronbach’s alpha when developing and reporting research instruments in science education [El uso del Alfa de Cronbach al desarrollar y reportar instrumentos de investigación en la enseñanza de las ciencias]. Research in Science Education, 48 (6), 1273-1296. 10.1007/s11165-016-9602-2

Temesio, S., García, S. y Pérez, A. (2021). Rendimiento estudiantil en tiempo de pandemia: percepciones sobre aspectos con mayor impacto. Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, 28, e45. 10.24215/18509959.28.e45

Tobón, S. (2017). Evaluación socioformativa. Estrategias e instrumentos. Kresearch. https://cife.edu.mx/recursos/wp-content/uploads/2018/08/LIBRO-Eva- luaci%C3%B3n-Socioformativa-1.0-1.pdf

Tobón, S. (2013). Evaluación de las competencias en la edcación básica. Santillana.

Torrance, H. y Pryor, J. (1998). Investigating formative assessment. Teaching, learning and assessment in the classroom [Investigando la evaluación formativa. Enseñanza, aprendizaje y evaluación en el aula]. Open University Press.

Triana, A. y Velásquez, A. (2014). Comunicación asertiva de los docentes y clima emocional del aula en preescolar. Voces y Silencios: Revista Latinoamericana de Educación, 5 (1), 23-41.

Tunstall, P. y Gipps, C. (1996). Teacher feedback to young children in formative assessment: A typology [Comentarios de los maestros a los niños pequeños en la evaluación formativa: una tipo- logía]. British Educational Journal, 22 (4), 389-404. 10.1080/0141192960220402

Viladrich, C., Angulo-Brunet, A. y Doval, E. (2017). Un recorrido por alfa y omega para estimar la confiabilidad de la consistencia interna. Anales de Psicología, 33 (3), 755-782. 10.6018/analesps.33.3.268401

Wiggins, G. (2011). Giving students a voice: The power of feedback to improve teaching [Dar voz a los estudiantes: el poder de la retroalimentación para mejorar la enseñanza]. Educational Horizons, 89 (3), 23-26. 10.1177/0013175X1108900406

Wiliam, D. (2011). Embedded formative assessment [Evaluación formativa integrada]. Bloomington, Solution Tree Press.

Yong, A. G. y Pearce, S. (2013). A beginner’s guide to factor analysis: Focusing on exploratory factor analysis [Una guía para principiantes sobre el análisis factorial: centrarse en el análisis factorial exploratorio]. Tutorials in quantitative methods for psychology, 9 (2), 79-94. 10.20982/tqmp.09.2.p079

Yuan, K. H. (2005). Fit Indices Versus Test Statistics [Índices de ajuste frente a estadísticas de prueba]. Multivariate Behavioral Research, 40 (1), 115-148. 10.1207/s15327906mbr4001_5

Biografía de Autor

María de la Luz Berlanga Ramírez. Doctorando del Centro Universitario CIFE. Profesora-investigadora de la Escuela Normal Superior del Estado de Coahuila. Su actividad de investigación actual se desarrolla en el campo de evaluación en educación normalista.

https://orcid.org/0000-0001-9088-3991

Luis Gibran Juárez Hernández. Doctor en Ciencias Biológicas y de la Salud por la Universidad Autónoma Metropolitana. Profesor-Investigador del Centro Universitario CIFE. Su actividad de investigación actual se desarrolla en los campos de instrumentos de evaluación, desarrollo sostenible y ecología.

https://orcid.org/0000-0003-0658-6818

Citación recomendada | Recommended citation

Berlanga Ramírez, M. L. y Juárez Hernández, L. G. (2022). Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación inicial del profesorado | Construct validity of an instrument to assess assertive feedback in initial teacher training. Revista Española de Pedagogía, 80 (283), 583-600. 10.22550/REP80-3-2022-08