Instrumento para valorar el impacto del sistema de acreditación en educación superior: validación mediante análisis factorial exploratorio

An instrument to evaluate the impact of the higher education accreditation system: Validation through exploratory factor analysis

Begoña García-Domingo, Universidad Complutense de Madrid
Jesús-M. Rodríguez-Mantilla,, Universidad Complutense de Madrid
Angélica Martínez-Zarzuelo, Universidad Complutense de Madrid

DOI

10.22550/REP81-3-2023-06

Resumen

Introducción: el interés por evaluar los efectos de mejora derivados de los procesos de evaluación externa en educación superior ha puesto de manifiesto la escasez de instrumen- tos objetivos disponibles para este fin. Así, este trabajo presenta el diseño y la validación de un instrumento que permite valorar el impacto de mejora del sistema de acreditación de los grados universitarios españoles. Metodología: se elaboró un cuestionario de 108 ítems que fue aplicado a una muestra de 1964 sujetos de diferentes audiencias universitarias (estu- diantes, profesores, equipos directivos, etc.).

Se analizó su fiabilidad y validez de constructo a través de un análisis factorial exploratorio (AFE). Resultados: el análisis de las caracte- rísticas técnicas efectuado mostró la elevada fiabilidad del instrumento, tanto a nivel global como dimensional, con coeficientes α de Cron- bach y ω de McDonald superiores a .95. El AFE identificó ocho factores que agrupaban los 105 reactivos finalmente incluidos, lo que explicó el 77.37 % de la varianza de R. Discusión y con- clusiones: todos estos resultados indican que el instrumento diseñado es una herramienta fia- ble y válida, con una sólida estructura multidi- mensional que permite evaluar el impacto del sistema de acreditación sobre diversos ámbitos de los grados universitarios españoles.

Cómo citar este artículo: García-Domingo, B., Rodríguez-Mantilla, J. M., y Martínez-Zarzuelo, A. (2023). Instrumento para valorar el impacto del sistema de acreditación en educación superior: validación mediante análisis factorial exploratorio [An instrument to evaluate the impact of the higher education accreditation system: Validation through exploratory factor analysis]. Revista Española de Pedagogía, 81 (286), 555-578. 10.22550/REP81-3-2023-06

Referencias | References

Cetzal, R. S. P., Delgado, M. L., y Reche, P. C. (2012). El poder en las organizaciones escolares… todos lo buscan, pocos lo consiguen. Revista Educación y Ciencia, 2 (40), 33-46.

Díaz, F., Cuevas, M., Fernández, M., Gijón, J., Lizarte, E. J., Ibáñez, P., El Homrani, M., Ávalos, I., y Rodríguez, R. J. (2019). Liderazgo y calidad en la educación superior. EDMETIC. Revista de Educación Mediática y TIC, 8 (2), 52-72. 10.21071/edmetic.v8i2.12120

Egido, I., Fernández, F. J., y Fernández, M. J. (2016). Evaluation of the impact of quality management systems on school climate [Evaluación del impacto de los sistemas de gestión de calidad en el clima escolar]. International Journal of Educational Management, 30 (4), 474-492. 10.1108/IJEM-01-2015-0010

ENQA, ESU, EUA, EURASHE, EI, BUSINESSEU-ROPE, y EQAR. (2015). Standards and guidelines for quality assurance in the European Higher Education Area (ESG) [Criterios y directrices para la garantía de calidad en el Espacio Europeo de Educación Superior]. European Association of Institutions in Higher Education. https://www.enqa. eu/wp-content/uploads/2015/11/ESG_2015.pdf

EQAR. (s.f.). European Quality Assurance Register for Higher Education [Registro Europeo de Garantía de la Calidad para la Educación Superior]. https://www.eqar.eu

Fernández-Cruz, F. J., Egido, I., y Carballo, R. (2016). Impact of quality management systems on teaching-learning processes [El impacto de los sistemas de gestión de Calidad en los pro- cesos de enseñanza-aprendizaje]. Quality Assurance in Education, 24 (3), 394-415. https://doi. org/10.1108/QAE-09-2013-0037

Fernández-Díaz, M. J. (2013). Evaluación de impacto para un cambio sostenible en las orga- nizaciones educativas. Revista Española de Pedagogía, 71 (254), 119-138. https://reunir. unir.net/handle/123456789/3777

Fernández-Díaz, M. J., Rodríguez-Mantilla, J. M., y Fontana-Abad, M. (2016). Impact of implementation of quality management systems on internal communications and external relations at schools [Impacto de la implementación de sistemas de gestión de calidad las comunicaciones internas y en las relaciones externas de los centros escolares]. Total Quality Management & Business Excellence, 27 (1), 97-110. 10.1080/14783363.2014.954365

Ferreiro, V. V., Brito, J., y Garambullo, A. I. (2020). Modelo de gestión de calidad como estrategia de planeación en procesos de acreditaciones internacionales. RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 10 (20), 1-27. 10.23913/ride. v10i20.606

Galindo, M. A. (s. f.). Agencia de calidad: ANECA [presentación]. https://www.farmaceuticos.com/ wp-content/uploads/2019/12/2014-Presentacion-Farmacia-ANECA-Nov.ppt

Guzmán-Puentes, S., y Guevara-Ramírez, R. (2022). Configuración de la acreditación de la calidad como campo de estudio. Una revisión sistemática de la investigación internacional (1998-2016). RIES. Revista Iberoamericana de Educación Superior, 13 (36), 160-180. https:// doi.org/10.22201/iisue.20072872e.2022.36.1189 Hair, J. F., Black, W. C., Babin, B. J., y Anderson, R. E. (2014). Multivariate data análisis [Análisis mul- tivariante de datos] (7.ª ed.). Pearson Education.

Ibáñez-López. F. J., Hernández-Pina, F., y Monroy-Hernández, F. (2020). Análisis del conocimiento y la percepción del profesorado sobre los procesos de evaluación y acreditación de titulaciones universitarias en educación. Bordón. Revista de Pedagogía, 72 (4), 61-78. 10.13042/Bordon.2020.79417

Izquierdo, I., Olea, J., y Abad, F. J. (2014). Exploratory factor analysis in validation studies: Uses and recommendations [Análisis factorial exploratorio en estudios de validación: usos y recomendaciones]. Psicothema, 26 (3), 395-400. 10.7334/psicothema2013.349

Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario. Boletín Oficial del Estado, núm. 70, de 23 de marzo de 2023. https://www.boe.es/ eli/es/lo/2023/03/22/2/con

López-Aguado, M., y Gutiérrez-Provecho, L. (2019). Cómo realizar e interpretar un análisis factorial exploratorio utilizando SPSS. REIRE. Revista d’Innovació i Recerca en Educació, 12 (2), 1-14. http://doi.org/10.1344/reire2019.12.227057

Lorenzo, M. (2011). Organización de centros educativos. Modelos emergentes. La Muralla.

Márquez, E., y Zeballos, Z. R. (2017). El impacto de la acreditación en la mejora de la calidad de los programas educativos que ofrece la Universidad Autónoma de Tamaulipas: un estudio de caso. Revista Iberoamericana de Evaluación Educativa, 10 (2), 65-83. 10.15366/riee2017.10.2.004

Martínez, J. E., Tobón, S., y Romero, A. (2017). Problemáticas relacionadas con la acreditación de la calidad de la educación superior en América Latina. Revista Innovación Educativa, 17 (73), 79-96. http://repositoriodigital.ipn.mx/ handle/123456789/23409

Martínez, J. E., y Tobón, S. (2019). Cuestionario de percepción sobre el impacto de los procesos de acreditación de la calidad educativa en instituciones de educación superior. Conrado, 15 (70), 242-247. https://conrado.ucf.edu.cu/index.php/ conrado/article/view/1132

Martínez, J. E., Ponce, S., Moreno, I., y Zamora, L. (2022). Evaluación y acreditación en una univer sidad pública de México: experiencias docentes.

Revista Venezolana de Gerencia, 27 (Especial 7), 443-459. 10.52080/rvgluz.27.7.29 Martínez-Iñiguez, J. E., Tobón, S., López Ramírez, E., y Manzanilla-Granados, H. M. (2020). Cali- dad educativa: un estudio documental desde una perspectiva socioformativa. Revista Latinoa- mericana de Estudios Educativos, 16 (1), 233-258. https://revistasojs.ucaldas.edu.co/index. php/latinoamericana/article/view/2296

Martínez-Zarzuelo, A., Rodríguez-Mantilla, J. M., y Fernández-Díaz, M. J. (2022). Improvements in climate and satisfaction after implementing a quality management system in education [Mejoras en el clima y en la satisfacción tras implementar un sistema de gestión de calidad en educación]. Evaluation and Program Planning, 94, 102119. 10.1016/j.evalprogplan.2022.102119

Matarranz, M. (2021). El Espacio Europeo de Educación Superior y su sello de calidad. Revista Española de Educación Comparada, (37), 153-173. 10.5944/reec.37.2021.27728

Monarca, H., Thoilliez, B., Garrido, R., y Prieto, M. (2018). Percepciones del profesorado sobre el seguimiento y la evaluación de la calidad en la Universidad Autónoma de Madrid. En H. Monarca, y Prieto (coords.), Calidad de la educación superior en Iberoamérica (pp. 123-161). Dykinson.

Parra, K. L., Vargas, Y., y Soto, J. A. (2019). Acreditación en instituciones de educación superior. Experiencias. Logros y retos. Qartuppi.

Real Decreto 1112/2015, de 11 de diciembre, por el que se aprueba el Estatuto del Organismo Autónomo Agencia Nacional de Evaluación de la Calidad y Acreditación. Boletín Oficial del Estado, núm. 302, de 18 de diciembre de 2015, pp. 119063 a 119081. https://www.boe.es/eli/es/rd/2015/12/11/1112

Real Decreto 822/2021, de 28 de septiembre, por el que se establece la organización de las enseñanzas universitarias y del procedimiento de aseguramiento de su calidad. Boletín Oficial del Estado, núm. 233, de 29 de septiembre de 2021, pp. 119 537 a 119 578. https://www.boe.es/ buscar/act.php?id=BOE-A-2021-15781

Resolución de 7 de marzo de 2018, de la Secretaría General de Universidades, por la que se dictan instrucciones sobre el procedimiento para la acreditación institucional de centros de universidades públicas y privadas. Boletín Oficial del Estado, núm. 63, de 13 de marzo de 2018. https://www.boe.es/eli/es/res/2018/03/07/(1)/con

Resolución de 3 de marzo de 2022, de la Secretaría General de Universidades, por la que se dictan instrucciones sobre el procedimiento para la acreditación institucional de centros de universidades públicas y privadas, y se publica el Protocolo para la certificación de sistemas internos de garantía de calidad de los centros universitarios y el Protocolo para el procedimiento de evaluación de la renovación de la acreditación institucional de centros universitarios, aprobados por la Conferencia General de Política Universitaria. Boletín Oficial del Estado, núm. 58, de 9 de marzo de 2022. https://www.boe.es/eli/es/res/2022/03/03/(2)

Rodríguez, D. (2006). Dimensión institucional, cultural y micropolítica: claves para entender las organizaciones educativas. Revista Electrónica Interuniversitaria de Formación del Profesorado, 9 (1), 1-14.

Rodríguez-Mantilla, J. M., Fernández-Cruz, F. J., y Fernández-Díaz, M. J. (2021a). Evaluación para la innovación y mejora de centros educativos. Editorial Síntesis.

Rodríguez-Mantilla, J. M., León, V., y Martínez-Zarzuelo, A. (2021b). ISO 9001 standard and their impact on school management and planning and support systems. Comparative study on perception between heads-teachers [El estándar ISO 9001 y su impacto en los sistemas de gestión, planificación y soporte de los centros escolares. Estudio comparativo sobre la percepción entre directores y profesores] . The TQM Journal, 33 (6), 1610-1630. https://doi. org/10.1108/TQM-04-2020-0071

Sarasola, M., Delgado, P., y Lasida, J. (2015). El impacto de la implementación del sistema de calidad educativa PCI a través de la perspectiva del profesorado. Páginas de Educación, 8 (2), 121-143. https://revistas.ucu.edu.uy/index.php/ paginasdeeducacion/article/view/695

Smart-Qual. (2022). Quality indicator scoreboard (QIS). Quality indicator set & structured cata- logue [Cuadro de indicadores de calidad (QIS). Conjunto de indicadores de calidad y catálogo estructurado]. Smart-Qual. https://smartqual. eu/wp-content/uploads/2022/04/QIS-indicator-set-and-catalog-IO1-SMARTQUAL-2.pdf

Thurler, M. G., y Maulini, O. (2010). La organización del trabajo escolar: una oportunidad para repensar la escuela. Graó.

Torres-Salas, M. I., García-Rojas, A., y Alvarado-Arguedas, A. (2018). La evaluación externa: un mecanismo para garantizar la calidad de la educación superior en Costa Rica. Revista Electrónica Educare, 22 (2), 1-16. https://dx.doi.org/10.15359/ree.22-2.16

Trujillo, J. M. (2007). Análisis interno de la organización: liderazgo y micropolítica en un centro educativo. Innovación educativa, 17, 37-52. http://hdl.handle.net/10347/4361

Ulker, N., y Bakioglu, A. (2018). An international research on the influence of accreditation on academic quality [Investigación internacional sobre la influencia de la acreditación en la calidad académica]. Studies in Higher Education, 44 (9), 1507-1518. 10.1080/03075079.2018.1445986

Vázquez, J. A. (2015). Nuevos escenarios y tendencias universitarias. Revista de Investigación Educativa, 33 (1), 13-26. http://dx.doi. org/10.6018/rie.33.1.211501

Weaver, S. S. (2015). Measurement theory [Teoría de la medición]. En W. Donsbach (Ed.), The international encyclopedia of communication [Enciclopedia internacional de comunicación]. Wiley Online Library. http://dx.doi.org/10.1002/9781405186407.wbiecm016.pub3

Biografía de Autor

Begoña García-Domingo. Doctora en Psicología por la Universidad Autónoma de Madrid (UAM). Ha sido profesora titular del Departamento de Psicología Evolutiva y de la Educación del CES Don Bosco de Madrid (adscrito a Universidad Complutense de Madrid [UCM]) hasta 2019. Desde entonces, desarrolla su actividad docente e investigadora en el Departamento de Investigación y Psicología en Educación (en el área de métodos de investigación) de la Facultad de Educación de la UCM. Es miembro del grupo de investigación «Calidad y evaluación de instituciones educativas» (UCM). Ha participado en diferentes proyectos de investigación e innovación docente y se ha interesado, en especial, por la medida y evaluación de las competencias del profesorado, la inteligencia emocional en contextos formativos y la calidad educativa.

https://orcid.org/0000-0002-5784-0460

Jesús-M. Rodríguez-Mantilla. Doctor en Educación por la UCM. Desarrolla su actividad docente e investigadora en el Departamento de Investigación y Psicología en Educación (en el área de métodos de investigación) de la Facultad de Educación de la UCM. Es director del grupo de investigación «Calidad y evaluación de instituciones educativas» (UCM). Cuenta con dos sexenios de investigación concedidos. Director adjunto de Bordón. Revista de Pedagogía. En la actualidad, es coordinador del Grado de Pedagogía y coordinador del Prácticum de Pedagogía Escolar en la Facultad de Educación de la UCM.

https://orcid.org/0000-0002-0885-3484

Angélica Martínez-Zarzuelo. Doctora en Educación por la UCM. Desarrolla su actividad docente e investigadora en el Departamento de Didáctica de Ciencias Experimentales, Sociales y Matemáticas (en el área de didáctica de las matemáticas) de la Facultad de Educación-Centro de Formación del Profesorado de la UCM. Sus áreas de investigación son, entre otras, evaluación educativa y calidad educativa. Es miembro del grupo de investigación «Calidad y evaluación de instituciones educativas» (UCM).

https://orcid.org/0000-0001-5653-2311

Citación recomendada | Recommended citation

García-Domingo, B., Rodríguez-Mantilla, J. M., y Martínez-Zarzuelo, A. (2023). Instrumento para valorar el impacto del sistema de acreditación en educación superior: validación mediante análisis factorial exploratorio [An instrument to evaluate the impact of the higher education accreditation system: Validation through exploratory factor analysis]. Revista Española de Pedagogía, 81 (286), 555-578. 10.22550/REP81-3-2023-06