Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil

Design and validation of a rubric to evaluate educational actions and projects on youth empowerment

Laura Corbella Molina, Carme Trull Oliva, M.ª Pilar Rodrigo-Moriche y Xavier Úcar Martínez

DOI: https://doi.org/10.22550/REP79-3-2021-05

En los últimos años ha habido un aumen­to significativo de los debates internacionales, las investigaciones y los programas socioe­ducativos centrados en el empoderamiento juvenil. Uno de los principales problemas de este concepto está relacionado con las formas de medirlo y evaluarlo. Evaluar las acciones y proyectos socioeducativos es clave para el dise­ño, la implementación y la mejora de prácticas educativas que ayuden a la juventud a empo­derarse. Este artículo presenta el proceso de construcción y validación de una rúbrica para la evaluación de acciones y proyectos educati­vos de empoderamiento juvenil desarrollada en el marco del Proyecto HEBE. El proceso metodológico consta de tres fases: (1) el dise­ño del instrumento; (2) la validación por juicio de expertos de 17 profesionales de diferentes ámbitos, 3 expertos en evaluación y 5 jóvenes; (3) y el contraste que se realiza a través de una prueba piloto con 20 proyectos o servicios so­cioeducativos de empoderamiento juvenil en los que participan 63 profesionales. Los re­sultados denotan la validez y fiabilidad de la rúbrica para evaluar la calidad de las prácticas socioeducativas y para diseñar e implementar acciones que apuesten por el empoderamiento juvenil. Destaca por ser un instrumento vali­dado y útil para la realización de diagnósticos educativos relacionados con el empoderamien­to juvenil y por su utilidad para generar pro­cesos reflexivos que se convierten en puntos de partida para repensar y mejorar la práctica pedagógica.

 


 

Cómo citar este artículo: Corbella Molina, L., Trull Oliva, C., Rodrigo-Moriche, M. P. y Úcar Martínez, X. (2021). Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil | Design and validation of a rubric to evaluate educational actions and projects on youth empowerment. Revista Española de Pedagogía, 79 (280), 537-555. https://doi.org/10.22550/REP79-3-2021-05

Andueza, A. (2019). Evaluación de la escritura aca­démica: construcción y validación de un instru­mento integrado basado en tareas para evaluar habilidades específicas de escritura. Revista Electrónica de Investigación y Evaluación Edu­cativa, 25 (2), art. 5. https://doi.org/10.7203/ relieve.25.2.11163

Bacqué, M.-H. y Biewener, C. (2016). El empode­ramiento: una acción progresiva que ha revo­lucionado la política y la sociedad. Editorial Gedisa, S. A.

Beatty, P. C. y Willis, G. (2007). Research synthe­sis: The practice of cognitive interviewing. [Síntesis de la investigación: la práctica de la entrevista cognitiva]. Public Opinion Quarter­ly, 71 (2), 287-311. https://doi.org/10.1093/poq/ nfm006

Bharuthram, S. y Patel, M. (2017). Co-constructing a rubric checklist with first year university students: A self-assessment tool [Co-construc­ción de una lista de comprobación de rúbricas con estudiantes universitarios de primer año: una herramienta de autoevaluación]. Apples – Journal of Applied Language Studies, 11 (4), 35-55. https://doi.org/10.17011/apples/ urn.201708073430

Cevallos, B. y Paladines, B. (2016). La autonomía personal: un indicador del empoderamiento ju­venil. En P. Soler, J. Bellera, y A. Planas (Eds.), Pedagogía Social, Juventud y Transformacio­nes Sociales (pp. 370-377). Universidad de Gi­rona.

Cubillos-Veja, C. y Ferrán-Aranaz, M. (2018). Dise­ño y validación de una rúbrica para valorar la resolución de casos prácticos relativos a dere­chos humanos. Revista Iberoamericana de Eva­luación Educativa, 11 (2), 35-52. https://doi. org/10.15366/riee2018.11.2.002

Dimova, Y. y Loughran, J. (2009). Developing a big picture understanding of reflection in pedago­gical practice [Desarrollar una comprensión global de la reflexión en la práctica pedagógi­ca.] Reflective Practice, 10 (2), 205-217. https:// doi.org/10.1080/14623940902786214

Doğan, C. D. y Uluman, M. (2017). A comparison of rubrics and graded category rating scales with various methods regarding raters’ relia­bility [Comparación de rúbricas y escalas de calificación por categorías con diversos méto­dos en relación con la fiabilidad de los califica­dores]. Educational Sciences: Theory & Prac­tice, 17 (2), 631-651. https://doi.org/10.12738/ estp.2017.2.0321

Fernández-Cruz, F. J., Fernández-Díaz, M. J. y Rodríguez-Mantilla, J. M. (2018). Diseño y validación de un instrumento de medida del perfil de formación docente en tecnologías de la información y comunicación | Design and validation of an instrument to measure tea­cher training profiles in information and com­munication technologies. revista española de pedagogía, 76 (270), 247-270. https://doi. org/10.22550/REP76-2-2018-03

Froufe, S. (1997). Los ámbitos de intervención en la Educación Social. Aula, 9, 179-200. https:// revistas.usal.es/index.php/0214-3402/article/ view/3491

García-Sanz, M. P. (2014). La evaluación de com­petencias en Educación Superior mediante rúbricas: un caso práctico. Revista Electrónica Interuniversitaria de Formación del Profeso­rado, 17 (1), 87-106. https://doi.org/10.6018/ reifop.17.1.198861

Gatica-Lara, F. y Uribarren-Berrueta, T. del N. J. (2013). ¿Cómo elaborar una rúbrica? Investiga­ción en Educación Médica, 2 (1), 61-65. https:// doi.org/10.1016/S2007-5057(13)72684-X

Gil, J. (2007). La evaluación de competencias labo­rales. Educación XX1, 10, 83-106. https://doi. org/10.5944/educxx1.1.10.298

Hilton, C. E. (2015). The importance of pretes­ting questionnaires: A field research example of cognitive pretesting the Exercise referral Quality of Life Scale (ER-QLS) [La importan­cia de la prueba previa de los cuestionarios: un ejemplo de investigación de campo de la prueba previa cognitiva de la Escala de Calidad de Vida referida al Ejercicio (ER-QLS)]. International Journal of Social Research Methodology, 20 (1), 21-34. https://doi.org/10.1080/13645579.20 15.1091640

Janer, À. y Úcar, X. (2020). Social pedagogy in the world today: An analysis of the academic, training and professional perspectives [La pe­dagogía social en el mundo actual: un análisis de las perspectivas académicas, formativas y profesionales]. The British Journal of Social Work, 50 (3), 701-721. https://doi.org/10.1093/ bjsw/bcz025

León, V. y Fernández, M. J. (2019). Diseño y va­lidación de una escala para evaluar el fun­cionamiento de las tutorías en Educación Secundaria. Revista de Investigación Educa­tiva, 37 (2), 525-541. https://doi.org/10.6018/ rie.37.2.345251

Llena-Berñe, A., Agud-Morell, I., Páez de la Torre, S. y Vila-Mumbrú, C. (2017). Explorando mo­mentos clave para el empoderamiento de jóve­nes a partir de sus relatos. Pedagogía Social. Revista Interuniversitaria, 30, 81-94. https:// doi.org/10.7179/PSRI_2017.30.06

Luttrell, C., Quiroz, S., Scrutton, C. y Bird, K. (2009). Understanding and operationalising empowerment [Comprender y hacer operativo el empoderamiento]. https://www.1decada4.es/ pluginfile.php/189/course/section/47/unders­tanding.pdf

Miranda, M., Burguera, J. L., Arias, J. M. y Peña, E. (2019). Inclusión, diversidad y equidad: di­seño y validación de un cuestionario de opinión dirigido al profesorado de orientación educati­va (IDEC-O). Revista de Investigación Educa­tiva, 37 (2), 505-524. https://doi.org/10.6018/ rie.37.2.333891

Morton, M. H. y Montgomery, P. (2013). Youth empowerment programs for improving adoles­cents’ self-efficacy and self-esteem [Programas de capacitación juvenil para mejorar la autoefi­cacia y la autoestima de los adolescentes]. Re­search on Social Work Practice, 23 (1), 22-33. https://doi.org/10.1177/1049731512459967

Murphy, D. L. y Ermeling, B. A. (2016). Feedback on reflection: Comparing rating-scale and for­ced-choice formats for measuring and facilita­ting teacher team reflective practice [Feedback sobre la reflexión: comparación de los formatos de escala de valoración y de elección forzada para medir y facilitar la práctica reflexiva del equipo docente]. Reflective Practice, 17 (3), 317-333. https://doi.org/10.1080/14623943.201 6.1164681

Neuert, C. E. y Lenzner, T. (2015). Incorporating eye tracking into cognitive interviewing to pretest survey questions [Incorporación del se­guimiento ocular a la entrevista cognitiva para preevaluar las preguntas de la encuesta]. Inter­national Journal of Social Research Methodo­logy, 19 (5), 501-519. https://doi.org/10.1080/13 645579.2015.1049448

Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment pur­poses revisited: A review [Repaso del uso de rúbricas de puntuación para la evaluación for­mativa: una revisión]. Educational Research Review, 9, 129-144. https://doi.org/10.1016/j. edurev.2013.01.002

Petrie, P. (2005). Extending "pedagogy" [Am­pliar la «pedagogía»]. Journal of Education for Teaching, 31 (4), 293-296. https://doi. org/10.1080/02607470500280126

Planas, A., Trilla, J., Garriga, P., Alonso, A. y Mon­seny, M. (2016a). ¿Qué dimensiones conforman el empoderamiento juvenil? Una propuesta de indicadores. En P. Soler, J. Ballera y A. Planas (Eds.), Pedagogía Social, Juventud y Transfor­maciones Sociales (pp. 311-318). Universitat de Girona. http://hdl.handle.net/10256/13324

Planas, A., Úcar, X., Páez de la Torre, S., Trilla, J. y Garriga, P. (2016b). Aproximación a los indica­dores de empoderamiento juvenil. En C. Gon­zález y M. Castro Morera (Coords.), Libro de Actas del XVI Congreso Nacional y VII Congre­so Iberoamericano de Pedagogía: Democracia y Educación en el Siglo XXI. La obra de John Dewey 100 años después (p. 386). Universidad Complutense de Madrid. https://biblioteca. ucm.es/data/cont/docs/405-2016-10-05-Libro­DeActas_SEP2016.pdf

Proyecto HEBE (2019). Rúbrica para la evaluación de acciones y proyectos socioeducativos de em­poderamiento juvenil. Universitat de Girona. http://hdl.handle.net/10256/17643

Reddy, Y. M. y Andrade, H. (2010). A review of rubric use in higher education [Una revi­sión del uso de rúbricas en la educación su­perior]. Assessment and Evaluation in Hi­gher Education, 35 (4), 435-448. https://doi. org/10.1080/02602930902862859

Richez, J. C., Labadie, F. y De Linares, C. (2012). «Youth empowerment» dans l’espace euromé­diterranéen. Rapport d’étude [El empodera­miento juvenil en la zona euromediterránea. Informe del estudio]. https://injep.fr/wp-con­tent/uploads/2019/03/rapport-2012-01_Em­power-Youth.pdf

Soler, P. (2017). Presentación monográfico empode­ramiento juvenil y pedagogía social. Pedagogía Social. Revista Interuniversitaria, 30, 13-16. https://doi.org/10.7179/PSRI_2017.30.01

Soler, P. (2020). El ocio como recurso privilegia­do para el empoderamiento juvenil. En I. Lazcano y Á. De-Juanas (Eds.), Ocio y juven­tud. Sentido, potencial y participación comu­nitaria (pp. 161-180). Universidad Nacional de Educación a Distancia (UNED).

Soler, P., Planas, A., Ciraso-Cali, A. y Ribot-Ho­ras, A. (2014). Empoderamiento en la comu­nidad. El diseño de un sistema abierto de indicadores a partir de procesos de evalua­ción participativa. Pedagogía Social: Revis­ta Interuniversitaria, 24, 49-77. https://doi. org/10.7179/PSRI_2014.24.03

Soler, P., Trilla, J., Jiménez-Morales, M. y Úcar, X. (2017). La construcción de un modelo pedagógico del empoderamiento juvenil: es­pacios, momentos y procesos. Pedagogía So­cial. Revista Interuniversitaria, 30, 19-32. https://doi.org/10.7179/PSRI_2017.30.02

Soler, P., Trull, C., Rodrigo-Moriche, M. P. y Corbella, L. (2019). El reto educativo del empoderamiento juvenil. En I. Alonso y K. Artetxe (Eds.), Educación en el tiempo libre: la inclusión en el centro (pp. 129-142). Edi­ciones OCTAEDRO, S.L.

Tinsley, S. y Sheats, S. (2020). The role of tea­cher educators and university supervisors to help student teachers reflect: from mono­logical reflection toward dialogical conver­sation [El papel de los formadores de pro­fesores y de los supervisores universitarios para ayudar a los estudiantes de magisterio a reflexionar: de la reflexión monológica a la conversación dialógica]. Reflective Practice, 21 (2), 171-182. https://doi.org/10.1080/1462 3943.2020.1716710

Tourón, J., Martín, D., Navarro, E., Pradas, S. y Íñigo, V. (2018). Validación de constructo de un instrumento para medir la competen­cia digital docente de los profesores (CDD) | Construct validation of a questionnaire to measure teachers’ digital competence (TDC). revista española de pedagogía, 76 (269), 25-54. doi: https://doi.org/10.22550/REP76- 1-2018-02

Úcar, X., Jiménez-Morales, M., Soler, P. y Trilla, J. (2016a). Exploring the conceptualization and research of empowerment in the field of youth [Exploración de la conceptualización e investigación del empoderamiento en el ám­bito de la juventud]. International Journal of Adolescence and Youth, 22 (4), 405-418. ht­tps://doi.org/10.1080/02673843.2016.1209120

Úcar, X. (Coord.), Planas, A., Novella, A., Ro­drigo, P., Vila, C., Núñez, H., Paladines, B., Paéz de la Torre, S., Turón, N., Paéz, J. y Arenillas, M. (2016b). Informe del proceso de evaluación participativa del empoderamien­to juvenil con 4 grupos de jóvenes. Dipòsit Digital de Documents. Universitat Autó­noma de Barcelona. https://ddd.uab.cat/re­cord/167223

Wagaman, M. A. (2011). Social empathy as a framework for adolescent empowerment [La empatía social como marco para el empode­ramiento de los adolescentes]. Journal of Social Service Research, 37 (3), 278-293. ht­tps://doi.o rg/10.1080/0148837 6.20 11.564045

Zimmerman,M. A., Eisman, A.B.,Reischl, T. M., Morrel-Samuels, S., Stoddard, S., Miller, A. L., Hutchison, P., Franzen, S. y Rupp, L. (2018). Youth empowerment solutions: Eva­luation of an after-school program to engage middle school students in community chan­ge [Soluciones para el empoderamiento de los jóvenes: evaluación de un programa ex­traescolar para involucrar a los estudiantes de secundaria en el cambio de la comunidad]. Health Education and Behavior, 45 (1), 20-31. https://doi.org/10.1177/1090198117710491

Laura Corbella Molina es Investi­gadora Predoctoral dentro del programa de Doctorado en Educación en el departa­mento de Teorías de la Educación y Peda­gogía Social de la Universitat Autònoma de Barcelona (UAB) y Profesora Colabo­radora de la Universitat Oberta de Cata­lunya. Su actividad de investigación está ubicada dentro de la pedagogía social y en concreto en la dimensión ética de las rela­ciones socioeducativas.

 https://orcid.org/0000-0002-2151-089X

Carme Trull Oliva es Profesora Asociada del Área de Teoría e Historia de la Educación y Técnica Especializada de Investigación del Área de Estudios de Educación y Psicología de la Universitat de Girona (UdG). Es educadora social y ha cursado los estudios de Máster In­teruniversitario en Juventud y Sociedad, y el Doctorado en Educación. Su activi­dad de investigación está ubicada dentro de la pedagogía social y en concreto en las intervenciones socioeducativas del sistema de justicia juvenil.

 https://orcid.org/0000-0003-2777-0315

M.ª Pilar Rodrigo-Moriche es Pro­fesora Asociada del Departamento de Pe­dagogía de la Universidad Autónoma de Madrid (UAM) y Profesora Colaboradora en la Facultad de Educación de la Univer­sidad Nacional de Educación a Distancia (UNED). Ha desempeñado su labor pro­fesional en centros de educación infantil, áreas de juventud, organizaciones de in­tegración social y laboral de personas en situación de desventaja social y organi­zaciones para personas con discapacidad intelectual. Forma parte del Grupo de In­vestigación EMIPE y del Grupo de inves­tigación TABA International Research.

 https://orcid.org/0000-0002-6513-0899

Xavier Úcar Martínez es Catedráti­co de Pedagogía Social en la Universidad Autónoma de Barcelona. Especializado en Educación Social y en Diseño y Evaluación de Programas de Desarrollo Comunitario y Programas de Animación Sociocultural. Presidente de la «Sociedad Iberoameri­cana de Pedagogía Social» (SIPS) (2012- 2018). Presidente de la «Coordinadora per l’Animació Sociocultural de Cataluña» (CASC_CAT) (2009-2014). Miembro del grupo de investigación GIPE sobre Política Educativa y del grupo GPSEJ «Pedagogía Social y Empoderamiento Juvenil».

 https://orcid.org/0000-0003-3678-8277