¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015

How much gold is in the sand? Data mining with Spain’s PISA 2015 results

Inmaculada Asensio Muñoz, Elvira Carpintero Molina, Eva Expósito Casas, Esther López Martín

DOI: https://doi.org/10.22550/REP76-2-2018-02

Desde el inicio de las evaluaciones PISA abundan los estudios que pretenden, en lenguaje metafórico, «separar el oro de la arena», esto es, producir, de la cantidad ingente de datos recogidos, conocimiento útil que guíe la práctica y las políticas  educativas. Pero no son frecuentes las investigaciones que usan técnicas de minería de datos para la extracción
de dicho conocimiento. En este trabajo se analizan los cuestionarios de contexto desde una perspectiva métrica, con una metodología basada en «árboles de regresión» destinada a descubrir cuánto «oro» hay en los ítems que los componen, atendiendo a su uso como predictores del desempeño de los jóvenes españoles. Como resultado se obtiene un listado de los ítems más importantes en los seis cuestionarios, junto con el valor predictivo de los mismos. Se aporta un enfoque metodológico que puede contribuir a mejorar la productividad de la investigación pedagógica derivada de PISA.

Cómo citar este artículo: Asensio Muñoz, I., Carpintero Molina, E., Expósito Casas, E. y López Martín, E. (2018).¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015 | How much gold is in the sand? Data mining with Spain’s PISA 2015 resultsRevista Española de Pedagogía, 76 (270), 225-245. doi: https://doi.org/10.22550/REP76-2-2018-02

Aksu, G. y Güzeller, C. O. (2016). Classification of PISA 2012 Mathematical Literacy Scores Using Decision-Tree Method: Turkey Sampling. Education and Science, 41 (185), 101-122.

Alcover, R., Benlloch, J., Blesa, P., Calduch, M. A., Celma, M., Ferri, C., … Zúnica, L. R. (2007). Análisis del rendimiento académico en los estudios de informática de la Universidad Politécnica de Valencia aplicando técnicas de minería de datos. En Actas de las XIII Jornadas de Enseñanza Universitaria de la Informática (pp. 163-170). Teruel: Universidad de Zaragoza.

Blanco-Blanco, A., Asensio, I. I., Carpintero, E., Ruiz De Miguel, C. y Expósito, E. (2017). Aplicaciones de la segmentación jerárquica en medición y evaluación de programas educativos. Ejemplos con un programa de educación financiera. Educación XX1, 20 (2), 235-257.

Breiman, L., Friedman, J. H., Olshen R. A. y Stone, C. J. (1984). Classification and regression trees. Boca Raton, FL: Chapman y Hall/CRC. Carabaña, J. (2009). Una vindicación de la escuela española. Lección inaugural del Curso Académico 2009-2010. Madrid: Facultad de Educación, UCM.

Carabaña, J. (2015). La inutilidad de PISA para las escuelas. Madrid: La Catarata. Castro, M. y Lizasoaín, L. (2012). Las técnicas de modelización estadística en la investigación educativa: minería de datos, modelos de ecuaciones estructurales y modelos jerárquicos lineales. revista española de pedagogía, 70 (251), 131-148.

Cordero, J. M., Crespo, E. y Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: Una revisión de la literatura en España. Revista de Educación, 362, 273-297.

De La Orden, A. y Jornet, J. (2012). La utilidad de las evaluaciones de sistemas educativos: el valor de la consideración del contexto. Bordón, 64 (2), 69-88.

González-Montesinos, M. J. y Backhoff, E. (2010). Validación de un cuestionario de contexto para evaluar sistemas educativos con Modelos de Ecuaciones Estructurales. RELIEVE, 16 (2), 1-17. Recuperado de http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_1.htm

González-Such, J., Sancho-Álvarez, C. y Sánchez-Delgado, P. (2016). Cuestionarios de contexto PISA: un estudio sobre los indicadores de evaluación. RELIEVE, 22 (1), 1-17. doi: http://dx.doi.org/10.7203/relieve.22.1.8429.

Gorostiaga, A. y Rojo-Álvarez, J. (2016). On the use of conventional and statistical-learning techniques for the analysis of PISA results in Spain. Neurocomputing, 171, 625-637.

Hanberger, A. (2014). What PISA intends to and can possibly achieve: A critical programme theory analysis. European Educational Research Journal, 13 (2), 167-180. doi: http://dx.doi.org/10.2304/eerj.2014.13.2.167

Hastie, T., Tibshirani, R. y Friedman, J. (2002). The elements of statistical learning. Data mining, inference and prediction. New York: Springer.

Hernández Orallo, J., Ramírez, M. J. y Ferri, C. (2004). Introducción a la minería de datos. Madrid: Pearson-Prentice Hall.

Hopfenbeck, T. H., Lenkeit, J., El Masri, Y., Cantrell, K., Ryan J. y Baird, J. A. (2017). Lessons Learned from PISA: A Systematic Review of Peer Reviewed Articles on the Programme for International Student Assessment. Scandinavian Journal of Educational Research. doi: https://doi.org/10.1080/00313831.2016.1258726

Idil, F. H., Narli, S. y Aksoy, E. (2016). Using data mining techniques examination of the middle school student attitude towards mathematics in the context of some variables. International Journal of Education in Mathematics, Science and Technology, 4 (3), 210-228. doi: http://dx.doi.org/10.18404/ijemst.02496

Instituto de Evaluación (IE) (2007). PISA 2006. Informe Español. Madrid: MEC. Izenman, A. J. (2008). Modern multivariate statistical techniques. Regression, classification, and manifold learning. New York: Springer.

Kaplan, D. y Su, D. (2016). On Matrix Sampling and Imputation of Context Questionnaires with Implications for the Generation of Plausible Values in Large-Scale Assessments. Journal of Educational and Behavioral Statistics, 41 (1), 57-80.

Kass, G. V. (1980). An exploratory technique for investigating large quantities of categorical data. Applied Statistics, 29, 119-127.

Kiray, S. A., Gok, B. y Bozkir, A. S. (2015). Identifying the factors affecting science and mathematics achievement using data mining methods. Journal of Education in Science, Environment and Health (JESEH), 1 (1), 28-48.

Lakshmipriya, K. y Arunesh, P. K. (2017). Predicting student performance using data mining classification techniques. International Journal of Innovative Research in Science and Engineering, 3 (2), 54-60.

Lizasoain, L. (2012). Las técnicas de minería de datos aplicadas a la investigación educativa. Arboles estadísticos de decisión. En M. Castro (Coord.), Elogio a la Pedagogía Científica (pp. 101-121). Madrid: Grafidridma.

Martínez Arias, R. (2006). La metodología de los estudios PISA. Revista de Educación, nº extraordinario 2006, 111-129.

Muñoz Ledesma, D. (2015). Modelos para la mejora del rendimiento académico de alumnos de la E.S.O. mediante técnicas de minería de datos (Tesis doctoral). Universidad de Murcia.

OECD (2014). PISA 2012 Technical Report. París: OECD. Recuperado de https://www.oecd.org/pisa/pisaproducts/PISA%202012%20Technical%20Report_Chapter%2019.pdf

OECD (2016). PISA 2015 Context Questionnaires Framework. En PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematics and Financial Literacy (pp. 101-127). París: OECD. doi: http://dx.doi.org/10.1787/9789264255425-7-en

Pereira, D., Perales, M. J. y Bakieva, M. (2016). Análisis de tendencias en las investigaciones realizadas a partir de los datos del Proyecto PISA. RELIEVE, 22 (1), 1-18. doi: http://dx.doi.org/10.7203/relieve.22.1.8248

Ruby, J. y David, K. (2015). Analysis of Influencing Factors in Predicting Students Performance Using MLP. A Comparative Study. International Journal of Innovative Research in Computer and Communication Engineering, 3 (2), 1085-1092.

Rutkowski, L. y Rutkowski, D. (2010). Getting it ‘better’. The importance of improving background questionnaires in international large-scale assessment. Journal of Curriculum Studies, 42 (3), 411-430. doi: http://dx.doi.org/10.1080/00220272.2010.487546

Rutkowski, L. y Rutkowski, D. (2017). Improving the comparability and local usefulness of international assessments: A look back and a way forward. Scandinavian Journal of Educational Research, 1-14. doi: http://dx.doi.org/10.1080/00313831.2016.1261044

Santín, D. (2006). La medición de la eficiencia de las escuelas: una revisión crítica. Hacienda Pública Española / Revista de Economía Pública, 177 (2/2006), 57-82.

Streifer, P. A. y Schumann, J. A. (2005). Using data mining to identify actionable information: breaking new ground in data-driven decision making. Journal of Education for Students Placed at Risk (JESPAR), 10, 281-293.

Strobl, C., Malley, J. y Tutz, G. (2009). An Introduction to Recursive Partitioning: Rationale, Application, and Characteristics of Classification and Regression Trees, Bagging, and Random Forests. Psychological Methods, 14 (4), 323-348.

Taut, S. y Palacios, D. (2016). Interpretaciones no intencionadas e intencionadas y usos de los resultados de PISA: Una perspectiva de validez consecuencial. RELIEVE, 22 (1), M8. doi: https://doi.org/10.7203/relieve.22.1.8294

Thai Nghe, N., Janecek, P. y Haddawy, P. (2007). A Comparative Analysis of Techniques for Predicting Academic Performance (Conferencia, sesión T2G). En 37th ASEE/IEEE Frontiers in Education Conference.

Milwaukee, WI. Thakar, P., Mehta, A. y Manisha (2015). Performance Analysis and Prediction in Educational Data Mining: A Research Travelogue. International Journal of Computer Applications, 110 (15), 60-68.

Yu, C. H., Kaprolet, C., Jannasch-Pennell, A. y Digangi. S. (2012). A Data Mining Approach to Comparing American and Canadian Grade 10 Students’ PISA Science Test Performance. Journal of Data Science, 10, 441-464.

Inmaculada Asensio Muñoz es Doctora en Pedagogía por la Universidad Complutense de Madrid con premio extraordinario de doctorado, Profesora Titular en el Departamento de Métodos de Investigación y Diagnóstico en Educación de la Facultad de Educación de la Universidad Complutense de Madrid y miembro del grupo de investigación Medida y Evaluación de Sistemas Educativos.

Elvira Carpintero Molina es Doctora en Psicopedagogía por la Universidad Complutense de Madrid y Profesora Contratada Doctora en el Departamento de Métodos de Investigación y Diagnóstico en Educación. Miembro del grupo de investigación Medida y Evaluación de Sistemas Educativos y del grupo de investigación Pedagogía Adaptativa de la Universidad Complutense de Madrid.

Eva Expósito Casas es Doctora en Educación por la Universidad Complutense de Madrid. Actualmente, es Profesora Ayudante Doctora en el Departamento de Métodos de Investigación y Diagnóstico en Educación II de la Universidad Nacional de Educación a Distancia. Miembro del grupo de investigación complutense Medida y Evaluación de Sistemas Educativos (Grupo MESE) y del Grupo de Investigación en Sistemas de Orientación Psicopedagógica y Competencias de los Orientadores (GRISOP).

Esther López Martín es Doctora en Ciencias de la Educación por la Universidad Complutense de Madrid. Especialista en Gestión de Recursos Humanos por el Centro de Estudios Financieros. Actualmente, es profesora del Departamento Métodos de Investigación y Diagnóstico en Educación II de la Universidad Nacional de Educación a Distancia (UNED), y miembro del Grupo de Investigación Medida y Evaluación de Sistemas Educativos de la UCM y del Grupo de Investigación en Sistemas de Orientación Psicopedagógica y Competencias de los Orientadores de la UNED.