México en PISA 2015: Desaciertos de su aplicación por medios computarizados

RMIE, 2018, VOL. 23, NÚM. 78, PP. 711-731 (ISSN: 14056666) Investigación MÉXICO EN PISA 2015 Desaciertos de su aplicación por medios computarizados JOSÉ ALFONSO JIMÉNEZ MORENO Resumen: Este artículo analiza algunas de las implicaciones que tiene para los estudiantes mexicanos la aplicación del Programa para la Evaluación Internacional de Alumnos (pisa) a través de computadoras, que se lleva a cabo desde el ciclo 2015. El texto presenta un análisis de evidencias sobre la información que esta forma de aplicar la prueba genera para el país, su viabilidad en términos de infraestructura, la inversión destinada a ello y el riesgo de obtener resultados influidos por un bajo nivel de conocimiento informático por parte de los estudiantes. Se concluye la falta de viabilidad para el uso de esta modalidad de aplicación frente a los pocos beneficios que trae para el sistema educativo mexicano. Abstract: This article analyzes some of the implications for Mexican students when the Programme for the International Student Assessment (pisa) uses computerized testing, first implemented in 2015. The study presents an analysis of evidence regarding the information that the computerized test generates for Mexico, its viability in terms of infrastructure, investment in the test, and the risk of obtaining results influenced by students’ limited knowledge of computers. The conclusion points to the lack of viability for the computerized test and its limited benefits for Mexico’s educational system. Palabras clave: evaluación de estudiantes; evaluación de pruebas; educación y computación; infraestructura educativa; desempeño del estudiante. Keywords: student evaluation; evaluation of testing; education and computers; educational infrastructure; student achievement. José Alfonso Jiménez Moreno: profesor-investigador de la Universidad Autónoma de Baja California, Instituto de Investigación y Desarrollo Educativo. Carretera Tijuana-Ensenada Km. 103, 22830, Ensenada, Baja California, México. CE: Revista Mexicana de Investigación Educativa 711 Jiménez Moreno Introducción L a evaluación de la educación es una acción ampliamente utilizada en la actualidad por los sistemas educativos, instituciones, escuelas y los docentes mismos. Su uso se fundamenta en la necesidad de retroalimentación de los avances educativos, así como con fines de rendición de cuentas y como apoyo a las políticas educativas (Jiménez, 2016). Su objeto de análisis puede orientarse a programas, instituciones, resultados de aprendizaje, desem peño docente e incluso a los sistemas educativos en su conjunto. Dentro del ámbito de la evaluación, el desarrollo y uso de los instrumentos de medición han sido tema de diversas investigaciones a nivel mundial, debido a la importancia que tiene la medición de los constructos educativos como fundamento en la emisión de resultados del proceso evaluativo. La medición de constructos educativos a través de una modalidad por computadora (en inglés se suele utilizar el término Computer Based Assessment o sus siglas: cba ) se ha desarrollado fuertemente en las últimas décadas en diversos países (Rodríguez, 2005; Ramírez, 2006; Csapó, Ainley, Bennet, Latour et al., 2012; Piaw, 2012; López, Sanmartín y Méndez, 2013). Particularmente, se le ha dado un papel primordial en procesos de evaluación a gran escala, al punto que se ha considerado que esta modalidad sustituirá a la evaluación tradicional, en lápiz-papel, la cual se da en la mayoría de los escenarios de evaluación educativa (Csapó et al., 2012). El movimiento que sustenta el uso de medios electrónicos en evaluación se fundamenta en la idea de que la tecnología, en particular el uso de computadoras, es un catalizador del cambio en la educación (Piaw, 2012) pero, además, por las ventajas que ofrece para medir habilidades más complejas e, incluso, por las demandas sociales asociadas con la tecnología (Olea, Abad y Barrada, 2010). Por supuesto, en sí misma la tecnología no genera un cambio positivo de la educación y el aprendizaje, pero su inclusión en este terreno es, sin duda, una realidad que debe analizarse en aras que se espera facilite cambios en la naturaleza del aprendizaje (Panel on Educational Technology of the President’s Committee of Advisors on Science and Technology, 1997, en Csapó, et al. 2012). El uso de las computadoras con fines de evaluación de procesos educativos, particularmente el aprendizaje, ha estado relacionado con el aprovechamiento de los recursos técnicos que facilitan procesos operativos y 712 Consejo Mexicano de Investigación Educativa México en PISA 2015: desaciertos de su aplicación por medios computarizados de calificación (Jornet, Gónzalez-Such y García-Bellido, 2012), así como la reducción de costos de desarrollo (Rojas, 2001). Desde hace más de dos décadas, este modo de evaluar el aprendizaje ha virado de una forma experimental a ser uno de los medios más populares. Algunos de los elementos que mayormente han potencializado el uso de la cba en educación han sido, entre otros, la facilidad que ofrece en la estandarización de procesos de aplicación, favorece la emisión de calificaciones automatizadas y, además, permite ofrecer formatos de reactivos o ítems que favorecen la medición de habilidades que no necesariamente son de fácil observación por medios de lápiz-papel (Barberá, 2016; Olea, Abad y Barrada, 2010; Csapó et al. 2012). El uso de computadoras en evaluaciones a gran escala se ha dado en todo el mundo bajo diversas condiciones. Considerando la información de la investigación de Csapó et al. (2012), en Australia gran parte de la población de estudiantes tiene acceso a tecnologías de la información desde casa, lo cual ha facilitado la implementación de este tipo de evaluaciones. En Asia, las condiciones de infraestructura tecnológica entre escuelas tienen altas variaciones, por lo que la implementación de una plataforma única de evaluación en una región es prácticamente imposible. Los países europeos han sido más consistentes en el uso de la cba , dado que la búsqueda de evaluación a través de medios tecnológicos es cada vez más demandada en diversos países de la región; incluso se han desarrollado distintas herramientas, como el caso de la Open Source Assessment Platform ( tao ), 1 plataforma electrónica altamente utilizada tanto en Europa, como en países de otras regiones. En el caso de América, específicamente en Estado Unidos, hay una gran diversidad de instancias que desarrollan evaluaciones mediante el uso de herramientas tecnológicas. Por supuesto, los proyectos internacionales de evaluación a gran escala que utilizan las tecnologías como parte de su estrategia de aplicación no son la excepción, tal es el caso de Trends in International Mathematics and Science Study ( timms ), Progress in International Reading Literacy Study ( pirls ), Computer and Information Literacy ( icils ) y el Programme for International Student Assessment ( pisa ). En el caso de México, existen algunos anteced (...truncated)