Introducción
Los centros educativos participan cada vez más en evaluaciones externas. Pese a que se trata de un fenómeno relativamente reciente, estas evaluaciones se han asentado en nuestra cultura educativa y cada vez más el Instituto de Evaluación Educativa favorece que los centros participen en las mismas. Son ejemplos de estas evaluaciones externas los siguientes: Programa para la Evaluación Internacional de Estudiantes (PISA), Estudio Internacional sobre la Enseñanza y el Aprendizaje (TALIS), Estudio Europeo de Competencia Lingüística (EECL), Estudio Internacional de Progreso en Comprensión Lectora (PIRLS), Estudio Internacional de Matemáticas y Ciencias (TIMSS) y el Estudio Internacional sobre Educación Cívica y Ciudadana (ICCS). En este artículo hablaremos de PISA, la evaluación más popular de todas.
PISA
El estudio PISA (Programme for International Student Assessment) se realiza cada tres años en los treinta y cuatro países que forman parte de la Organización para la Cooperación y el Desarrollo económico (OCDE), así como en otros países que se suman al estudio. La evaluación se realiza por medio de un muestreo de centros y una selección de estudiantes que realizan una prueba competencial.
PISA no tiene como objetivo medir el rendimiento escolar en unas materias como si fueran unos exámenes ordinarios, sino evaluar el uso de las habilidades y conocimientos adquiridos para enfrentarse a los retos de la vida adulta
Frente a lo que comúnmente se piensa, PISA no tiene como objetivo medir el rendimiento escolar en unas materias como si fueran unos exámenes ordinarios, sino evaluar el uso de las habilidades y conocimientos adquiridos para enfrentarse a los retos de la vida adulta. Básicamente el estudio PISA intenta evaluar lo que un joven de 15 años sabe y es capaz de hacer al finalizar su educación obligatoria. Aunque en cada edición se introduce algún aspecto innovador (la resolución de problemas en 2012, la resolución colaborativa de problemas en 2015 o la llamada competencia global que aparecerá en el Informe PISA 2018), el programa se centra en las tres competencias que se consideran troncales: Ciencias, Lectura y Matemáticas.
PISA inicia su andadura en el año 2000 y hasta la fecha se han realizado seis ediciones correspondientes a los años 2000, 2003, 2006, 2009, 2012 y 2015. En 2019 saldrán los datos del Informe PISA 2018.
Los informes PISA en España sirvieron, en un primer momento, para situar los resultados del país en el marco de los países de la OCDE. Sin embargo, y a medida que se fueron realizando las sucesivas ediciones, los informes PISA permitieron realizar otra lectura que suscitó notables incomodidades: la comparación de los resultados entre las comunidades autónomas.
En el año 2000, fecha del primer informe PISA, el traspaso de las enseñanzas no universitarias a las comunidades autónomas se había completado en su totalidad. Cataluña y País Vasco las tenían transferidas desde 1980; Galicia y Andalucía, desde 1982; Canarias y la Comunidad Valenciana las asumieron en 1983; la Comunidad Foral de Navarra, en 1990; Islas Baleares, en 1997; Aragón, Cantabria y La Rioja, en 1998; Asturias, Castilla-La Mancha, Castilla-León, Extremadura, Comunidad de Madrid y Región de Murcia, en 1999. Los informes PISA permitían, por lo tanto, establecer una comparación intranacional y ofrecer un retrato de lo que, en la práctica, ha devenido en la constitución de diecisiete subsistemas educativos diferenciados.
Algunas comunidades, antes de exponerse al escrutinio de PISA, renunciaron voluntariamente a participar. Eso es lo que hicieron, por ejemplo, Castilla-La Mancha o la Comunidad Valenciana, que participaron por primera vez en el Informe PISA 2015 y solo lo hicieron en una de las tres pruebas (Lectura). Canarias, por ejemplo, participó por primera vez en 2009 y no regresó hasta 2015.
Sin embargo, el hecho de contar con los resultados de varias evaluaciones —a las que, como ya hemos señalado, se incorporará la correspondiente a 2018— permite una primera aproximación diacrónica con los datos disponibles hasta la fecha.
Desde el punto de vista sociológico los resultados muestran el estado de la educación de una generación entera que se ha educado bajo cuatro leyes orgánicas diferentes, algo insólito dentro de los países de la OCDE: la LOGSE, la LOCE, la LOE y la LOMCE (la primera y la tercera bajo gobiernos del PSOE, la segunda y la cuarta bajo gobiernos del PP).
Resultados de PISA por años y por comunidades
El primer informe PISA del año 2000 no recogía ningún dato estadístico relativo a las comunidades autónomas. Para ello era preciso ofrecer una muestra ampliada, es decir, agrandar la muestra general realizada en todo el estado mediante una ampliación del número de evaluaciones y así poder obtener una mayor consistencia estadística.
Hay que esperar al informe de 2003 para encontrar los primeros resultados de las comunidades autónomas en una separata titulada “Resumen de los primeros resultados en España”. En esta edición solo Castilla y León, Cataluña y el País Vasco participaron con una muestra ampliada y, por lo tanto, solo de estas tres comunidades se recogen datos.
A la hora de interpretar los datos, debe tenerse en cuenta que la puntuación media dentro de los estados de la OCDE se establece siempre en torno a 500 puntos y que una diferencia de nueve puntos se considera estadísticamente significativa. Este primer informe reflejaba los siguientes resultados:
Esta primera oleada permitió establecer unas primeras conclusiones provisionales. Puesto que las tres comunidades se situaban en las tres destrezas por encima de la media española —salvo el País Vasco en Ciencias—, la causa de que la media española fuera más baja que la media de la OCDE era imputable al resto de comunidades autónomas. En segundo lugar, no se apreciaban diferencias estadísticas significativas entre comunidades bilingües y no bilingües. Por último, Castilla-León ofrecía ya en este primer informe unos resultados similares, e incluso superiores, a la media de los países de la OCDE.
En el año 2006 se incorporaron al estudio diez comunidades autónomas españolas. A las tres que participaron en la evaluación de 2003, se sumaron Andalucía, Asturias, Aragón, Cantabria, Galicia, La Rioja y Navarra. Los resultados fueron los siguientes:
El informe del año 2006 ofreció un panorama parcial, pero más completo del sistema educativo español a principios de siglo y arrojó un dato que a lo largo de las siguientes ediciones se ha mantenido estable: la correlación entre las puntuaciones obtenidas y la posición norte-sur. Las nueve comunidades del norte obtuvieron resultados por encima de la media; la décima, Andalucía, obtenía resultados notablemente inferiores a la media española en las tres destrezas analizadas (17 puntos por debajo en Matemáticas, 16 en Lectura y 14 en Ciencias).
En la evaluación de 2009 se sumaron cuatro comunidades más: Murcia, Madrid, Islas Baleares y Canarias. En 2012 se sumó Extremadura, pero la abandonó Canarias. Hay que esperar hasta el año 2015 para que, además de la muestra estatal, todas las comunidades autónomas españolas ampliaran su muestra regional para poder recabar datos comparables a nivel nacional.
Los resultados diacrónicos de todos los informes PISA hasta la fecha son los siguientes:
Algunas conclusiones
A pesar de que es un lugar común hablar de las diferencias regionales que reflejan los informes PISA, esta afirmación debe ser matizada y ponderada en sus justos términos.
En primer lugar, no es fácil extraer conclusiones globales sobre los resultados que alcancen a las diecisiete comunidades autónomas puesto que, como acabamos de ver, no disponemos hasta la fecha de un informe que evalúe a todas las comunidades autónomas en las tres competencias troncales.
En segundo lugar, un análisis longitudinal del estudio PISA entre regiones solo se puede realizar con los resultados de cuatro ediciones y comprende únicamente a diez comunidades. Si consideramos las puntuaciones de partida y las del último informe, el balance de estos doce años arroja los siguientes datos:
Llama la atención el aumento significativo de los promedios en Lectura en la práctica totalidad de estas diez comunidades, todo lo contrario que la competencia en Ciencias, que empeora sustancialmente a lo largo de estos años. Por su parte, la evolución de la competencia en Matemáticas arroja resultados muy desiguales, aunque solo tres comunidades mejoran las puntuaciones de partida.
Si hacemos un balance global, se comprueba que hay cinco comunidades que están por debajo de la media española en las tres competencias: son Andalucía, Islas Baleares, Canarias, Extremadura y Murcia. Asimismo, resulta muy significativo el descenso paulatino de los resultados del País Vasco que en el último informe se sitúa por debajo de la media española en Ciencias y en Lectura, perdiendo en Matemáticas casi 10 puntos desde el año 2000.
Las evaluaciones futuras servirán para confirmar o corregir algunas de las tendencias que se apuntan en los informes PISA realizados hasta la fecha. Pero sí hay una conclusión evidente: el sistema educativo español, considerado en su conjunto, no es un sistema homogéneo, sino que presenta diferencias altamente significativas en las habilidades y conocimientos que los adolescentes de 15 años de las diferentes comunidades autónomas poseen al finalizar su educación obligatoria en España.
- S. La consulta de todos los informes PISA puede realizarse en este enlace de la página web del Ministerio de Educación. Esta página permite también el acceso a los marcos teóricos de la prueba, a los cuestionarios de contexto, a los informes internacionales y ofrece ejemplos concretos de las pruebas de competencias que se utilizan en las evaluaciones (los llamados “Ítems liberados”).