Estos días hemos asistido con sorpresa al anuncio del departamento de Educación según el cual los últimos resultados de PISA se publicarán, pero no serán homologables. Se acepta como razón un error técnico señalando que el porcentaje de alumnos excluidos de la muestra fue finalmente del 23%, cifra que supera con creces el 5% considerado como tolerable.
Realmente, no es del todo creíble que se trate de un error técnico, después de más de 25 años de participación (PISA comenzó en 2000). La experiencia del departamento era muy alta en el tema y este tipo de error es francamente inverosímil. Los hechos hacen disparar las alarmas de pensar en otras motivaciones.
La prueba PISA tiene aportaciones muy interesantes para los sistemas educativos, pero también genera actitudes no deseables. La primera gran novedad que desarrollaron fue la de fundamentarlas sobre unos enfoques del rendimiento no centrados en los conocimientos curriculares, sino en su aplicación sobre contextos complejos de realidad. Esto supuso un cambio de enfoque en los procedimientos de enseñanza-aprendizaje y provocó cambios metodológicos profundos en la mayoría de sistemas educativos. Muchas de las dificultades que tienen los alumnos radican justamente en este cambio.
También se buscaba hacer comparables los sistemas y de esta manera compartir experiencias y tratar de promocionar mejoras para todos. La realidad ha sido que desde la misma OCDE se ha tergiversado esta función y se han centrado más en los resultados desnudos y crudos y en los rankings. Da más visibilidad a las pruebas entrar en la cultura de la competencia que en la de compartir proyectos y procesos de transformación y cambio.
Este último hecho genera actitudes a escala internacional en las cuales de lo que se trata no es tanto de disfrutar del mejor sistema como del que puntúa más alto en PISA. Pensemos que PISA comprueba básicamente tres competencias (comprensión lectora, matemática y ciencias y tecnología) y un sistema educativo es algo más. Para muchos, es fundamentalmente un sistema de oportunidades de aprendizaje y de transformación personal y social para todos.
Hoy en día, con el cambio profundo de paradigma al que está sometida la educación, simplificar su calidad a las tres competencias mencionadas es una tontería, se deben tomar como unos indicadores de base necesarios para garantizar su funcionamiento correcto, pero que no justifican la globalidad de la acción educativa.
¿Qué es lo que pasa? Pues que desde que PISA sale del marco educativo y entra en el político, lo más importante ya no es tanto tener el mejor sistema educativo como salir bien en la foto. Y para conseguirlo todo vale. Ha habido sistemas que han reducido sus currículos, centrándolos fundamentalmente en las tres competencias mencionadas y empobreciendo el resto; otros han intentado mejorar los resultados incidiendo en la calidad de la muestra. La OCDE tiene información de muchas de estas prácticas.
Normalmente, el procedimiento actúa pidiendo el listado de todas las escuelas con alumnos de 15 años y extrae aleatoriamente una muestra de unos cincuenta centros, entonces informa al departamento, el cual comprueba si los centros elegidos son representativos y, si es el caso, valida la muestra. Puede cambiar un 5% de los alumnos si realmente entiende que existe algún sesgo en la muestra. Una vez aceptados, se pide la lista del alumnado que participará y se permiten algunas exclusiones que estén bien fundamentadas.
Excluir prácticamente una cuarta parte del alumnado fue un error absurdo. La OCDE y el ministerio tenían la lista inicial y la exclusión era muy evidente. Ha pasado lo que tenía que pasar.
La clave es que desde el departamento, en el momento en que se conoce el nombre de los centros que participarán, es necesario desarrollar estrategias de acompañamiento y supervisión. Normalmente, lo que se había hecho era convocarlos a una reunión, se les facilitaba información (fechas, ítems anteriores, documentos sobre PISA, etc.), tenían un consultor asignado y los días de la prueba había alguien del departamento (inspector, técnico del Consejo Superior de Evaluación, etc.) que les daba apoyo.
Una decisión como la de excluir alumnos debía pasar necesariamente por la supervisión del departamento. Cuesta pensar en la posibilidad de que surgiera algún tipo de error meramente técnico. Pensemos que en la legislatura anterior se atribuyeron los malos resultados a la presencia en la muestra de un porcentaje similar al que ahora han excluido, de alumnado inmigrante. Es fácil derivar la idea de que era necesario controlar la presencia de alumnado vulnerable, que, a juicio de algunos, contaminara los resultados.
La gran aportación de PISA radica en ofrecer unos resultados homologados y, por tanto, comparables con los nuestros anteriores y con los de otras comunidades y países. Conseguir una fotografía real del sistema –y este alumnado excluido, no nos engañemos, forma parte del sistema– permite diseccionar los datos, estudiarlos de forma dinámica, analizarlos de forma desagregada y conjunta y derivar, en definitiva, decisiones que ayuden, cumpliendo con las intenciones originales de PISA, en la toma de decisiones para la transformación y la mejora de la educación.
Ahora no es cuestión de buscar culpabilidades, simplemente de aprender de los errores (técnicos o humanos) y tratar de mejorar, en el futuro, la actividad en torno a todos los procesos de evaluación. Debemos conseguir superar la visión puramente procedimental para entrar plenamente en lo que se denomina la cultura de la evaluación.
