¿Qué revela PISA? Murcia y Baleares también superaron el límite del 5%

La polémica por las exclusiones de alumnos en PISA no termina en Cataluña. La Región de Murcia dejó fuera de la evaluación al 12,7% de los estudiantes y Baleares al 7,5%, porcentajes superiores al umbral del 5% establecido para preservar la representatividad de la muestra. Cataluña se alejó mucho más: excluyó al 23,2% y sus resultados autonómicos dejaron de considerarse comparables.

La diferencia importante está en lo que ocurrió después. La OCDE dio por válidos los procedimientos de Murcia y Baleares, mientras que el caso catalán terminó afectando directamente a la publicación y comparabilidad de sus resultados. Aun así, el problema va bastante más allá de una discusión burocrática sobre porcentajes: cuantos más alumnos quedan fuera —especialmente si pertenecen a colectivos que suelen obtener peores resultados—, mayor es el riesgo de que la fotografía educativa salga algo más favorecida de lo que debería.

Cataluña fue el caso extremo, pero no el único

El dato catalán resulta difícil de disimular entre decimales. Casi uno de cada cuatro alumnos, el 23,2%, fue excluido de la muestra de PISA. El porcentaje rebasa ampliamente el máximo previsto y golpea una de las condiciones esenciales de una evaluación internacional: que quienes hacen el examen representen de manera razonable al conjunto del alumnado.

Entre los estudiantes que podían quedar fuera figuraban jóvenes con determinadas necesidades educativas o dificultades para desenvolverse en la lengua de la prueba. El problema aparece cuando esas excepciones dejan de ser precisamente eso, excepciones, y empiezan a modificar de forma considerable la composición del grupo examinado.

No es una cuestión menor. Si desaparece de la muestra una proporción elevada de alumnos con mayores dificultades académicas, el resultado medio puede subir artificialmente aunque ningún estudiante haya aprendido una sola ecuación más ni comprenda mejor un texto. Es estadística elemental, aunque aplicada a un asunto bastante menos elemental: medir la calidad de un sistema educativo.

El episodio catalán provocó además consecuencias administrativas y una respuesta mucho más severa que la adoptada con otras comunidades. Sus resultados quedaron marcados por el problema de representatividad, convirtiendo un informe pensado para comparar sistemas educativos en otra discusión española sobre cómo se ha confeccionado la tabla antes de mirar quién ocupa cada puesto.

Murcia excluyó al 12,7% y Baleares al 7,5%

La revelación relevante es que Cataluña no estaba sola por encima del 5%. Murcia llegó al 12,7%, más del doble de la referencia establecida, mientras Baleares alcanzó el 7,5%.

Son cifras muy distintas del 23,2% catalán, pero también suficientemente altas para plantear dudas sobre el efecto que las exclusiones pueden tener sobre las puntuaciones. La OCDE consideró válidos los procedimientos seguidos en ambos territorios y no aplicó el mismo tratamiento reservado a Cataluña.

En Murcia se argumenta que la composición de sus aulas explica buena parte del porcentaje. La comunidad escolariza un número elevado de alumnos con necesidades específicas y también cuenta con una presencia importante de estudiantes inmigrantes, algunos de ellos con dificultades lingüísticas. Dicho de otro modo: la administración murciana sostiene que la exclusión refleja características reales de su población escolar, no una operación destinada a fabricar una mejor nota.

Ahí está precisamente uno de los puntos delicados de PISA. La prueba necesita reglas comunes para que Madrid pueda compararse con Asturias, España con Portugal o un ciclo con el anterior. Pero los sistemas educativos no reciben al mismo alumnado ni afrontan idénticas circunstancias. Permitir excepciones es necesario; permitir demasiadas puede romper el termómetro.

El 5% no es un capricho estadístico

PISA evalúa a estudiantes de 15 años mediante una muestra representativa. No examina a todos los adolescentes de cada territorio, del mismo modo que una encuesta electoral no pregunta a todos los votantes. El valor del resultado depende, por tanto, de cómo se selecciona a quienes participan.

Las normas contemplan exclusiones justificadas en determinados casos, por ejemplo cuando existen necesidades educativas que hacen imposible realizar la prueba en condiciones adecuadas. El límite busca evitar que esas excepciones terminen cambiando el perfil del alumnado evaluado.

Imaginemos una clase de 100 estudiantes. Si se aparta a cinco por razones justificadas, el grupo restante todavía conserva, en principio, una estructura relativamente parecida a la original. Si se retiran 23 y una parte importante pertenece al alumnado con mayores dificultades, la media puede cambiar y contar una historia bastante diferente.

PISA no es una liga de fútbol, aunque a menudo se publique como tal. Una diferencia de puntos acaba transformada en podios autonómicos, titulares sobre quién sube y quién cae y discusiones políticas previsibles. Por eso la calidad de la muestra importa tanto como la puntuación que aparece al final.

España alcanza una exclusión global del 7,9%

La acumulación de porcentajes elevados ha llevado la tasa española de exclusión hasta el 7,9%, por encima de la referencia del 5%. La OCDE considera que los resultados generales de España continúan siendo utilizables y comparables, pero un volumen elevado de alumnos excluidos introduce una advertencia inevitable: existe riesgo de sesgo al alza.

Eso significa que las puntuaciones podrían representar un rendimiento algo superior al que resultaría de una muestra con mayor presencia de los estudiantes apartados. No permite afirmar automáticamente cuánto habría cambiado la nota —ni siquiera que todas las exclusiones hayan tenido exactamente ese efecto—, pero obliga a leer las cifras con cierta cautela.

La palabra decisiva aquí es representatividad. Una prueba internacional vale porque intenta comparar realidades distintas utilizando una vara común. Cuando la vara cambia de longitud dependiendo del territorio, el ranking conserva números muy precisos, con sus puntos y decimales, pero pierde parte de aquello que justificaba compararlos. El debate resulta aún más relevante al observar la caída de España en lectura, otro de los datos que han puesto el rendimiento educativo español bajo la lupa.

Asturias y Castilla y León ofrecen el contraste

El contraste resulta especialmente llamativo con comunidades que mantuvieron porcentajes mucho menores. Asturias y Castilla y León no llegaron al 3% de exclusiones y, al mismo tiempo, se sitúan entre los territorios con mejores resultados educativos.

El dato no demuestra por sí solo que excluir menos alumnos produzca mejores puntuaciones; sería confundir correlación con causalidad. Sí desmonta, en cambio, una explicación demasiado cómoda: que para obtener buenos resultados sea inevitable apartar de la prueba a una proporción elevada de estudiantes con circunstancias especiales.

También otras autonomías se quedaron claramente por debajo de los niveles registrados en Cataluña, Murcia o Baleares. El mapa resultante obliga a interpretar las clasificaciones con algo más de cuidado. Dos comunidades pueden aparecer separadas por unos cuantos puntos mientras sus muestras han sido confeccionadas con grados de exclusión muy diferentes.

Y cuando la diferencia entre puestos es pequeña, ese matiz deja de ser una nota a pie de página.

La discusión no es quién hizo más trampas

Hablar de «trampas» tiene una fuerza irresistible —sobre todo cuando aparece una clasificación de por medio—, pero mezcla situaciones que no han recibido la misma consideración. Cataluña superó de manera extraordinaria el nivel previsto y sus datos autonómicos fueron cuestionados hasta perder comparabilidad. Murcia y Baleares también excedieron el umbral, aunque la OCDE aceptó sus procedimientos.

Eso no convierte sus porcentajes en irrelevantes. Un 12,7% sigue siendo un 12,7%. La cuestión útil no consiste tanto en repartir tarjetas rojas como en conocer exactamente qué estudiantes fueron excluidos, por qué motivo y hasta qué punto su ausencia modifica la muestra.

Porque existe otra derivada incómoda. Los alumnos inmigrantes, quienes tienen dificultades lingüísticas o quienes requieren apoyos educativos forman parte del sistema educativo real. No son ruido estadístico. Si una evaluación pretende explicar cómo funciona la escuela de un territorio, excluir sistemáticamente una porción significativa de esa realidad puede ofrecer una imagen más limpia, sí, pero también menos fiel.

El debate conecta además con una vieja tentación de las evaluaciones públicas: confundir el indicador con aquello que pretende medir. Cuando el objetivo político pasa a ser mejorar el número, aparece el riesgo de actuar sobre el termómetro en lugar de sobre la fiebre.

Una clasificación vale lo que vale su muestra

PISA seguirá produciendo titulares, comparaciones autonómicas y disputas sobre modelos educativos. Es inevitable; pocos documentos consiguen convertir una prueba de comprensión lectora de adolescentes en munición política con semejante eficacia.

Pero los nuevos datos cambian la lectura del informe español. Cataluña fue el caso más grave, con un 23,2% de estudiantes excluidos y consecuencias directas sobre la validez de sus resultados autonómicos. Murcia alcanzó el 12,7% y Baleares el 7,5%, ambas por encima del límite de referencia, aunque sus procedimientos recibieron el visto bueno de la OCDE. España, en conjunto, llegó al 7,9%.

Mientras tanto, Asturias y Castilla y León muestran que es posible mantener exclusiones inferiores al 3% y figurar entre los sistemas con mejor desempeño. Un detalle bastante incómodo para cualquier intento de explicar las cifras únicamente por la complejidad de las aulas.

Al final, PISA intenta sacar una fotografía de la educación. Si antes de apretar el disparador se pide a demasiados alumnos que salgan del encuadre, la imagen puede seguir siendo nítida, incluso magnífica. El problema es otro: quizá ya no retrate del todo el aula que había delante de la cámara.