Una nueva metodología, ¿por qué?
El nuevo formato de publicación de resultados de la Evaluación del Logro Referida a Centros Escolares (ELCE) del Plan Nacional para la Evaluación de los Aprendizajes (PLANEA), en comparación con el utilizado por la prueba ENLACE, crea algunos retos para clasificar a las escuelas de acuerdo a su nivel de calidad educativa.
La diferencia más importante en los datos publicados por ambas pruebas es que en ENLACE se reportaba la puntuación promedio por materia de los alumnos de cada escuela y en PLANEA no se tiene ese dato. En cambio, los datos publicados de PLANEA únicamente reportan el porcentaje de alumnos de la escuela que se encuentran en cada uno de los cuatro niveles de logro definidos por el INEE.
Al sólo contar con el porcentaje de alumnos en estos cuatro niveles de logro (de más bajo a más alto: Nivel I, Nivel II, Nivel III, Nivel IV) es virtualmente imposible inferir la calificación promedio de cada escuela.
Por esta razón, se tuvo que diseñar una nueva metodología para calcular una calificación promedio por escuela, la cual nos permitiera conocer el nivel de desempeño relativo de las escuelas evaluadas y poder generar un semáforo de resultados educativos nacional y un ranking estatal de escuelas.
A continuación se describe la metodología utilizada para clasificar el nivel de desempeño de cada escuela utilizando los datos públicos de PLANEA, cuyas bases de datos pueden ser descargadas del portal de la SEP.
¿Cuál es nuestra metodología para medir el desempeño de las escuelas?
Resultados no confiables, no representativos y otras consideraciones
Antes de comenzar la clasificación, se eliminaron del análisis los centros escolares cuyos resultados fueron marcados por el Instituto Nacional para la Evaluación de la Educación (INEE) como poco confiables por el número excesivo de respuestas similares, así como aquellos en los que los alumnos evaluados no fueron considerados como representativos de la escuela. De igual forma, no se tomaron en cuenta las escuelas donde el porcentaje de alumnos evaluados fue menor a 80% de los programados, ni los centros escolares donde no se aplicó la prueba.
Para el caso de centros escolares con más de un turno, cada turno fue analizado de manera independiente. Además, se separaron los resultados por nivel educativo: es decir, se hizo un semáforo nacional y un ranking estatal separado para primaria, secundaria y bachillerato.
Cálculo de la calificación promedio por escuela
La idea central de la nueva calificación promedio por escuela es darle más puntos a aquellas escuelas que tengan un porcentaje mayor de alumnos en los dos niveles más altos que el promedio de todas las escuelas y quitar puntos a las escuelas con mayor porcentaje de alumnos en los dos niveles más bajos que el promedio.
El primer paso fue calcular el porcentaje promedio de alumnos en cada nivel de desempeño para cada materia a nivel nacional y comparar el porcentaje de cada escuela con base en la distancia al promedio nacional. Es decir, calcular la diferencia en cada nivel entre el promedio nacional y el porcentaje de la escuela.
Para los dos niveles más altos de desempeño (niveles III y IV), se dio una calificación positiva a las escuelas cuyos porcentajes estuvieron por arriba del promedio y una calificación negativa a las que estuvieron por debajo. Para los dos niveles más bajos de desempeño (I y II) fue a la inversa; se dio una calificación negativa a las escuelas cuyos resultados estuvieran por arriba del promedio y una calificación positiva a aquellas que estuvieran por debajo.
Además, se le dio más peso al nivel más bajo (I) y al más alto (IV) que a los intermedios, ya que consideramos mucho más valioso tener más alumnos en el nivel IV que en el III, y mucho peor tener más alumnos en el nivel I que en el II. Así, de los cuatro niveles, se ponderaron con mayor peso para la calificación promedio a los niveles I y IV con 35% cada uno y con 15% los niveles II y III.
Para obtener una calificación única por escuela, las calificaciones de matemáticas y de español se promediaron ponderando con peso de 80% y 20% respectivamente. A matemáticas le asignamos un peso mucho mayor porque la distribución de calificaciones de matemáticas tiene una varianza mucho menor y una distribución de probabilidad diferente a las calificaciones de español. Esto nos lleva a pensar que los resultados de las dos materias surgen de procesos cognitivos distintos: el dominio de la lengua española tiene más influencia desde casa y el dominio de las matemáticas desde la escuela.
La calificación promedio descrita anteriormente se expresa en una escala de 0 a 100 para facilitar su interpretación, donde 100 corresponde a la calificación de la escuela más alta y 0 a la más baja. Teniendo la calificación promedio por escuela, las ordenamos en una lista de todos los centros escolares con su puntaje correspondiente. Las posiciones estatales y nacionales están basadas en esta lista.
Cortes para el semáforo de resultados educativos
Teniendo la lista de calificaciones de las escuelas por nivel educativo, el 50% de las escuelas con las calificaciones más bajas a nivel nacional se asignaron al nivel “reprobado”, el siguiente 20% de las escuelas se clasifican en el nivel “de panzazo”, el siguiente 20% entran al nivel “bien” y finalmente, el mejor 10% de las escuelas están en nivel “excelente”.
Preguntas frecuentes sobre la metodología
- ¿Por qué no se utilizó la misma metodología que para ENLACE?
A diferencia de ENLACE, los resultados de PLANEA que se hicieron públicos no incluyen el puntaje en la prueba, sino solamente el porcentaje de alumnos en cada nivel de desempeño, por lo que no fue posible aplicar la misma metodología que se tenía para ENLACE, la cual puedes consultar aquí.
- ¿Por qué algunas escuelas cambiaron tan abruptamente de posición en el semáforo?
Al cambiar la metodología de clasificación del nivel de logro de las escuelas es posible encontrar que algunas de ellas cambiaron el nivel de desempeño en el semáforo. Esto puede deberse a diversos factores como:
- Cambios en el diseño de la prueba PLANEA comparada con ENLACE. Es importante tener en cuenta que los resultados de ambas pruebas no son directamente comparables.
- El tamaño de la muestra de alumnos a los que fue aplicada la prueba en la escuela.