Una nueva metodología, ¿por qué?

El nuevo formato de publicación de resultados de la Evaluación del Logro Referida a Centros Escolares (ELCE) del Plan Nacional para la Evaluación de los Aprendizajes (PLANEA), en comparación con el utilizado por la prueba ENLACE, crea algunos retos para clasificar a las escuelas de acuerdo a su nivel de calidad educativa.

La diferencia más importante en los datos publicados por ambas pruebas es que en ENLACE se reportaba la puntuación promedio por materia de los alumnos de cada escuela y en PLANEA no se tiene ese dato. En cambio, los datos publicados de PLANEA únicamente reportan el porcentaje de alumnos de la escuela que se encuentran en cada uno de los cuatro niveles de logro definidos por el INEE.

Al sólo contar con el porcentaje de alumnos en estos cuatro niveles de logro (de más bajo a más alto: Nivel I, Nivel II, Nivel III, Nivel IV) es virtualmente imposible inferir la calificación promedio de cada escuela.

Por esta razón, se tuvo que diseñar una nueva metodología para calcular una calificación promedio por escuela, la cual nos permitiera conocer el nivel de desempeño relativo de las escuelas evaluadas y poder generar un semáforo de resultados educativos nacional y un ranking estatal de escuelas.

A continuación se describe la metodología utilizada para clasificar el nivel de desempeño de cada escuela utilizando los datos públicos de PLANEA, cuyas bases de datos pueden ser descargadas del portal de la SEP.

¿Cuál es nuestra metodología para medir el desempeño de las escuelas?

Resultados no confiables, no representativos y otras consideraciones

Antes de comenzar la clasificación, se eliminaron del análisis los centros escolares cuyos resultados fueron marcados por el Instituto Nacional para la Evaluación de la Educación (INEE) como poco confiables por el número excesivo de respuestas similares, así como aquellos en los que los alumnos evaluados no fueron considerados como representativos de la escuela. De igual forma, no se tomaron en cuenta las escuelas donde el porcentaje de alumnos evaluados fue menor a 80% de los programados, ni los centros escolares donde no se aplicó la prueba.

Para el caso de centros escolares con más de un turno, cada turno fue analizado de manera independiente. Además, se separaron los resultados por nivel educativo: es decir, se hizo un semáforo nacional y un ranking estatal separado para primaria, secundaria y bachillerato.

Cálculo de la calificación promedio por escuela

La idea central de la nueva calificación promedio por escuela es darle más puntos a aquellas escuelas que tengan un porcentaje mayor de alumnos en los dos niveles más altos que el promedio de todas las escuelas y quitar puntos a las escuelas con mayor porcentaje de alumnos en los dos niveles más bajos que el promedio.

El primer paso fue calcular el porcentaje promedio de alumnos en cada nivel de desempeño para cada materia a nivel nacional y comparar el porcentaje de cada escuela con base en la distancia al promedio nacional. Es decir, calcular la diferencia en cada nivel entre el promedio nacional y el porcentaje de la escuela.

Para los dos niveles más altos de desempeño (niveles III y IV), se dio una calificación positiva a las escuelas cuyos porcentajes estuvieron por arriba del promedio y una calificación negativa a las que estuvieron por debajo. Para los dos niveles más bajos de desempeño (I y II) fue a la inversa; se dio una calificación negativa a las escuelas cuyos resultados estuvieran por arriba del promedio y una calificación positiva a aquellas que estuvieran por debajo.

Además, se le dio más peso al nivel más bajo (I) y al más alto (IV) que a los intermedios, ya que consideramos mucho más valioso tener más alumnos en el nivel IV que en el III, y mucho peor tener más alumnos en el nivel I que en el II. Así, de los cuatro niveles, se ponderaron con mayor peso para la calificación promedio a los niveles I y IV con 35% cada uno y con 15% los niveles II y III.

Para obtener una calificación única por escuela, las calificaciones de matemáticas y de español se promediaron ponderando con peso de 80% y 20% respectivamente. A matemáticas le asignamos un peso mucho mayor porque la distribución de calificaciones de matemáticas tiene una varianza mucho menor y una distribución de probabilidad diferente a las calificaciones de español. Esto nos lleva a pensar que los resultados de las dos materias surgen de procesos cognitivos distintos: el dominio de la lengua española tiene más influencia desde casa y el dominio de las matemáticas desde la escuela.

La calificación promedio descrita anteriormente se expresa en una escala de 0 a 100 para facilitar su interpretación, donde 100 corresponde a la calificación de la escuela más alta y 0 a la más baja. Teniendo la calificación promedio por escuela, las ordenamos en una lista de todos los centros escolares con su puntaje correspondiente. Las posiciones estatales y nacionales están basadas en esta lista.

Cortes para el semáforo de resultados educativos

Teniendo la lista de calificaciones de las escuelas por nivel educativo, el 50% de las escuelas con las calificaciones más bajas a nivel nacional se asignaron al nivel “reprobado”, el siguiente 20% de las escuelas se clasifican en el nivel “de panzazo”, el siguiente 20% entran al nivel “bien” y finalmente, el mejor 10% de las escuelas están en nivel “excelente”.

Preguntas frecuentes sobre la metodología

• ¿Por qué no se utilizó la misma metodología que para ENLACE?

A diferencia de ENLACE, los resultados de PLANEA que se hicieron públicos no incluyen el puntaje en la prueba, sino solamente el porcentaje de alumnos en cada nivel de desempeño, por lo que no fue posible aplicar la misma metodología que se tenía para ENLACE, la cual puedes consultar aquí.

• ¿Por qué algunas escuelas cambiaron tan abruptamente de posición en el semáforo?

Al cambiar la metodología de clasificación del nivel de logro de las escuelas es posible encontrar que algunas de ellas cambiaron el nivel de desempeño en el semáforo. Esto puede deberse a diversos factores como:

• Cambios en el diseño de la prueba PLANEA comparada con ENLACE. Es importante tener en cuenta que los resultados de ambas pruebas no son directamente comparables.
• El tamaño de la muestra de alumnos a los que fue aplicada la prueba en la escuela.

Nota metodológica para educación básica.

Las calificaciones globales por centro escolar (CCT) se calcularon de la siguiente manera:

En las bases de datos con resultados desglosados a nivel alumno, en primer lugar agrupamos los resultados por materia, matemáticas y español. Para cada uno de los dos dominios hicimos promedios por grado escolar. Posteriormente, agrupamos los promedios de cada materia por nivel escolar, es decir, para primaria, agrupamos tercero, cuarto, quinto y sexto. Para secundaria, primero, segundo y tercero. Así obtuvimos el promedio por materia por cada centro escolar.

Los promedios de matemáticas y de español por cada centro escolar están ponderados con pesos 80-20. A matemáticas le asignamos un peso mucho mayor porque la distribución de calificaciones de matemáticas tienen una varianza mucho menor y una distribución de probabilidad diferente a las calificaciones de español. Esto nos lleva a pensar que los resultados de las dos materias surgen de procesos cognitivos distintos; es decir, el buen dominio de la lengua española se aprende en casa y el buen dominio de las matemáticas se aprende en la escuela.

Para cada escuela, se calcula una calificación global promediando las cifras ponderadas de español y matemáticas. Esto resulta en una lista de todos los centros escolares (identificados por su código CCT) con su calificación global correspondiente. Las posiciones estatales y nacionales están basadas en esta lista.

Los cortes para los cuatro distintos niveles de calidad educativa (“excelente”, “bien”, “de panzazo”, “reprobados”) se calcularon de la siguiente manera:

Primero, de la gráfica de distribución eliminamos las escuelas en las que alguno de los grados escolares no tomó la prueba con el fin de asegurar que la distribución no estuviera sesgada hacia abajo. Así definimos los cortes.

El 50% de las escuelas con las calificaciones más bajas en la distribución teórica corresponden al nivel “reprobado”. El siguiente 20% de las escuelas se clasifican en el nivel “de panzazo”, el siguiente 20% entran al nivel “bien” y finalmente, el mejor 10% de las escuelas están en el nivel “excelente”.

Para el 2013, los cortes para primaria son:

662 < Excelente

601 < Bien < 662

559 < De panzazo < 601

Reprobado < 559

Para el 2013, los cortes para secundaria son:

591 < Excelente

544 < Bien < 591

511 < De panzazo < 544

Reprobado < 511

Nota metodológica para educación media superior

A diferencia de las bases de datos para educación básica, en educación media superior (bachillerato) no se reportan las calificaciones exactas a nivel alumno. La base indica, simplemente, en qué rango de desempeño se ubicó el resultado del alumno.

Para poder generar calificaciones, asignamos una calificación intermedia para cada una de esas categorías similar a las calificaciones que vemos en primaria y secundaria para estar en cada uno de esos rangos. Asignamos entonces ese resultado intermedio a cada uno de los alumnos dependiendo de los rangos en los que se reporta que se ubicó su calificación.

Con estos resultados pudimos continuar con la metodología descrita para educación básica, en donde agrupamos por materia, por grado, y finalmente por centro escolar ponderando los resultados de matemáticas y español con un peso de 80-20. Las calificaciones globales se utilizaron para generar las posiciones estatales y nacionales.

Al momento de graficar los resultados por centro escolar, la distribución para educación media superior fue muy similar a las distribuciones para primaria y secundaria, lo que facilitó que se siguiera la misma metodología en la asignación de cortes para los distintos niveles de calidad.

Para el 2014, los cortes para bachillerato son:

632 < Excelente

580 < Bien < 632

551 < De panzazo < 580

Reprobado < 551

Las siguientes gráficas muestran las distribuciones teóricas para los distintos niveles educativos. Los cortes, y por lo tanto, niveles de calidad educativa se identifican por color (verde= excelente, amarillo= bien, naranja= de panzazo, rojo= reprobado)

Metodología para determinar los resultados por estado

Para determinar las posiciones estatales se utilizaron los promedios ponderados (matemáticas 80- español 20) de todas las escuelas del estado para cada nivel escolar.

A las escuelas que están categorizadas como “no confiables” por tener una incidencia de copia por arriba del 10% se les asignó una calificación de cero. De igual manera, las escuelas que no tomaron la prueba ENLACE tuvieron una calificación de cero. Por último, las escuelas en donde no todos los años de la escuela tomaron la prueba ENLACE no se consideran para el promedio estatal.

Los promedios estatales de primaria, secundaria y bachillerato se promedian entre tres para generar una calificacion global del estado.

Otras consideraciones y preguntas frecuentes acerca de la metodología:

• 1. ¿Por qué no utilizan los cortes que usa la SEP?

  Los cortes de la SEP están diseñados para categorizar alumnos, no escuelas. En otras palabras, que un alumno obtenga una calificación de 708 en una prueba, lo cual lo ubicaría en el nivel “excelente”, es mucho más fácil a que una escuela obtenga esa misma calificación como promedio de todos sus estudiantes. Por lo tanto, no sería correcto extrapolar los cortes para resultados individuales de alumnos a una base de promedios por escuela.

• 2. ¿Cómo se incorporan los indicadores de resultados no confiables?

  En las bases de datos de educación básica, la SEP incluye un indicador que identifica pruebas de alumnos en donde hay evidencia de prácticas de copia. Estas pruebas las identifica como “no confiables”. A las escuelas en las que más del 10% de los alumnos tienen resultados “no confiables”, MejoraTuEscuela.org les asigna un ícono de “no confiable” en lugar de su calificación correspondiente en el semáforo de resultados educativos. Nuestro mensaje en este sentido es que una escuela en donde hay altos porcentajes de copia merece una clasificación mucho peor que una escuela honesta con desempeños malos.