Mucho ruido y pocas nueces: la eficiencia educativa en la práctica

La necesidad de mejorar el rendimiento y las oportunidades de aprendizaje de los estudiantes, en el actual contexto de restricciones presupuestarias crecientes, ha puesto el foco de atención en la mejora de la eficiencia de los sistemas educativos actuales. A diferencia de los programas e intervenciones que comienzan y terminan en un período determinado, la producción educativa dentro de las escuelas y liceos se repite año tras año consumiendo la mayor parte del presupuesto público invertido en educación. En términos económicos, la eficiencia educativa hace referencia a la medida en que los estudiantes logran su máximo potencial académico, dados los recursos familiares y escolares que tienen a su alcance. Por tanto, la evaluación sistemática de la eficiencia y el desempeño de los centros educativos resulta una herramienta clave para promover la mejora de la calidad de la educación aprovechando mejor los recursos ya invertidos en el sistema. Entre otros propósitos, permite cuantificar las mejoras potenciales de los centros educativos, identificar las mejores prácticas para aprender de ellas, comparar el desempeño entre diferentes tipos de centros educativos, así como analizar el impacto de las intervenciones y políticas públicas (De Witte y López-Torres, 2017, Johnes, 2020). 

Siguiendo este argumento, las actuales autoridades educativas uruguayas han reclamado reiteradamente “la optimización de los recursos escolares” para superar los malos resultados educativos del país. Por otra parte, en el marco del actual conflicto que atraviesa la educación pública en Uruguay, la comunidad educativa reclama una mayor dotación del presupuesto público. ¿Quién tiene razón? ¿En qué medida existe un problema de “insuficiencia” o de “ineficiencia” de recursos? Seguramente ambos, pero es solo una percepción. No existe evidencia empírica suficiente y concluyente al respecto.

A pesar del amplio consenso sobre la importancia de que las decisiones de política educativa (entre ellas la asignación presupuestaria) estén basadas en evidencias y que la investigación de calidad debería contribuir a guiar la política y la práctica, en la realidad, estas interacciones no se observan. Más aún, las investigaciones en materia de eficiencia educativa en Uruguay son casi inexistentes (Azar y Sicilia, 2021). Ello conduce a que el debate político y social se fundamente exclusivamente en ideologías, percepciones y experiencias personales, casos aislados o en experiencias internacionales adaptadas a la realidad nacional.

En esta entrada voy a comentar algunos de los desafíos más relevantes a la hora de llevar a cabo evaluaciones de la eficiencia educativa en la práctica y de transferir los resultados a los usuarios finales, que pueden explicar en gran medida la falta de evidencia en esta materia en Uruguay.

El primer gran desafío es la falta de acceso público a información de calidad. Evaluar la eficiencia requiere disponer de información individualizada a nivel de centro educativo, que permita identificar (y asociar), por un lado, los recursos educativos disponibles en los centros y por otro, lo resultados académicos del alumnado en cada centro. En el caso de Uruguay, en materia de recursos educativos de los centros, hasta la fecha, no se dispone de dicha información de forma sistemática y homogénea. En cuanto a los resultados educativos en materia de aprendizajes, las únicas fuentes de información disponibles públicamente (anonimizadas) son, para el caso de primaria las evaluaciones ARISTAS y LLECE y para secundaria, ARISTAS y PISA. Todas estas evaluaciones son de carácter muestral, y con importantes limitaciones de información en materia de recursos educativos de los centros (Sicilia, 2014; Azar y Sicilia, 2021), lo cual reduce la solidez de los resultados cuando el fin es incorporarlos a la toma de decisiones.

Otro aspecto desafiante en el caso concreto del sector educativo es que la producción se lleva a cabo de forma jerárquica (alumnos dentro de aulas, dentro de centros). Como consecuencia, la eficiencia del sistema educativo se compone de un efecto individual (que depende del estudiante y su familia) y un efecto escolar (que depende de la institución (docentes y directores). Por tanto, es relevante a la hora de evaluar la eficiencia educativa poder discriminar entre estos diferentes niveles de responsabilidad para hacer un análisis justo. Nuevamente, ello requiere disponer de información detallada de calidad que permita identificar las variables asociadas a la eficiencia estudiantil y escolar.

Ligado a lo anterior, otro importante desafío en el caso de Uruguay es la presencia de una elevada heterogeneidad entre los diferentes tipos de centros educativos. Por un lado, coexisten dos sistemas educativos casi paralelos (privado y público) con diferencias muy sustantivas tanto en términos de recursos educativos, como del tipo de alumnado y el entorno en el que operan. Por otra parte, dentro del sistema público, también conviven diversos modelos de producción tanto en la educación primaria (escuelas urbanas, rurales, Aprender, Tiempo Extendido y de Tiempo Completo), como en secundaria (liceos y escuelas técnicas-UTU). Para evitar comparaciones injustas es necesario tener acceso a información no sólo de los recursos educativos de cada centro, sino también de las variables de entorno que describen el contexto en el que operan.

Además del desafío asociado al acceso de la información, existen otros que también dificultan el traslado de los resultados de las evaluaciones de eficiencia educativa a la política y la práctica y que trascienden al caso uruguayo. En primer lugar, la investigación académica puede carecer de relevancia en la práctica y la política. En ocasiones, los académicos centran su investigación en la publicación de estudios en revistas internacionales de alto impacto, en detrimento de la transferencia académica (que muchas veces no es recompensada). Ello puede conllevar a que el objetivo de la evaluación no sea relevante en la práctica y la política.

Aun cuando la temática y objeto de la investigación son relevantes, los resultados de ésta pueden ser de difícil acceso o comprensión por parte de los responsables de la formulación de políticas y la comunidad educativa, debido a la forma en que están escritos o a la falta de difusión fuera del ámbito académico. Organizar eventos, desarrollar herramientas digitales interactivas o proporcionar actividades de formación no técnica para facilitar la comprensión e interpretación de los resultados de la investigación, pueden ser alternativas efectivas para que puedan incorporarlos de manera efectiva en el proceso de toma de decisiones.

Otro punto crítico es el hecho de que las implicaciones prácticas de la evaluación pueden no ser del todo claras o difíciles de implementar. Los resultados de la investigación pueden entrar en conflicto con lo que los usuarios finales creen que funciona. En este sentido, es importante tener en cuenta que los valores, los juicios y la ideología son tan importantes para la toma de decisiones como la evidencia científica. Por ello, a veces sería más apropiado hablar de “políticas informadas por la evidencia” en lugar de “políticas basadas en la evidencia”.

Por último, pero no menos importante, la falta de desarrollo de una cultura de evaluación y gestión en la comunidad educativa, así como la escasa participación (o incluso resistencia) de algunos agentes relevantes del proceso educativo a la hora de implementar cambios en la gestión educativa son desafíos claves, que trascienden la evaluación de la eficiencia.

En definitiva, la mejora de la calidad de la educación en Uruguay es una asignatura pendiente y urgente (aquí, aquí o aquí), que demanda la implementación de reformas profundas (a veces impopulares) y de un aumento en la inversión de recursos económicos. En un contexto de recursos limitados y con demandas sociales múltiples, es sumamente relevante disponer de evidencia empírica confiable sobre el grado de eficiencia de los estudiantes y docentes y la capacidad de gestión de los centros educativos. En definitiva, dar respuestas a interrogantes como ¿hasta qué punto existe un problema de “insuficiencia” o de “ineficiencia” de recursos? ¿Están todos los centros educativos aprovechando igualmente los recursos de que disponen? ¿Qué centros están logrando compensar al alumnado más vulnerable? ¿Qué están haciendo las mejores prácticas? Para ello es fundamental avanzar en la generación de información pública (anonimizada) de calidad. Por último, importa destacar la complejidad que implica transferir la investigación a la práctica y la política, lo cual requiere mucho más que informar a la comunidad sobre los resultados de la investigación académica. No es un proceso unidireccional, y demanda un esfuerzo y compromiso tanto de quienes llevan a cabo las investigaciones, como de los actores involucrados en el diseño e implementación de la política educativa.

Una muy peleadora reflexión electoral sobre las propuestas en educación, o de cómo somos el perro que se persigue la cola

Autor: Pablo Menese Camargo Advertencia Soy sociólogo. Perdón. Advertencia adicional En febrero, me propusieron escribir para Razones...