Praying Prior to Experiment (1677). By cibo00 (CC0 1.0) |
Un desafío frecuente al cual se enfrentan los evaluadores es que las intervenciones de política pública ocurren junto con muchos otros cambios que también afectan el resultado de interés. Por ejemplo, imaginemos que durante algunos años se implementan estímulos que reducen el costo de regularizar el acceso ilegal a la energía eléctrica en zonas socialmente vulnerables. Esta intervención podría ocurrir al mismo tiempo que ocurre un "shock" económico positivo. Tanto la política pública como los cambios en la economía pueden aumentar la voluntad de las personas a consumir energía en forma regular y segura. Aún cuando se analicen las diferencias en el consumo irregular de energía antes-y-después de la intervención pública, es difícil aislar y estimar si la política sirvió de algo, y en ese caso, de cuánto sirvió.
Otro desafío para los evaluadores es el modo en que los individuos se auto-seleccionan en los programas públicos, o por ejemplo, el modo en que las propias políticas tratan a distintos individuos o grupos de individuos. Por ejemplo, la extensión horaria en la política educativa (introducción de centros de tiempo completo) podría realizarse con la esperanza de mejorar los resultados de aprendizaje. Pero puede ser difícil saber cuál es la contribución de la política al aprendizaje cuando los criterios de selección de los centros educativos para este plan son desconocidos. Los centros pueden tener características que los hacen muy particulares; como pertenecer a zonas rezagadas, o tener una predisposición institucional favorable a los cambios que propone la política. Más aún, los centros elegidos por la política podrían atraer un determinado tipo de alumnos cuyos padres tienen una mayor predisposición a fomentar el logro educativo en sus hijos. Aunque estos desafíos no imposibilitan realizar evaluaciones de calidad, ciertamente las hacen mucho más difíciles e intensivas en datos.
Existe un creciente interés entre investigadores y expertos en evaluación de fomentar el uso de diseños experimentales para estimar los efectos de las políticas. ¿Por qué? Lo que quisiéramos saber es "qué hubiera sucedido si la política no se hubiera implementado". La intuición es que la diferencia entre aquella realización del mundo y la que efectivamente observamos luego de que la política se implementa es el efecto de la intervención. Aunque esto es imposible de observar (yo al menos la única vez que lo vi es en la película "Volver al Futuro"), sí se puede estimar. ¿Cómo? Con aleatorización.
La solución que ofrecen los diseños experimentales es asignar a los individuos (o grupos de individuos, instituciones, etc.) aleatoriamente al "tratamiento" que genera la política pública. El mecanismo permite hacer comparaciones adecuadas para estimar el efecto causal de la intervención. Esto requiere afectar el diseño de la política, no de montar un sistema de evaluación paralelo a la misma. Para lograr los beneficios de la evaluación experimental es necesario modificar sustancialmente el modo en que se piensan y diseñan la mayor parte de las innovaciones de política pública que se hacen en Uruguay. Normalmente la evaluación es organizada como un "componente" de los programas y no como un aspecto del diseño de la política de intervención. Naturalmente, se trata de un requisito más exigente porque puede entrar en contradicción con criterios de justicia, con preferencias programáticas de quienes implementan el programa, o con políticos que priorizan los beneficios de corto plazo entre sus "constituencies" frente a los beneficios generales de largo plazo que genera la evaluación científica de los programas. Dejemos de lado las preferencias por no evaluar.
En efecto, muchas veces, los evaluadores de política pública se enfrentan a constreñimientos que no les permiten manipular a los ciudadanos como si se tratara de ratones a los que se puede asignar a la pastilla con droga o al placebo. Y muchas veces esto ocurre por buenos motivos y ciertamente ello tampoco representa el fin de las posibilidades para la evaluación. Después de todo los experimentos controlados no son la única forma de generar conocimiento útil sobre las políticas (pero me ahorro la lista de métodos no experimentales sobre los cuáles también deberíamos avanzar en Uruguay, no son el punto de esta breve nota).
Sin embargo, existen numerosas circunstancias en las cuales los criterios de justicia, o las definiciones programáticas de quienes deciden sobre la implementación de las políticas, son perfectamente consistentes con algún tipo de asignación aleatoria que permite una evaluación de los resultados en forma sólida y creíble. Esto requiere imaginación y sobre todo de compromisos virtuosos entre investigadores y decidores de política pública. Uruguay tiene un largo camino para andar en este sentido.
Por ejemplo, un pre-concepto difícil de eliminar es que la aleatorización es un tecnicismo injusto (regresivo). Cuando los recursos de la política son insuficientes para la población objetivo, contemplar algún tipo de mecanismo de asignación aleatoria no necesariamente choca contra criterios de progresividad. Lo que asegura la progresividad de la política es precisamente su definición de la población objetivo. En algunas ocasiones, incluso la aleatorización puede ser vista como un criterio de justicia a los ojos de los potenciales beneficiarios.
Hay diversas áreas de política donde se requieren cambios marginales en forma constante, tales como en la educación, la salud, los programas de asistencia, los servicios básicos (agua, electricidad), el transporte, etc. La inversión en ensayos controlados para el test de esas innovaciones hace más eficiente la implementación reformas futuras. Típicamente es el caso de los programas "piloto". Desde el punto de vista de bien común, existen pocos motivos para no diseñar programas con componentes de asignación aleatoria que permitan analizar su impacto. Aunque ya existen algunas experiencias importantes en Uruguay, son aún muy escasas.
Todo esto no debería sonar como un debate tecnicista, sino como un tema relevante para la rendición de cuentas a los ciudadanos. En la era de "big data" no solo importa el acceso inmensas cantidades de datos desagregados sobre la gestión del gobierno, sino también a información creíble y precisa sobre sus logros.