A mi no me encuestaron*

Un libro sobre estadística que llego hace un tiempo a nuestras manos comenzaba diciendo “Las personas hablan en español y mienten, aun así nadie dice “el idioma español miente”. Algo similar planteaba el viejo de J.P. Damiani al decir “Los números no mienten, pero los mentirosos hacen números”. Sin embargo, es muy común escuchar “las estadísticas mienten” y que nadie se de esta contradicción. En este sentido, el último domingo de octubre nos dejó varias cosas, algunas novedosas, otras simpáticas y algunas preocupantes. Selfies, caricaturas de los actores políticos, comunicadores y el gaffé de las encuestadoras fueron las novedades de este acto eleccionario… nos hizo acordar un poco a cuando leímos por primera vez el prólogo del libro de estadística.

Este artículo intenta simplemente articular algunas de nuestras opiniones -y discusiones- en torno a estos episodios. Si bien existen cientos de diversas puntas para tocar sobre la temática[1], sepa disculpar el lector que nos centraremos sólo en unas pocas que nos parecieron relevantes y –creemos- aún no han sido discutidas hasta la fecha.

Un poco de palos de todos lados…

La diferencia entre las encuestas realizadas semanas antes del sufragio, las distancias entre las proyecciones de escrutinio y el resultado final, han sido todos temas de debate candentes, muchas veces más fanatizados que racionales, otras más teóricos que empíricos o prácticos. Desde muy diversos bandos, todos se suben al bote a pegarle a las encuestas. Al punto tal que el Frente Amplio ha manifestado que piensa en regular las encuestas en el próximo período y hasta algunas encuestadoras -como Factum- parecen estar de acuerdo con esta “ley de encuestas”.

Algunas veces las voces que se han alzado en contra del desempeño de las empresas provienen de personas de las cuales haríamos bien de sospechar su idoneidad para opinar sobre el tema (el lector puede perfectamente hacer lo mismo sobre la nuestra, he aquí el problema de caer en el ad hominem), mientras que otros introducen teoremas, formulas y leyes estadísticas que –más que nada- tienden a alienar al lector, aparentando un exceso de idoneidad (que quizás no sea tan pertinente al campo de las encuestas como al de la matemática estadística). 

Si hacemos un poco de memoria recordaremos que la interpelación al desempeño de las encuestas tuvo un primer empuje durante las internas con frases de presidenciables como el título con el cual adornamos esta nota. Las variantes de este tipo de frase pueden señalar diversas cosas: deslegitimar resultados negativos, intenciones políticas para evitar la influencia de los resultados de encuestas en la opinión pública (se crea o no en la legitimidad de las mismas), entre muchas otras. Sin embargo, a nuestro entender existe un factor de fondo que se encuentra detrás de todas las anteriores al mismo tiempo: la falta general de alfabetización estadística; y lo que es aún más preocupante, de periodistas y políticos.

Encuestas Vs. difusión

Descartando de pleno los argumentos político-conspiratorios (siempre el que se ve desfavorecido es el que canta primero), existen algunos cuestionamientos un tanto más interesantes para discutir. Comencemos por la idea de que existe una necesidad de regular las encuestas como forma de evitar su influencia en la opinión pública. Para ponerlo sucintamente, regular las encuestadoras tiene similar utilidad social que regular la receta de las masas de pizza usadas en el país. ¿Qué queremos decir con esta comparación (bien burda)? Las encuestadoras son empresas privadas que trabajan a demanda de un número –generalmente reducido- de clientes. En caso de regular a las encuestadoras estaríamos reglamentando este tipo de trabajo. La publicación de resultados -y similares- es otra cuestión muy distinta que más que a las consultoras refiere a los medios de comunicación (prensa, TV, Radio, Internet) y lo que éstos deciden publicar de las encuestas en sí[2].

En otros términos, si el miedo existente refiere al efecto de las encuestas en la opinión pública, a quién deberíamos regular es a los medios y/o quienes deseen revelar la información de las mismas; la divulgación de los resultados no se encuentra obligada por ningún órgano a la fecha. Volviendo sobre la pizza, por lo menos la regulación de las recetas de muzzarela nos garantiza que las mismas tengan piso y afecta directamente a un número enorme de consumidores que pagan por ellas, eso parece ser bastante importante. 

La teoría del consejo de encuestadoras 

Hay otros que sostienen que no son los partidos políticos los que conspiran, sino una suerte de oligopolio de las empresas consultoras al desear mantener su poder mediante la influencia en la opinión pública; váyase a saber para qué. Por más que como seres humanos tendamos a encontrar historias y anomalías donde sólo hay azar, existen diversos elementos que hacen que caer en este tipo de conspiración sea mucho menos razonable que pensar en la existencia de errores (en el muestreo, relevamiento o ponderación) que afectan a la mayoría de las empresas consultoras. 

Más allá de que las encuestadoras existen hace varios años y han trabajado con gobiernos de diferentes partidos, su principal fuente de ingresos no son las elecciones sino todo lo que viene en el medio. Las elecciones se realizan cada cuatro años, mientras entre uno y otro acto eleccionario éstas deben seguir generando ingresos, más que nada prevenientes del sector privado. Sucede que la principal herramienta que tienen para atraer clientes en este –su principal- mercado es el prestigio. No resulta racional que las empresas pongan a la venta su tesoro más preciado (su efectividad a la hora de hacer encuestas y/o acercarse a una imagen similar a la realidad a través de la investigación social aplicada); quizás todo lo contrario: las elecciones sirven de una suerte de “vidrieras”, donde deben mostrar su mejor producto para venderse en el período siguiente. Operar políticamente va en contra de sus intereses principales: los económicos. 

Los sabios matemáticos

En tercer lugar tenemos a los argumentos que se basan exclusivamente en postulados de ciencias formales. Al menos dos ingenieros (nótese: profesionales que no provienen del campo de las ciencias sociales) han esgrimido argumentos matemáticos sobre la inviabilidad de los resultados de las encuestadoras en base a leyes de la estadística (ver Números finos del Ing. Mordecki y Urna para todos referido a una demanda con más tintes conspiratorios propuesta por el Ing. Elices). 

Sucede que las encuestas no son instrumentos de ciencias teóricas o formales en las que luego de aplicar fórmulas matemáticas nos encontremos con una réplica exacta de la realidad. Las encuestas son una forma de aproximarse, o quizás mejor, de tomar una foto de la realidad en X momento. Basta con nociones básicas de metodología, epistemología social o salir al campo una sola vez, para entender el error en el que caen estos ingenieros.

Por muchos motivos (que quizás sí convendría que las encuestadoras explicitaran), las encuestas no son una foto perfecta. Siguiendo con esta metáfora de la foto, tal cual como cualquier medio de captura, tienen imperfecciones y distorsiones, producto de diversos factores (defectos en el lente, estabilización de la imagen, cuestiones vinculadas a la iluminación, etc.). Podríamos preguntarles a estoy ingenieros cómo hacen las cámaras digitales para mejorar la calidad de las imágenes que capturan y, si creen que las compañías que compiten en este campo deberían –y aceptarían- hacer públicos los diferentes algoritmos de mejora de imagen. Sucede que los defectos en las cámaras digitales, por más complejos que sean, palidecen ante la cantidad de factores intervinientes que en una técnica de recolección social como la encuesta. Existen cientos de variables que pueden afectar la calidad de las mismas que van mucho más allá de errores de muestreo[3].

Asimismo, numerosos otros factores sociales y psicológicos pueden hacer que la distorsión en la respuesta sea relativamente sistemática o corregible mediante teoría y experiencia: votantes de X partido tienden a esconder sus opiniones mientras los de otros no, ciertas creencias tienden a guardarse por cuestiones culturales, en determinados barrios es más sencillo hacer encuestas que en otros, etc.

Sucede que, como ya adelantamos, las encuestadoras poseen modelos para intentar corregir los factores antes mencionados, que se basan en resultados y experiencias pasadas: estos son en realidad uno de sus mayores activos. El problema es que cuando determinados comportamientos o variables macro cambian[4] los modelos pueden perder su eficacia.

De todas formas, volviendo a la metáfora de la foto, sin estas correcciones (una de las funciones de la ponderación, no la única), es probable que en la gran mayoría de los casos los resultados se encuentren más alejados de la imagen real, que si no se los usara. Es como quitarle las mejoras de procesamiento de imagen a sus cámaras de teléfonos inteligentes, si su dispositivo lo permite hagan la prueba. 

Ok, regulamos las encuestas…¿y qué pasa con todo lo otro?

Por último, más que un cuarto argumento, planteemos una situación hipotética: efectivamente se regulan las encuestas, aumenta su costo y disminuye su uso (algo razonable), mientras que podría ser que poco a poco las encuestadoras pierdan legitimidad. Bajo este escenario, ¿qué hacemos con los otros intentos de "fotos" de la realidad que tienen todavía menores bases empíricas? ¿O las que son productos lisos y llanos de opiniones o retórica de expertos y pseudo-expertos? ¿No deberíamos regular a estos “formadores de opinión” también? ¿No se incrementarían enormemente sus chances de influenciar a la opinión pública poseerían? En otros términos, la estrategia de regulación puede sonar muy razonable al inicio, pero sus consecuencias podrían ser aún más nefastas tanto para quienes temen a la influencia en la opinión pública como para los que se preocupan de tener imágenes relativamente acercadas a la realidad social.

Una alternativa a legislar: certificar calidad y asegurar replicabilidad

Si los errores de las encuestas son de índole técnica, ya que es claro lo inverosímil de imputarles intencionalidad, ¿cómo el legislar soluciona esos problemas? ¿Es una cuestión de corregir las fórmulas que utilizan? ¿Trae la muestra perfecta la ley? ¿Dotará de ponderadores infalibles? ¿O acaso obligará a los directores a realizar cursos intensivos de métodos cuantitativos avanzados? No dude en comentar que otro efecto fantástico traería la ley.

Deseamos enfatizar que no nos estamos parando en un rincón corporativista y defendiendo a ultranza la no regulación de nuestra actividad profesional. Muy por el contrario, quienes escribimos el presente artículo estamos interesados en la calidad de la producción, tanto nuestra como la de nuestros colegas; fuera por nuestra propia legitimidad profesional, como por la preocupación de contar con una producción nacional científica útil y de calidad. 

En consecuencia, una externalidad positiva de este debate –creemos- sería comenzar a discutir otro tipo de aspectos, como una certificación de calidad a la producción de encuestas, pero no solo las realizadas por las consultoras sino también de la academia, gobierno y sociedad civil. Hasta quizás también sea necesario incluir buenas prácticas en la difusión de resultados (p.ej. cómo presentar la información. En otros término, algo similar a un sello ISO pero del proceso completo. Mientras que en gran parte del mundo desarrollado las nociones de replicabilidad, ciencia abierta y datos abiertos forman parte de cualquier trabajo vinculado a la recolección, procesamiento y análisis de datos[5]; en nuestro país este debate- en nuestra opinión mucho más útil y necesario- no se encuentra siquiera en la agenda de los colectivos que agrupan los distintos colegios asociados a las Ciencias Sociales. Aún para quienes piensen que la legislación es un camino sensato a seguir, todavía queda un largo trecho previo de discusiones y debates sobre este tipo conceptos antes de que sea razonable pensar en introducir este tema en el parlamento.

*Este artículo fue escrito en conjunto por Pablo Menese, Aldo Luissi y Matías Dodel

---

[1] Ver los otros dos artículos previos en este mismo blog: Contra la “Opinión Pública” de Guzmán Castro y Un Uruguay irreal de Aníbal Corti

[2] Entre otros, el tipo de rigurosidad/información que les exigen a las encuestadoras para “poder publicar sus resultados”

[3] Entre otros, la calidad de los encuestadores (el rapport con el encuestado y su habilidad para seguir las pautas) afectan los resultados de las encuestas, también el momento del año en que se realizan, que no sea obligatorio responderlas ni terminarlas, eso descontando la malicia de posible empleados (aspecto que las consultoras sí controlan y muy eficazmente).

[4]  A modo de ejemplo, no es difícil imaginar que en la elección pasada  los votantes colorados escondieran sus votos en ciertos contextos socioeconómicos, mientras que en esta elección el clima electoral previo  haya hecho que ciertos votantes frenteamplistas tampoco desearan manifestar públicamente su preferencia electoral.

[5] Entre otros ver: https://www.coursera.org/course/repdata