Artículos

Encuestas electorales: instrumentos de información que pueden fallar

Por Pablo Valenzuela

Las encuestas de opinión y electorales se han transformado en verdaderos mapas de la realidad tanto en Chile como a nivel internacional. Su realización periódica nos permite conocer el comportamiento y las actitudes de ese agregado al que llamamos opinión pública. Sin embargo, en el último tiempo las encuestas han ido ganando relevancia en la discusión pública, generando lo que podríamos llamar un clima de encuestas permanentes.

Esta situación ha sido creada por al menos dos factores. En primer lugar, las elecciones con voto voluntario, las reformas políticas recientes (como el cambio al sistema electoral binominal) y la consolidación de nuevos actores ha generado un mayor grado de incertidumbre respecto al resultado de las elecciones, con la consecuente mayor demanda de información que permita conocer los cambios de ánimo que la opinión pública ha experimentado y cómo se podría enfrentar a los nuevos incentivos. En segundo lugar, fruto de lo anterior, han aparecido algunas encuestas nuevas que buscan satisfacer esta demanda de información constante: Criteria Research, Plaza Pública CADEM, entre otras de menor impacto público. Se sumaron a las ya conocidas CEP y CERC-MORI.

Los medios y la opinión pública en general se vieron envueltos de pronto en un mar de números y datos, algunos bastante disimiles entre sí, sin una capacidad para analizar de forma rigurosa la metodología y los resultados de los estudios. Tampoco se han considerado las limitaciones de cada encuesta a la hora de informarlas. Las más sofisticadas son aquellas con representación nacional, con entrevistas cara a cara y probabilísticas. Sin embargo, incluso estas encuestas de la forma en la que se hacen en Chile presentan limitaciones para hacerse cargo del escenario político y, más aún, del pronóstico electoral.

El problema del votante probable

En un escenario de voto voluntario ocurre que las encuestas deben obtener submuestras capaces de representar a aquellos electores con más probabilidades de ir a votar: los votantes probables. La construcción de estas submuestras no es sencilla pues, en primer lugar, la muestra de votantes probables puede tener una composición muy diferente a la del total de la muestra y no basta entonces con que la muestra total de la encuesta sea representativa de todo el país, se requiere que las submuestras de votantes probables efectivamente sean representativas de los electores que van a sufragar.

En segundo lugar, para obtener submuestras de votantes probables más precisas es fundamental aumentar el tamaño de las muestras totales. Si consideramos que la participación electoral en Chile bordea el 50%, se una muestra de 1200 casos las muestras de votantes probables rondarían los 600 casos, lo cual es un número pequeño que hace que las predicciones electorales sean más imprecisas. Eso fue precisamente lo que vimos en la elección pasada: la muestra de votantes probables de la última encuesta CADEM publicada el 3 de noviembre de 2017 fue de 796 casos (el 48% de una muestra de 1423 casos) y en el caso de la CEP de septiembre-octubre fueron 626 casos (el 44% de una muestra de 1424 casos). La encuesta CERC MORI de septiembre no explicita el número de casos de la submuestra de votantes probables publicando escenarios sobre la base del total de electores (algo metodológicamente discutible pues las conclusiones de una encuesta se obtienen a partir de la muestra y no del total de electores). Sabemos sin embargo que la CERC MORI entrevista a 1200 personas y en su encuesta de septiembre vaticinó que participarían el 45% de los votantes, lo cual da una submuestra de 540 casos.

El costo de mejorar la metodología

Naturalmente aumentar el número de casos de las muestras acrecienta el costo de aplicación de los estudios, y muchas veces las empresas encuestadoras no están en condiciones de hacer frente a este upgrade. Pero eso se puede resolver aplicando cuestionarios más acotados. Si uno evalúa los cuestionarios que se publican (CEP lo ha hecho desde siempre y CADEM empezó a publicar el cuestionario desde principios de diciembre) abordan una gran cantidad de temas de opinión pública, actitudinales e incluso valóricos. En el caso de otras empresas, como CERC MORI, ni siquiera conocemos los cuestionarios, pero la extensión de los informes hace presumir que también se trata de temarios demasiado extensos que incluyen incluso presuntas acerca de la dictadura de Pinochet (y quizás cuántos otros que no se publican). No digo que estos datos no sean valiosos, pero dada la naturaleza de las elecciones y la mayor sofisticación metodológica que requiere realizar un pronóstico electoral, parece conveniente separar los estudios de opinión pública de aquellos que enfocados específicamente en pronosticar el resultado de la elección.

El costo asociado va acompañado también de los objetivos que tienen las encuestadoras en Chile, una especie de agenda oculta de la que se valen para ganar prestigio. Y con esto no me refiero a una agenda política (que ciertamente los encuestadores tienen) sino una agenda comercial. Varias de ellas buscan usar sus aciertos en elecciones presidenciales no sólo como forma de validar externamente sus estudios y decir que sus formas de trabajar permiten aproximarse a la realidad, sino que las utilizan como un activo, una especie de goodwill no contabilizado que les ayuda a adjudicarse estudios, licitaciones y proyectos y mantener la empresa encuestadora andando cuando no hay elecciones. Recordemos que la mayoría de las encuestadoras en Chile son empresas, no son instituciones de investigación académica en opinión pública ni están vinculadas a universidades o redes internacionales de estudios de opinión. Solo el CEP tiene una dimensión más académica en su trabajo, aunque ha sido cuestionado por su vinculación con el mundo empresarial.

Del universo de encuestas de opinión que hay en Chile, sólo las encuestas de la UDP y la Bicentenario de la UC están radicadas en universidades, aunque dados sus objetivos se realizan una o dos veces al año. Existen otras encuestas de opinión sobre temas específicos, como la sección chilena de la encuesta Las Américas y el Mundo, que se realiza desde el Instituto de Estudios Internacionales de la Universidad de Chile. Esta falta de interés académico genera también que enormes cantidades de datos se pierdan o queden almacenados por siempre en bodegas o discos duros, ya que una vez que la encuesta se publica y los medios la difunden, la base de datos se archiva y no se usa para publicar nuevas investigaciones y, peor aún, los datos ni siquiera se ponen a disposición del público o de los investigadores. Nuevamente, sólo el CEP ha avanzado más en este aspecto.

Un ejercicio de transparencia

Mucho se ha hablado de la necesidad de adecuarse a estándares internacionales o de establecer una sociedad de pares en Chile que pueda evaluar la calidad de las encuestas. Sin embargo, sin perjuicio que sería positivo que existiera una sociedad chilena de investigadores de opinión pública, hay que recalcar que los estándares existen. Es cosa de entrar a la web de cualquier asociación internacional de estudios de opinión, como AAPOR (asociación estadounidense de estudios de opinión), WAPOR (asociación mundial de estudios de opinión) o ESOMAR (sociedad europea de estudios de opinión e investigación de mercados) para encontrar estos estándares. Por ejemplo, AAPOR señala que la publicación de un estudio debe contener al menos lo siguiente:

  • Número total de encuestados que respondieron la encuesta.
  • Institución que encargó la encuesta.
  • Institución que condujo la encuesta.
  • Marge de error de los resultados.
  • El fraseo de las preguntas que se aplicaron.
  • La manera en la que se definió la población.
  • La forma de recolección de los datos.
  • Tiempo de trabajo de campo
  • Tasa de respuesta

Adicionalmente, para la evaluación de pares es fundamental la publicación de la base de datos de los resultados y del cuestionario. La literatura indica que el orden y el fraseo de las preguntas bien puede alterar las respuestas o que incluso cuestionarios pobremente diseñados podrían alterar otros parámetros del estudio, como la tasa de respuesta, generando así sesgos al interior de la muestra. Algunas encuestas invierten aleatoriamente el orden de las alternativas en algunas preguntas del cuestionario, de manera que el sesgo que puede producir el orden de alternativas sea controlado por aleatoridad.

La publicación de la base de datos tiene un doble beneficio. Por un lado, permite controlar la calidad del dato por actores externos a la institución encuestadora, pudiendo replicar los cruces y análisis que usualmente se presentan en los informes. Esto permitiría, por ejemplo, controlar aquellas encuestas que hemos visto que suman más de 100 sin explicación aparente o probar la tesis que aparecen en los informes que se publican o incluso saber cómo se llegó a ciertas conclusiones a partir de los datos. Por otro lado, esto permite a las comunidades especializadas hacer nuevos análisis, poniendo en valor el conjunto de datos que se ha publicado.

El rol de los medios de comunicación

Los medios de comunicación están jugando un rol de caja de resonancia de las encuestas. No están cumpliendo un papel de evaluadores de la calidad de los datos que se publican y publican de la misma manera encuestas probabilísticas de alcance nacional y presenciales (como la CEP) con encuestas no probabilísticas, telefónicas o por puntos de afluencia y que no representan a toda la población, como la CADEM.

No digo que una sea mejor que la otra, sino que ambas son encuestas de naturaleza distinta y el diseño de cada una responde a objetivos de investigación diferente, por lo tanto, no se vuelven comparables. Ciertamente una encuesta que se hace cada tres o cuatro meses evalúa actitudes u opiniones de largo plazo en la ciudadanía; mientras que una encuesta semana (o un track poll) lo que busca es ver el efecto coyuntural de ciertos hechos en la opinión pública sin intentar indagar en actitudes de largo plazo. Encuestas como la Plaza Pública CADEM son muy útiles, por ejemplo, para evaluar el efecto de debates o de campañas, pero menos útiles para evaluar la valoración de la democracia.

En ese sentido, es fundamental que los medios de comunicación a través de los cuales las encuestas se dan a conocer a la opinión pública expliciten las ventajas, limitaciones y características de cada encuesta, de manera que el público pueda tomar la decisión acerca de cuál encuesta prefiere. Salir de la cobertura al estilo carrera de caballos (o horse race) es parte de este mejoramiento en la relación entre medios y encuestadoras. No basta, en el caso de una encuesta electoral, informar quién va adelante o quién va a atrás, quién ganó y quién perdió, sino que también informar sobre dónde se concentran los electores de cada candidato, los temas o aptitudes que la opinión pública valora de cada candidato, etc. Asimismo, es necesario complementar la cobertura cuantitativa proveniente de las encuestas, con reportes people-on-the-street acerca de los temas de las encuestas de opinión.

Un mundo por avanzar

Las encuestas en Chile están en un estadio de desarrollo menor al que tienen en otros lugares. En la práctica nuestras encuestas llevan aproximadamente 30 años de desarrollo profesional y competitivo, con algunos antecedentes muy limitados antes del quiebre de la democracia, me refiero con esto al trabajo de Eduardo Hamuy que nos permite conocer en parte el clima de opinión del Chile de los años 60.

Sin embargo, esto mismo hace que quede mucho por avanzar. Es cierto que existen criterios y estándares conocidos y testeados por las disciplinas más próximas a las encuestas: la ciencia política y la sociología, fundamentalmente (pues vale decir que no existe nada parecido a la “encuestología”). Sin embargo, es necesario ir conociendo cómo se comporta la opinión pública local ante las encuestas y cómo se desarrollan nuevos estándares para nuestra realidad particular. Durante cerca de 20 años el pronóstico electoral en Chile era relativamente sencillo, pues el cuerpo electoral era relativamente homogéneo. Eso cambio y ya las cosas no pueden seguir haciéndose como antes del 2012, independiente de los aciertos que haya habido entre 1988 y 2010.

Es cierto que las encuestas se pueden validar con los resultados electorales, pero ¿qué ocurre si una encuesta decide no realizar pronósticos electorales? ¿son males encuestas? Por supuesto que no. Los resultados de las elecciones son una forma externa de validar una encuesta, pero existen muchas formas de validación interna que se desprenden del propio diseño de los estudios: tamaño de muestras, representatividad, aleatoridad, reducción de sesgos, elaboración de cuestionarios, etc.

Hoy es la propia opinión pública la que demanda no sólo altos estándares metodológicos (pues esto queda más bien en la esfera de las comunidades especializadas), sino que también se demanda transparencia y garantías de independencia.

Las encuestas fallan

Las encuestas son instrumentos falibles. Existen fallos famosos en la historia de los estudios modernos de opinión, como el de 1948 en Estados Unidos o el de 1992 en Reino Unido. Estos fallos en los pronósticos, pese a lo graves que han sido, no han matado el desarrollo de las encuestas, por el contrario, han permitido conocer sus debilidades con mayor precisión y perfeccionarlas. Eso es lo que se debe hacer en Chile después de esta elección y para ello se requieren pasos no sólo en cuanto a la transparencia metodológica de las encuestadoras (para permitir una adecuada evaluación de pares) sino que también en la rigurosidad de los estudios y su adecuación a estándares internacionales de reconocida calidad, como los de WAPOR o AAPOR (que aun con lo exigentes que son han mostrado errores). En un proceso casi darwiniano, las empresas que no logren ponerse al día en los nuevos estándares van a tener que abandonar el mercado y dar lugar a que otros actores, con mayor capacidad de actualizar sus métodos, ocupe su lugar. En ese sentido, pese al error en el pronóstico de la encuesta CADEM en primera vuelta, es valorable que en la entrega posterior a la elección hayan dado un paso publicando la base de datos y el cuestionario que aplican. Así es como se logran mejoras continuas.

 Los medios de comunicación y actores políticos y sociales también deben tomar las encuestas también como lo que son: instrumentos de información, no oráculos, no bolas de cristal, sino que formas de informar a la ciudadanía y reducir los grados de incertidumbre a la hora de tomar decisiones. Así las encuestas seguirán siendo un instrumento para la conocer el funcionamiento de nuestra democracia, con mejores datos y en definitiva mucha mejor información.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s