Descripción
¿Quién es quién en las encuestas?
Leo Zuckermann
Las encuestas, los medios masivos y las redes sociales son tres de los escenarios clave donde se librará la batalla por la opinión pública en las elecciones de 2012. Leo Zuckermann ofrece aquí un primer ranking de aciertos y resultados de las casas encuestadoras más visibles de México. Raúl Trejo Delarbre explora las condiciones impuestas a los medios por la nueva legislación de 2008. José Merino esboza la influencia de las redes sociales como instrumento emergente en la creación de opinión pública
La “guerra de las encuestas”
Dos semanas antes de la elección de gobernador de Michoacán, Joaquín López-Dóriga entrevistó en Radio Fórmula al candidato del PRI. Le preguntó qué opinaba de las encuestas del Gabinete de Comunicación Estratégica (GCE), publicadas en Milenio, que le daban la delantera a la candidata del PAN, Luisa María Calderón, con 37% de las preferencias, seguida por el priista Fausto Vallejo con 22% y ubicando en tercer lugar a Silvano Aureoles, candidato de los partidos de izquierda, con 13%.
Vallejo le respondió: “Inicialmente me daba a mí ventaja, pero no llegamos a ningún acuerdo y obviamente pasó a otros momios a favor de la candidata”. ¿Estaba escuchando bien? ¿El candidato del PRI estaba afirmando que porque ellos no habían llegado a un acuerdo con la casa encuestadora los resultados de la encuesta se habían volteado a favor de la candidata del PAN? Vallejo abundó: “Se acercaron conmigo, me enseñaron las encuestas que ellos traían: llevábamos 10 o 15 puntos arriba. No establecimos el contacto. Sé que establecieron contacto por otro lado, pero a los pocos días habían cambiado totalmente la encuesta que nos habían mostrado”.
Con la expresión “otro contacto”, obviamente Vallejo se refería a la candidata Luisa María Calderón. Según los priistas, GCE ahora estaba trabajando para ella.
No tiene nada de malo que un partido contrate a una casa encuestadora. El problema es que esta misma firma publique su encuesta en un medio y no aclare quién está pagando el ejercicio demoscópico. Peor aún si el que paga es su cliente que aparece arriba en las preferencias. Se trata de una falta de transparencia por parte de la candidata, de la encuestadora y del medio de comunicación.
Pero la implicación de Vallejo era aún más alarmante: como él no había llegado a un arreglo económico con GCE, los resultados de la encuesta habían cambiado a favor de La Cocoa Calderón. De tener arriba al priista, las intenciones de voto se voltearon a favor de la panista. La acusación era gravísima: GCE estaba vendiendo los resultados de su encuesta al mejor postor.
Al día siguiente, en el noticiero de José Cárdenas en Radio Fórmula, el director general de GCE negó que su encuesta estuviera “cuchareada”. Explicó que la ventaja de la panista se debía a “la habilidad con la que se condujo después del debate entre los aspirantes a la gubernatura” y a que el priista no había acudido a otro debate. Remató diciendo que Vallejo negaba los resultados porque “es común que los candidatos desaprueben una encuesta cuando ésta no les favorece”.
Días antes de la elección Reforma publicó en su primera plana otra encuesta bajo el título “Remonta PAN en Michoacán”. Luisa María Calderón aparecía con 39% de las preferencias y Vallejo en el segundo lugar con 33%. La panista, al parecer, había venido de atrás si se comparaba su posición con la encuesta que ese mismo medio publicó en septiembre. Sin embargo, en la nota metodológica se informaba que parte de la encuesta se había levantado por teléfono debido al “difícil acceso por causas de la inseguridad. En total se efectuaron 870 entrevistas cara a cara y 150 de manera telefónica”. Dicha información es importantísima porque las encuestas telefónicas en México tienen un sesgo hacia la población más rica, que es la que tiene teléfono, y que tiende a ser más panista. Había que desconfiar, en este sentido, de los resultados de esta encuesta que confinó una información metodológica muy importante en las letras chiquitas.
Ese mismo día, Ulises Beltrán divulgó en Michoacán los resultados de su propia encuesta. De entrada reconoció que los resultados venían del cálculo de cuestionarios levantados en hogares pero “complementados con un tracking telefónico”. La encuesta había sido patrocinada por un grupo de empresarios. Vallejo se ubicaba a la cabeza de las preferencias con 39%, seguido por Calderón con 34% y Aureoles con el 27%.
Hasta aquí llegó la “guerra de las encuestas” preelectorales en Michoacán porque, ridículamente, la ley local prohibía la difusión de resultados de encuestas a partir del viernes 4 de noviembre, es decir nueve días antes de los comicios. ¿A quién, entonces, había que creerle? ¿A los encuestadores que ponían adelante a Calderón, más arriba del margen de error, o a los que ponían a Vallejo?
Una batalla más en la “guerra de las encuestas” se dio la noche de la elección del 13 de noviembre de 2011. En punto de las seis de la tarde los tres candidatos salieron a decir que cada uno de ellos había ganado. Calderón, con base en tres encuestas. Una de una empresa desconocida (Muévete Mercadotecnia Activa), otra propiedad de la estratega de la campaña de La Cocoa (Espacio Muestral) y una tercera que suele trabajar para el PAN (ARCOP). Vallejo se declaró ganador con base en dos encuestas; una de una empresa local del occidente del país (Proyecta) y otra de Ulises Beltrán. Silvano Aureoles, por su parte, dijo que iba arriba, aunque reconoció que dentro del margen de error, en una encuesta de Mendoza-Blanco que suele trabajar para TV Azteca.
Hasta altas horas de la noche ningún medio de comunicación nacional salió con su propia encuesta para predecir al ganador o informar de una elección tan cerrada para determinar al vencedor. Durante muchas horas el anuncio de resultados preliminares quedó exclusivamente en manos de los candidatos que, huelga decirlo, son fuentes poco fiables de información: están dispuestos a mentir para llevar agua a su molino.
Al final, de acuerdo al conteo oficial del Instituto Electoral de Michoacán, Vallejo ganó la elección con 35.44% de los votos. Calderón obtuvo 32.63% y Aureoles 28.81%. Ningún encuestador volvió a hablar ni de sus sondeos preelectorales ni de sus exit polls. A los que se equivocaron nadie les exigió que rindieran cuentas. El silencio privó. Nunca supimos a qué se debieron los errores ni de dónde había salido el dinero para financiar las encuestas.
En ese momento decidí escribir este artículo para promover un debate de quién es quién en las encuestas electorales en México.
El poder de predicción de las encuestas
El valor de las encuestas preelectorales es que predice quién va a ganar la elección. O, para ser más precisos, quién es el que tiene una mayor probabilidad de alzarse con la victoria. Para eso seguimos las encuestas. Los encuestadores, no obstante, suelen curarse en salud. Dicen que ellos miden las intenciones de voto el día en que levantan la muestra. Que es sólo una fotografía de cómo va la competencia no un aviso de cómo terminará. Y tienen razón. Nada asegura que, entre que se tomó la medición y la gente votó, no haya existido un cambio en las preferencias electorales. Esto es particularmente relevante en México donde las distintas legislaciones prohíben que se hagan públicos resultados de las encuestas muchos días antes de los comicios.
En el caso de Michoacán, por ejemplo, la ley permitía la difusión de resultados de encuestas hasta el 3 de noviembre y la elección se llevó a cabo 10 días después. Tómese en cuenta que los encuestadores tienen que ir a preguntarle a los electores algunos días antes de difundir los resultados. Esto quiere decir que, entre que se toma el pulso de lo que está ocurriendo, a lo que finalmente ocurre, pasan muchos días. Días en que los electores pueden cambiar de opinión. De ahí que surja una primera conclusión: es necesario cambiar las legislaciones en México para permitir que se difundan resultados hasta un día antes de la elección. Eso le daría una mayor precisión a las predicciones en las encuestas.
Pero volvamos al asunto de quién es quién en las encuestas. Si uno las sigue es porque quiere saber quién va a ganar. Hace poco, con base en lo que indicaban las encuestas, le gané una apuesta a un amigo comunicador. Cuando me pagó, me reclamó que yo le hacía mucho caso a las encuestas. Le respondí que efectivamente así era porque no había de otra. Si no es con las encuestas, ¿a quién recurrimos para predecir un evento futuro incierto? ¿A Walter Mercado? ¿A lo que dicen los candidatos?
Quiérase o no, en ausencia de un mercado de apuestas (que son el mejor indicador para predecir un evento futuro) el mejor instrumento que tenemos en México para predecir el resultado son las encuestas. Luego entonces, ¿qué tan bien las predicen? A continuación presento un análisis con base en datos de 44 encuestas preelectorales de 17 elecciones de gobernador que se llevaron a cabo en México durante 2010 y 2011.
¿Quién publica las últimas encuestas preelectorales?
Lo primero que hice fue recopilar las últimas encuestas preelectorales que se publicaron antes de las elecciones. Tomé sólo las últimas por una razón obvia: son las fotografías más cercanas a la jornada electoral y, por tanto, las que tienen menos probabilidad de equivocarse por cambios en el tiempo. Algunos encuestadores podrán decir que es posible que en las horas últimas antes de la votación pueda existir una voltereta enorme en las preferencias. Es cierto. Pero también es cierto que esto es poco probable si no hay un evento mayor.
Entre más cerca, la encuesta tiene mayor poder de predicción. Por eso tomé las 44 encuestas más cercanas al proceso electoral de 17 elecciones de gobernador que efectivamente fueron publicadas en algún lado. Huelga decir que recopilar esta información, a posteriori, no fue nada fácil porque, una vez que se lleva a cabo una elección, las encuestas preelectorales pasan al archivo muerto. Los resultados de los datos recopilados y el análisis de éstos los presento en la tabla 1 al final de este artículo.
Ahí se encuentran, en un primer bloque, la fecha y los resultados que reportaron las distintas casas encuestadoras, además del resultado final de la elección. Luego está la diferencia entre el resultado y la encuesta, así como el promedio de error de las dos primeras fuerzas. En el tercer bloque se reporta si la encuesta acertó o no al ganador y, finalmente, en el cuarto bloque está la diferencia entre el primero y segundo lugares de la encuesta y el error que ésta tuvo en la diferencia real que se dio en la elección. Este cuadro presenta de manera desagregada un ejercicio que, me parece, debería ser común y corriente en el mundo de las encuestas en México para ir llevando el récord de predicción de cada una de las empresas encuestadoras.
Es interesante ver quién publica las últimas encuestas preelectorales. Podemos dividirlas en cuatro categorías. Están las encuestas de medios de comunicación, tanto nacionales (El Universal o Reforma) como locales (El Debate o Diario Noroeste). Están las de casas encuestadoras conocidas como BGC, Ipsos y Consulta-Mitofsky. Están las de empresas que típicamente trabajan con partidos y asesoran en estrategias electorales, como ARCOP, GCE y Espacio Muestral. Finalmente, se encuentran casas encuestadoras desconocidas como LEMA o Monitor. En la tabla 2 puede observarse la distribución de las últimas encuestas publicadas.
Tres temas me llaman la atención. En primer lugar, lo poco que aparecen las casas encuestadoras conocidas como BGC, Ipsos o Consulta-Mitofsky. De hecho, no aparecen otras firmas reconocidas como Parametría o Covarrubias. Supongo que esto se debe a lo caro que son las encuestas preelectorales. El encuestador requiere que alguien las financie. Típicamente las financia algún medio de comunicación o los partidos, lo cual, por cierto, no tiene nada de malo. Si un candidato le pide a una empresa que levante una encuesta y arroja un resultado a su favor, tiene el derecho a publicarla, siempre y cuando se informe al público quién puso el financiamiento. Si la encuesta, en cambio, arroja un resultado negativo para el candidato, éste puede guardarla en un cajón y punto. Lo que no se vale, desde luego, es manipular los resultados de las encuestas a gusto del cliente, de lo que precisamente acusó Fausto Vallejo a GCE en el caso de Michoacán.
En segundo lugar destaca la alta participación en últimas encuestas publicadas de firmas que típicamente hacen, además de encuestar, trabajo de estrategia electoral para sus clientes. Son los casos de GCE y Espacio Muestral. Destaca la primera con 13 encuestas, el 30% de todas. Aquí lo que vale la pena es preguntar quién pagó todas estas encuestas. Son muchísimas tomando en cuenta que una encuesta preelectoral de gobernador cuesta muy cara. En aras de una mayor transparencia sería bueno que las casas encuestadoras, que normalmente hacen trabajo de estrategia electoral para candidatos y partidos, le informaran al público quién financió el ejercicio demoscópico. Insisto: no tiene nada de malo que publiquen encuestas financiadas por sus clientes siempre y cuando lo informen con toda claridad.
En tercer lugar, de la tabla 2 se desprende una participación activa de los medios en la publicación de últimas encuestas preelectorales. Es lógico: una encuesta, días antes de la elección, es noticia. En cuanto a la que publican los medios nacionales, destacan Reforma y El Universal con cinco cada una (11%, respectivamente). Llama la atención la ausencia total de los medios electrónicos. Ni las estaciones de radio ni las televisoras publican últimas encuestas preelectorales, lo cual definitivamente contrasta con otros países democráticos. ¿A qué se debe esta situación? ¿Tienen miedo los medios electrónicos a quedar mal con alguno de los partidos políticos?
¿Quién acierta al ganador?
Es inevitable: cuando uno ve una encuesta, busca al posible ganador de la contienda electoral. Ese es el dato principal, con todos sus asegunes metodológicos. En la tabla 3 se presentan los resultados de qué tanto acertaron los encuestadores al ganador.
De las 44 últimas encuestas preelectorales, 32 acertaron al ganador, un 73% de efectividad. GCE, la empresa que más publicó, acertó en 10 de sus 13 encuestas. El Universal tuvo un récord perfecto en la predicción del ganador: cinco de cinco. Reforma, en cambio, le pegó a dos de cinco, una efectividad de 40%. De las cuatro encuestas de Consulta-Mitofsky, erró en una y acertó en tres (75% de efectividad). Espacio Muestral le pegó a dos de tres (67%). El resto de las casas encuestadoras publicaron dos o una. Algunas predijeron al ganador, otras no. Sin embargo, en general, hay un alto índice en la predicción del ganador en las últimas encuestas electorales. ¿A qué se debe esto?
En la tabla 4 presento los resultados de las 17 elecciones de gobernador relacionadas con las últimas encuestas publicadas. Un aspecto salta a la vista: de las 17 sólo tres fueron competencias apretadas, es decir, la diferencia entre el ganador y el segundo lugar fue de menos de cinco puntos porcentuales. Es el caso de Durango, Veracruz y Michoacán donde el PRI ganó por dos puntos porcentuales.
Pronosticar al ganador en una elección que está muy abierta es probabilísticamente más sencillo, como ocurrió en Tamaulipas donde las dos encuestas levantadas acertaron a un ganador que se levantó con la victoria con 31 puntos de diferencia. Pero hacerlo en una competencia con una diferencia de dos puntos porcentuales entre el ganador y el segundo lugar, pues eso ya está más rudo. Lo interesante es que, como puede observarse en la tabla 5, de las dos encuestas levantadas en Veracruz (una de GCE y otra de la desconocida empresa Votia), las dos le pegaron al ganador, aunque pronosticaban un triunfo mucho más holgado del priista Javier Duarte (GCE le daba hasta 18 puntos porcentuales de diferencia).
En Durango se publicó una última encuesta que también le pegó al ganador. Se trató, otra vez, de GCE. Sin embargo, como en el caso de Veracruz, esta encuesta indicaba una diferencia entre el priista Jorge Herrera y el aliancista José Rosas de 15 puntos porcentuales cuando en realidad fue de dos.
El único caso de una elección cerrada donde se equivocaron la mayoría de las encuestas fue Michoacán. Sólo BGC de Ulises Beltrán le pegó al ganador, el priista Fausto Vallejo, aunque en los últimos datos que presentó apuntaba a una diferencia de cinco puntos porcentuales. Las otras tres encuestas indicaron que ganaría La Cocoa Calderón. Reforma la ponía con seis puntos de diferencia, lo mismo que Espacio Muestral. GCE le daba siete puntos. Todas estas erraron. En el caso de GCE, le otorgaba un 16% de las intenciones de voto al tercer lugar, Silvano Aureoles, quien al final tuvo 30% de los votos. En suma, de las cuatro últimas encuestas publicadas, la efectividad en la predicción del ganador fue de tan sólo 25%.
¿Es, entonces, el factor competencia el que determina la probabilidad de que una última encuesta preelectoral acierte al eventual ganador? La respuesta es contundente: no.
La tabla 5 demuestra cómo “el coco” de las encuestas fue el caso de Sinaloa. Ahí el aliancista Mario López Valdez obtuvo 53% de los votos frente al priista Jesús Vizcarra con 47%, una diferencia holgada de seis puntos porcentuales. Y, sin embargo, absolutamente todas las encuestas se equivocaron, como lo demuestra la tabla 6.
Todas estas encuestas ponían en la delantera a Vizcarra. El Debate por cuatro puntos, Reforma por dos, GCE por 10 y Diario Noroeste por seis. Ninguna acertó al ganador, de tal suerte que el error cometido en la diferencia entre el verdadero ganador y lo que ellos reportaron fue de 10 puntos para El Debate, ocho para Reforma, 12 para Diario Noroeste y 16 para GCE. ¿A qué se debió la falta de puntería en Sinaloa?
Podría argumentarse, desde luego, a la lejanía entre la fecha en que se levantó la encuesta y la jornada en que se llevó a cabo la elección. Que esos días, en que hubo veda de encuestas, cambiaron de manera dramática las preferencias. Sin embargo, creo que el fenómeno es más complejo y tiene que ver con la presencia en 2010 de las alianzas antipriistas. Y es que casi lo mismo que sucedió en Sinaloa ocurrió en Puebla, como puede observarse en la tabla 7.
En Puebla, de las cuatro encuestas publicadas, sólo una acertó al ganador. Fue la de GCE aunque con un error de siete puntos en la diferencia entre el primero y segundo lugares. Las que no acertaron fueron las de Reforma con un error de 17 puntos, la de Indicadores con 20 y la de Consulta-Mitofsky con 22. Estas tres encuestas sobreestimaron de manera importante la fuerza del PRI y no vieron la posibilidad de que el aliancista Javier Moreno Valle ganara la elección.
Ahora bien, como puede observarse en la tabla 8, el problema de acertar el ganador se concentró en tres estados de la República: en una de elección competida, como fue Michoacán, y dos donde existió la presencia de un candidato aliancista que aglutinó a las fuerzas del PAN y del PRD en contra del PRI, es decir, Sinaloa y Puebla. Si tomamos estos tres casos, estamos hablando del 83% de todas las encuestas que no acertaron al ganador. El resto de las encuestas que no le pegaron al triunfador fueron una de ARCOP, que suele trabajar para el PAN, en Nayarit, donde ganó el PRI, y otra de GCE, que suele trabajar para el PRI, en Oaxaca, donde triunfó Gabino Cué con una alianza de todos los partidos en contra del PRI.
Los errores
Una cosa es acertar al ganador, otra son los errores de la diferencia entre el primero y el segundo lugares reportado en la encuesta y lo que realmente sucedió en la elección. Como puede apreciarse en la tabla 9, el error promedio de las 44 encuestas aquí analizadas es de 8.8 puntos. La encuesta de Síntesis en la elección de Tlaxcala reportó una diferencia de siete puntos porcentuales entre el candidato que efectivamente ganó y el que quedó en segundo lugar. La diferencia en la elección fue de ocho puntos, es decir, la encuesta falló por un punto.
En el otro extremo está la encuesta de Indicadores, en Puebla, que no sólo falló en acertar al candidato ganador que ganó por 10 puntos porcentuales, sino que reportó al candidato que quedó en segundo lugar 10 puntos arriba; equivocación de un total de 20 puntos porcentuales. A todas luces una pésima encuesta.
Pero obsérvese en la tabla 9 que hay ocasiones en que los encuestadores aciertan al ganador pero sobreestiman su ventaja. Es el caso, en general, de las 13 encuestas de GCE que, sumadas, tienen un promedio de error de 13 puntos porcentuales en la diferencia entre el primero y segundo lugares. Por ejemplo, en la elección de Hidalgo, el candidato del PRI le ganó a la candidata aliancista por seis puntos porcentuales. GCE acertó al ganador, pero en su última encuesta dijo que la diferencia era de 26 puntos porcentuales. Erró en 20 puntos.
Menciono esto porque, aparte de acertar al ganador, una encuesta que predice bien también tiene que adelantar de manera precisa la diferencia con la que el ganador triunfará sobre el segundo lugar. Es una variable más que hay que tomar en cuenta cuando se evalúan las últimas encuestas preelectorales.
Una propuesta de calificación
En México tenemos una industria de las encuestas de clase mundial. Lo que nos falta es la evaluación de los distintos encuestadores por parte de la sociedad. Después de ver lo que sucedió en Michoacán, y la creciente importancia que están teniendo las encuestas electorales en el mundo de la política, creo que ha llegado la hora de que alguien lleve el récord de los encuestadores y desarrolle indicadores independientes para calificar su trabajo. De esta forma los electores, cuando veamos una encuesta, sabremos si creerle o no al encuestador en cuestión.
En la tabla 10 presento una propuesta de calificación para encuestadores. Precisamente utilizo las tres variables antes mencionadas:
1. En primerísimo lugar si aciertan al ganador. Ésta debe ser la variable central. Los electores queremos ver encuestas para tener esa información. Luego entonces, en la calificación que propongo habría que darle el peso mayor. En el ejercicio que presenta la tabla 10 le he dado un peso de 65% a esta variable.
2. La segunda variable es cuántas últimas encuestas publicó el encuestador. Creo que hay que premiar a los que más publican por el riesgo que toman. De las 44 encuestas que analicé, 13 fueron de GCE (30%). A esta empresa, por tanto, le di la calificación mayor en esta variable que, en el ejercicio de la tabla 10, le asigné un 19% para el cálculo de la calificación final. GCE, luego entonces, recibió 1.9 para su calificación final. Las firmas que sólo publicaron una recibieron 0.146 puntos.
3. La tercera variable tiene que ver con los errores en la diferencia entre el primero y segundo lugares. Aquí le asigné un peso de 16% para la calificación final y, en aras de simplificar el cálculo, la encuestadora que tuvo el menor error (Síntesis) obtuvo la calificación mayor, es decir, 1.6 puntos para su calificación final, y así en orden descendente hasta llegar a la que presentó más error (Indicadores) que se quedó con un cero.
Me queda clarísimo que se trata de una calificación donde yo he decidido darles cierto peso al trabajo de los encuestadores (65% si aciertan al ganador, 19% entre más publiquen encuestas y 16% entre menos errores cometan entre el primero y segundo lugares en las competencias electorales). Algunos podrán argumentar que se trata de una medida arbitraria, pero me parece un buen comienzo para calificar a los encuestadores.
La tabla 10 presenta el quién es quién de los encuestadores. 11 obtienen una calificación aprobatoria. De las conocidas, destaca el caso de El Universal, que publicó cinco encuestas donde atinó a todos sus ganadores y con errores por debajo de la media de los 44 sondeos analizados. Seis encuestadoras reprobaron. Destaca el caso del periódico Reforma que, al igual que El Universal, publicó cinco encuestas pero sólo le atinó a dos ganadores y con errores en la diferencia entre el primero y segundo lugares por arriba del promedio de todas las encuestas.
Ahí está, pues, una primera medición de quién es quién en las encuestas en México.
Lo que sigue
La intención de este artículo es comenzar un debate acerca de la transparencia y la rendición de cuentas de los encuestadores en México. Sé que a algunos de ellos les disgustará el análisis aquí presentado. Espero, sin embargo, que propongan alternativas para medir la efectividad en la predicción de las encuestas preelectorales. Bienvenidas sus propuestas. Espero que sea rápido porque, no sé usted, pero yo creo que en México llegó la hora de conocer con precisión quién es quién en las encuestas.
Leo Zuckermann. Politólogo. Profesor afiliado de la División de Estudios Políticos del CIDE. Columnista de Excélsior y conductor de Es la hora de opinar en FOROtv.
