¿Son precisas las encuestas de intención de voto?
Publicado Noviembre 30, 2009 por e-liana
por: Armando Ortuño, PAPEP-Bolivia
Iba a llegar tarde o temprano: la proliferación de encuestas a semanas de la elección presidencial, pero su presentación y análisis apresurado, están generando escepticismo y cuestionamientos crecientes a este instrumento de medición de la opinión pública.
Comienzo manifestando mi confianza en el instrumento, me parece que la encuesta estadística, correctamente diseñada, profesionalmente ejecutada y bien presentada/analizada, nos aporta interesantes APROXIMACIONES a las percepciones y comportamientos de la opinión pública frente a procesos políticos y fenómenos sociales. Insisto, en ningún caso se trata de “predicciones” y/o verdades absolutas.
Dicho esto, es necesario también reconocer que la experiencia de las empresas encuestadoras en Bolivia ha mejorado significativamente en los últimos años. En ese sentido no es justo andar con el cuento de que “siempre las encuestadoras se equivocaron y ahora es igualito o peor”. Ciertamente en la última elección presidencial existieron errores, pero ¿de qué tipo de encuestas estábamos hablando? Revisando la prensa de esos años llama la atención que la mayoría de las encuestas publicadas eran realizadas sólo en las zonas urbanas del país, es decir eran indagaciones cuyo “universo de estudio” representaba sólo al 65% de la población, en el mejor de los casos.
De hecho, las pocas encuestas urbano-rurales realizadas a semanas previas de los dos últimos referéndums se acercaron bastante al resultado final de estos eventos electorales.
En estos meses la mayoría de las encuestas presentadas en los grandes medios de comunicación están siendo realizadas tanto en zonas urbanas como rurales, es decir pueden ser capaces de representar a casi el 100% de la población si su diseño y ejecución son adecuadas. Este es un avance innegable.
Ahora bien, ¿en qué se diferencian las encuestas publicitadas en los grandes medios? Al menos en tres temas críticos: en el tamaño de la muestra que utilizan, en el margen de error estadístico de la muestra nacional y sobre todo en los márgenes de error de las sub-muestras departamentales (que pocos explicitan y que explican en buena medida los malentendidos actuales).
Empecemos por los dos primeros temas y veamos las variaciones en el tamaño de muestra y nivel de error en algunas encuestas publicadas en las últimas semanas de noviembre: IPSOS-ATB (2205 encuestados y +/- 2,1% de error), MORI –Red UNO (1007 y +/- 3,1%), TRACK UNITEL (1598 y +/-2,4%) y CAPTURA (2540 y +/- 2%).
Para los no especialistas: si el margen de error es +/- 2% esto significa que si esa encuesta registra una intención de voto de 20% para un candidato, en realidad esta intención varia entre 18% y 22%. Si ese error fuera de +/- 5%, la intención de voto real variaría entre 15% y 25%. Este error surge justamente por el hecho de que la encuesta no trabaja con la totalidad de la población que pretende analizar, sino con una “muestra”, es decir con una porción representativa de esta población. Por tanto si pudiéramos entrevistar a toda la población, el margen de error muestral sería igual a 0%, pero esto obviamente no es posible.
Mientras la muestra es más grande, menor suele ser el margen de error. En general, encuestas con un error muestral en torno al +/- 2,5% son relativamente buenas. Es el caso de todas las anteriormente mencionadas.
Pero atención, este error se refiere a la “muestra” nacional, es decir a los resultados referidos al conjunto de la población que se quiere analizar, que en este caso serían todos los bolivian@s mayores de 18 años (en edad de votar). Posibles sub-muestras, por edad, clase social o por departamento, tienen errores muestrales diferentes, por lo general más grandes que el “error nacional”. Y justamente ahí esta el problema…..
Comparando los resultados “nacionales” de estas cuatro encuestas, no hay grandes diferencias considerando los márgenes de error: Evo entre 51-52%, Manfred entre 18-21% y Samuel entre 9-13%. Estos parecerían ser ya datos sólidos del comportamiento político de los bolivianos en esta coyuntura….
En cambio, existen grandes variaciones y hasta contradicciones en los “resultados departamentales” desagregados de estas encuestas…. ¿Por qué sucede esto?
Es muy posible que las encuestas con muestras más grandes y menor error muestral “nacional” (como las de CAPTURA e IPSOS), tengan errores superiores al +/- 5 % para las sub-muestras departamentales (por ejemplo si no me falla la memoria, en algún canal observe que CAPTURA declaraba niveles de error cercanos al +/- 8% para Pando y Beni). Imagínense el nivel de error de estas sub-muestras departamentales en encuestas de 1000 observaciones o menos….
¿Esto que significa? Que por razones propias del diseño de estas encuestas es posible que los resultados nacionales de la mayoría de ellas sean relativamente precisos y de hecho, coinciden o están muy cercanos uno del otro. Mientras que sus resultados departamentales son menos precisos, por la sencilla razón de que los errores de sus submuestras regionales superan el +/-6% o incluso se acercan o superan el +/- 10%, que en cristiano quiere decir que un “resultado departamental” de 20% de intención de voto de algún candidato, en realidad estaría fluctuando entre 10% y 30% !!!! Por tanto, las proyecciones de escaños senatoriales y de diputaciones a partir de estas estimaciones deben ser tomadas con mucha cautela…..
Ahora bien y frente a la desconfianza de muchos ciudadanos por estas “contradicciones”, hay alguna responsabilidad en las encuestadoras por permitir que sus datos departamentales se presenten sin advertir lo que implican los elevados márgenes de error en esos niveles de desagregación. Pero también tienen responsabilidad los medios de comunicación por utilizar este instrumento de manera tan poco informada y liviana.
Etiquetas: Bolivia, campaña electoral, encuestas, Gobernabilidad democrática, PNUD
Suscribete
8 comentarios en “¿Son precisas las encuestas de intención de voto?”
Diciembre 1st, 2009 at 4:55 pm
Bueno el artículo y oportuno. Me recordó un programa de tele que vi hace poco, cuyos presentadores insistieron hasta el cansancio en ensayar la asignación de curules a partir de los resultados de una encuesta. El representante de la empresa encuestadora se cansó en aclarar sobre el error a nivel departamental. No le hicieron caso y siguieron mostrando hasta el final las infografías de la posible designación de curules y pusieron a opinar a un montón de analistas sobre esos datos. Es decir, todo un programa se armó a partir de unos resultados que -como dice el artículo- fueron tratados de manera muy liviana
Diciembre 1st, 2009 at 7:28 pm
Muy acertado el artículo.
Diciembre 1st, 2009 at 8:00 pm
Muy bueno el análisis!
Luis
Diciembre 1st, 2009 at 10:23 pm
gracias por este artículo.muy didáctico! ayuda sobremanera a entender qué hay detrás de estas encuestas, cómo se montan y el tipo de análisis que hay que hacer cuando consideramos los márgenes de error. creo que es importante informar sobre estos asuntos y dotar así de mayor transparencia al proceso de elaboración de las encuestas y su posterior análisis.
Diciembre 1st, 2009 at 11:22 pm
Muy interesante artículo nos deja ver el posible margen probable de error de las encuestas y la importancia de tomar en cuenta el dato del error…respecto a la pregunta, me parece que las encuestas son siempre un apoyo importante para los candidatos del “como vamos” o como estamos, o qué podemos hacer para mejorar, más allá del descreímiento ante ellas, de que sean manejadas o inducidas hacia un público en especial para que arroje resultados positivos a quien corresponda, son herramientas importantes, como indicadoras, pero no como definidoras de una posible definición es importante saber que gran parte de la ciudadanía (hicimos una encuesta en clases, con resultados mayores al 60%) decide por quien votar en la última semana (sin especificar el día). De ahí que, qué tan precisas sean deja mucho para pensar, pero que tan útiles son, ni pensarlo, son muy útiles.
Diciembre 2nd, 2009 at 2:01 am
La producción de datos estadísticos en las campañas políticas se enfoca, ante todo, dos aspectos: internamente, se procura obtener una ‘instantanea’ de las tendencias, variaciones e intenciones de cambio de preferencia de ciertas áreas (si es que se ha mapeado cuidadosamente y se ha generado información al respecto). Externamente, se procura producir un efecto en la ‘opinión publica’ (concepto al que personalmente siempre le escapo) que incline favorablemente a aquellos que están aún indecisos.
Lo peor que un equipo de campaña puede hacer es mentirse a sí mismo sobre el resultado de una encuesta seria y confiable. No tengo argumentos para juzgar la confiabilidad de las encuestas mencionadas, lo que si estoy convencido es que la generación de información cuesta dinero y alguien tiene que pagar por ello.
Diciembre 9th, 2009 at 6:03 am
Al respecto de los comentarios de Pablo: Ciertamente las encuestas pueden ser en si mismas instrumentos para intentar influir en la decisión (con fenomenos como el llamado al “voto util” por ejemplo), aunque hay que tener cuidado, no hay mucha evidencia empírica al respecto, la mayor parte de evaluaciones concluyen en que las decisiones del elector se refieren a múltiples factores, el “dato” de una encuesta es apenas uno de ellos, al limite lo más que logran es consolidar/reforzar cierta “opinión” y orientación que la persona ya tenía. Para mi, las encuestas son más bien utiles para lo primero: como instrumento interno de exploraciòn y evaluaciòn del comportamiento de los ciudadanos.
Diciembre 18th, 2009 at 1:43 am
Se han olvidado comentar de la encuesta del Vicepresidente Garcia Linera, que declaro (en Canal 7) que ellos habian hecho una encuesta de 12.000 entrevistados. No les parece que todo un matematico diga semejante idiotez?. Cualquier estadistico les diria que en promedio lo que se estila encuestar es a 3.000 peronas a nivel nacional y eso se lo calcula con formulas matematica para grandes muestras, con un error de 5% y confianza del 95%. A partir de ahi se puede ir mejorando la confianza y el error muestral. Pero sacar 12.000 encuestas es algo tan estupido como comprar un camion cuando lo que pretendes es llevar a tu famila de 5 personas a dar un paseo. Lo primero que a uno le enseñan cuando estudia estadistica es que las encuestas cuestan, un promedio de 1 dolar por encuesta, y aqui se aplica el concepto de “la economia de adquirir informacion” es decir que hay que optimizar el “costo / beneficio” y no derrochar o mucho menos restringirse en la muestra a ser analizada.
Si de la misma forma se gasta los recursos del Estado, pobre Bolivia.
Por otra parte lo que generalmente falla es el marco conceptual mismo del trabajo de campo, es decir que se deberia entrevista a todo boliviano mayor de 18 años, pero ademas “solo” a aquellos que estan “inscritos en el padron electoral” y que ademas tienen intension de “ir a votar” el dia de las elecciones. Entrevistar a los otros no nos sirve y crea enormes sesgos y errores muestrales.
Pero no siempre se cumple con este marco b{asico debido a que se les obliga a los encuestadores a cumplir a raja tabla su meta diaria de encuestas. Y cuando no lo logran, simplemente los encuestadores los “completan a las malas”.
Finalmente, existen tecnicas estadisticas que permiten detectar si una encuesta a sido modificada o manipulada, aplicado por ejemplo analisis de aleatoriedad en preguntas de control que pueden ser vueltas dicotomicas, como por ejemplo el sexo. Inclusive preguntas como la edad (varible continua) puede ser vuelta dicotomica. De esa forma se sabe si el encuestador hizo realmente la encuesta o la lleno en la esquina de su casa. Y en consecuencia sabemos si se les paga o no. Lo mismo se aplicaria a las empresas. Les pagamos a ciegas? o verificamos que su trabajo lo hicieron en forma correcta.
La corte nacional electoral deberia normar este tipo de trabajo y obligar a las empresas encuestadoras a presentar sus bases de datos planas codificadas o no para ser analizadas. Y a las empresas mañosas se las deberia procesar por adulterar resultados, con el unico pretexto de “crear tendencia” concepto que es utilizado en epoca de elecciones.
Y a aquellas empresas que por no quedar mal paradas se unen a la tendencia que dicta el momento politico, tambien habria que procesarlas.
Eso solo se sabra cuando hagamos “algo” por esclarecer la incoherencia de ciertos datos, que ni cuadran en sus resultados generales y mucho menos en los departamentales.
Deja un comentario