Are we measuring institutional trust right?: evidence from a Mexican survey experiment

Abstract

Does using different scale produce substantively different evaluations of institutions? If so, why? Are there grounds for preferring one scale to another? We attempt to answer these questions by marshalling a rich set of survey experiments from the 2010 and 2012 Mexico, the Americas, and the World surveys, carried out in Mexico (and other countries) under the aegis of the Centro de Investigación y Docencia Económicas (CIDE). The survey experiments asked split samples questions on institutional trust, as well as on migration and foreign policy (73 questions in all), providing one half-sample with a 4-pt. response scale and the other, a 7-pt. scale. Comparing the (rescaled) means of the half-samples, we find that the scales do, indeed, produce significantly different evaluations of institutions. But the size of the differences between the scales varies not only from institution to institution, but also among other topics we asked about. We show that the differences are greater when the topic is controversial, people know less about it, and attitudes are neither very positive nor very negative, but middling. Finally, we argue that the 4-pt. scale appears to measure institutional trust better than the 7-pt. scale, at least in the context of Mexico and the Mexico, the Americas, and the World survey.

¿Usar diferentes escalas de respuesta produce evaluaciones sustantivamente diferentes de las instituciones? Si sí, ¿por qué? ¿Y existen razones para preferir un tipo de escala a otra? Pretendemos responder a estas preguntas utilizando un conjunto fructífero de experimentos en encuestas del proyecto de opinión pública México, las Américas y el Mundo 2010 y 2012, realizado en México (y otros países en Latinoamerica) bajo la coordinación del Centro de Investigación y Docencia Económicas (CIDE). Los experimentos de encuestas se hicieron preguntando a dos muestras divididas algunas preguntas sobre confianza institucional, así como migración y política exterior (73 preguntas en total), dando a una mitad de la muestra una escala de respuesta de 4 categorías y a la otra mitad una escala de 7 categorías. Comparando las medias (re-escaladas) de ambas muestras, encontramos que las escalas de respuesta, de hecho, producen diferencias significativas en la confianza en instituciones. Pero el tamaño de las diferencias entre escalas varía no solo de institución a institución, sino también entre los otros temas preguntados. Mostramos que las diferencias entre las medias son más grandes cuando el tópico es controversial, cuando los individuos sobre menos sobre éste, y cuando las actitudes no son muy positivas ni muy negativas, pero intermedias. Al final, sostenemos que la escala de respuesta de 4 categorías/puntos hace una mejor medida de la confianza institutional que la escala de 7 puntos, al menos en el contexto de México.