Measuring political democracy: data adequacy, measurement error, and Central America

Abstract

Recent writings concerning the measurement of political democracy offer sophisticated discussions of the problems of conceptualization, operationalization, and aggregation. Yet they have less to say about a more basic problem that threatens measurement validity: error derived from inaccurate, partial, or misleading secondary sources. Drawing on evidence from five Central American countries, we show that a reliance on inadequate secondary source materials seriously compromises the validity and accuracy of the principal, long-term cross-national scales of democracy. In response, we develop a new index of political democracy for the Central American countries during the 20th century. This index draws on much stronger and more exhaustive secondary and primary evidence even as it rigorously pursues standards of conceptualization, operationalization, and aggregation. We call for an approach in index construction that incorporates case-experts and greater attention to primary sources. We illustrate the value of the index by showing how it suggests new interpretations of Central American politics and has important implications for testing more general theories of political change.

Estudios recientes concernientes a la forma de medir la democracia política ofrecen discusiones sofisticadas de los problemas de conceptualización, operacionalización y agregación. Sin embargo, tienen poco que decir acerca de un problema básico que amenaza la validez de la forma de medir este concepto; error derivado de fuentes secundarias imprecisas, parciales o engañosas. Utilizando la evidencia de 5 países centroamericanos, este artículo demuestra que el uso de fuentes secundarias inadecuadas mina seriamente la validez y la veracidad de los índices principales para clasificar regímenes políticos. En respuesta, este documento desarrolla un nuevo índice de democracia política para los países centroamericanos durante el siglo XX. Este índice utiliza evidencia primaria y secundaria más fuerte y confiable, incluso si persigue estándares de conceptualización, operacionalización y agregación de las dimensiones de la democracia. El estudio hace un llamado referente a la construcción de índices que incorporen especialistas de caso y recomienda se preste mayor atención en las fuentes primarias. También ilustra el valor de tales índices, sugiriendo nuevas interpretaciones de la política centroamericana y la importancia de comprobar teorías más generales del cambio político.