The limits to bureaucratic measurement: observation and judgment in comparative political data development

Abstract

Standard methodological advice in the social sciences tells us to base our measurement decisions on observations, not judgments. It presupposes that we divide the process of measurement into two phases. In a first judgmental stage, we reach all the judgments necessary to build our theories, form our concepts, delineate our objects of observation and devise our coding rules. In a second observational stage, by contrast, we suspend our judgmental faculties in order to apply our formal rules of measurement in a quasi-bureaucratic fashion. However, does the full bureaucratic regulation of observation and measurement represent a feasible ideal in the comparative study of politics? In the present paper, I explore the limits to “pure” observation in three steps. In the first section, I describe the “bureaucratic ideal” of social measurement. In the second section, I review four conditions that may compel scholars to incorporate elements of judgment into their measurement processes: unobservable realities, unobserved realities, unexpected realities and complex concepts. In the third section, I offer some thoughts about methodological standards that may guide judgmental modes of comparative measurement.

De acuerdo a estándares metodológicos comunes en las ciencias sociales, debemos elaborar nuestras mediciones exclusivamente con base en observaciones empíricas, prescindiendo de todo elemento de juicio personal. El presente ensayo describe este ideal metodológico como “burocrático”, dado que aspira a eliminar la discreción humana por medio de reglas formales. ¿Hasta qué punto se trata de un ideal viable que pueda guiar la generación de datos comparados de manera realista? El documento explora cuatro factores que imponen límites, sean intrínsecos o pragmáticos, a la medición burocrática: realidades no observables, realidades no observadas, realidades inesperadas y conceptos complejos. Las cuatro condiciones nos pueden llevar a incorporar el juicio de expertos en el desarrollo de datos. La última sección del documento ofrece algunas reflexiones sobre estándares metodológicos que podrían guiar procesos de medición basados en el juicio de expertos.