Introducción

La DGEyC coordina y dirige los servicios que conforman el Sistema Estadístico de la Ciudad (SEC), como lo establece la Ordenanza 35.386/79. Sus proyectos estadísticos son de naturaleza censal, encuestas por muestreo y provenientes de registros administrativos. Desde 2007, el organismo se propuso alcanzar estándares de calidad internacional. En tal sentido, ese mismo año certificó todos sus procesos de trabajo (ISO) y, paralelamente, inició un proceso de incorporación de nuevas tecnologías para aumentar la calidad de los datos (relevancia, exactitud, exhaustividad, oportunidad, accesibilidad, comparabilidad y coherencia).

Dentro de la incorporación de nuevas tecnologías, se destaca el desarrollo del Sistema Integrado de Encuestas a Hogares (SIEH) de la Ciudad de Buenos Aires. Se desarrolló un software específico, se modernizaron los procesos de trabajo, se comenzaron a utilizar dispositivos móviles para la captación del dato. Todo esto permitió mejorar la calidad de los datos, acelerar los tiempos de producción de resultados y aumentar la capacidad de ejecutar mayor cantidad de operativos.

De la necesidad del dispositivo móvil al desarrollo de un sistema integrado de encuestas a hogares

Durante el año 2010, maduró dentro de la DGEyC la idea de utilizar dispositivos móviles para la captación de los datos de las encuestas. A principios de 2011, se definieron los objetivos que dieron inicio al proyecto de desarrollo del SIEH.

El uso de dispositivos móviles debía ayudar a los encuestadores a evitar los principales errores (la omisión de bloques de preguntas, errores en el flujo y filtros del cuestionario), acelerar el ingreso del dato al sistema informático (por la eliminación los errores de transcripción) y realizar la retroalimentación inmediata a los encuestadores (mejorando la calidad).

Se decidió empezar a implementar el uso de dispositivos móviles con la Encuesta Anual de Hogares, que es una encuesta multipropósito que realiza la DGEyC desde el año 2002 y cuyo tamaño muestral está compuesto por 9.000 viviendas.

En 2011, la producción de la EAH estaba parcialmente informatizada utilizando distintas herramientas informáticas cuya interconexión era realizada por distintos procesos manuales. Es por ello que, si bien era posible acotar el proyecto a la utilización de un cuestionario digital, se decidió avanzar en la informatización de otras etapas de la producción de las encuestas, principalmente el procesamiento.

El desarrollo del sistema informático debía no solo incluir la información de las encuestas relevadas sino también administrar el trabajo de campo y el procesamiento.

Finalmente, se decidió encarar un proyecto que desarrollara un Sistema Integrado de Encuestas a Hogares, basado en un sistema informático que incluyera el ciclo completo de la vida de la encuesta (desde la selección de la muestra hasta la publicación de todos sus resultados).

Se plantearon objetivos a corto y a largo plazo:

1. • A largo plazo: la inclusión de todo el ciclo de vida de todas las encuestas a hogares de la DGEyC.

2. • A corto plazo: el desarrollo de un sistema para la Encuesta Anual de Hogares: que permitiera controlar la trazabilidad del dato; en donde pudiera coexistir el relevamiento en dispositivos móviles con el relevamiento en papel; que administrara el trabajo de campo; y que incluyera un módulo de edición de encuestas para continuar con las tareas de recepción.1

A fines de 2011, se realizó una prueba en campo de levantamiento de datos con dispositivo móvil; en el primer semestre de 2012, se llevó a cabo una prueba piloto; y en el segundo semestre se incorporó definitivamente en la EAH el dispositivo móvil. Eso implicó el consecuente desarrollo del sistema integrado cuyos módulos se fueron agregando secuencialmente en el tiempo dando lugar a la concreción del objetivo a largo plazo. En los años subsiguientes, se fueron incorporando distintas etapas de la producción estadística y se produjeron distinto tipo de encuestas (Gráfico 1).

Gráfico 1
Gráfico 1

Ciclo de vida de un proyecto estadístico muestral

¿Qué es el Sistema Integrado de Encuestas a Hogares de la Ciudad de Buenos Ares?

1. • Diseño conceptual de marcos compartidos: aspectos básicos comunes entre encuestas y aspectos diferentes sobre la base de un criterio armonizado.

2. • Marco maestro de muestreo unificado con estrategias específicas (con actualización cartográfica permanente).

3. • Operativos de campo coordinados en una estructura única (compartiendo pool de coordinadores, supervisores y capacitadores).

4. • Procesamiento de la información sobre la base de criterios unificados que contemplan la definición de todos los aspectos (diseño conceptual, muestra, operativo de campo).

5. • Sistema informático que incluye la información de todas las áreas desde la muestra, registrando las definiciones conceptuales, la logística de campo, el control de consistencias durante el relevamiento y el procesamiento y control de la información hasta la producción de tabulados y base a usuario.

La muestra

Como lo indican Feres y Medina (2001), uno de los aspectos más importantes de un sistema integrado es contar con una muestra maestra. En 2013, sobre de la base de datos del Censo Nacional de Población, Hogares y Viviendas 2010, se planteó una estrategia de un diseño muestral para satisfacer una nueva encuesta –la Encuesta Trimestral de Ocupación e Ingresos (ETOI)– y mantener los diferentes dominios de estimación de la EAH y las encuestas especiales demandadas por otros organismos del Gobierno de la Ciudad de Buenos Aires y del orden Nacional.

Con ese fin, se definieron y estratificaron2 nuevas Unidades Primarias de Muestreo (UP) y se seleccionaron las UP para satisfacer la demanda de todos los proyectos estadísticos señalados.

Paralelamente, se definió una estrategia de Listado para mantener actualizadas las viviendas de las UP seleccionadas.

El Diseño conceptual sobre la base de un sistema basado en metadatos

Se define como “datos” del sistema a las viviendas, hogares y personas encuestados (por ejemplo, a las características de las viviendas, nombres, edades, ingresos, situación laboral y nivel educativo de las personas).

Los metadatos del sistema están conformados por los texto de las preguntas, los nombres de las variables donde se almacenan las respuestas, el tipo de datos esperado para cada uno, los códigos y textos de las opciones de las preguntas cerradas, los rangos posibles en las variables numéricas abiertas y los destinos de los saltos de las opciones de preguntas que determinan pases.

El sistema informático almacena los datos y los metadatos de la encuesta en la misma base de datos. Eso permite utilizar los metadatos para desplegar los cuestionarios, hacer controles de información válida, correr pautas de consistencias, etcétera.

Los metadatos del SIEH (Figura 1) conforman una estructura que permite almacenar las definiciones lógicas de las unidades de análisis (viviendas, hogares, población), las dimensiones, las variables y los posibles valores que asumen. En este sentido, al diseñar el cuestionario, se diseña la base de datos. La principal ventaja de este tipo de programación es que no requiere modificar los programas (ni hacer programas nuevos) cuando se decide realizar otra encuesta de características similares a las ya realizadas. Así, el primer requisito de un nuevo proyecto estadístico es la definición de los metadatos en el sistema, que, una vez controlados y revisados, dan inicio al operativo sin necesidad de cambios en la programación. Solo es necesario realizar cambios en el sistema informático cuando se desea agregar un comportamiento distinto, nuevos tipos de preguntas o de filtros, etcétera.

Datos

El dato es el producto del registro de algún tipo de acción manifiesta de observación. El dato son los valores que asume una variable, las dimensiones o características al describir una unidad de análisis/observación. En el caso del SIEH, los datos describen las viviendas, los hogares y sus miembros (tipo de vivienda, cantidad de ambientes utilizados por el hogar, edad de las personas que viven en el hogar, etcétera).

Metadatos

Los metadatos son los datos que describen las características de los datos. Son los datos sobre los datos. En el caso del SIEH, los metadatos describen a los cuestionarios, preguntas, variables, etcétera.

Se almacena como metadatos la información sobre:

1. 1.– los cuestionarios, el listado de preguntas (código, textos, tipo de respuestas, saltos), las opciones de las preguntas (número, texto y destino del pase si lo tuviera), los filtros (condiciones, textos, pases y secciones);

2. 2.– la estructura de la base de datos, nombres de tablas donde se almacenan las unidades de análisis (vivienda, hogar, personas, etc.), nombres y tipos de variables donde se almacenan las respuestas de los cuestionarios;

3. 3.– las fórmulas de las variables calculadas (por ejemplo, cantidad de hijos menores en el hogar, condición de actividad, años de escolaridad, etc.);

4. 4.– las pautas de consistencia;

5. 5.– la estructura de los cuadros de resultados y tabulados de control;

6. 6.– la selección de columnas que formarán la base usuario y/o bases internas de trabajo;

7. 7.– el flujo del trabajo de campo, la forma de organización del campo por semanas o lotes, condiciones o cuotas de recuperación y/o supervisión de encuestas.

Figura 1
Figura 1

Sistema Integrado de Encuestas a Hogares (SIEH): Módulo de metadatos del cuestionario

Sobre las características del cuestionario digital

En el año 2011, eran pocas las experiencias de utilización de dispositivos móviles para el relevamiento de encuestas. La mayoría utilizaba notebooks, otras utilizaban dispositivos que habían dejado de fabricarse o que eran hardware específicos cuya continuidad en el mercado los proveedores no podían estimar. Las notebooks (laptops, PC portátiles y las llamadas en ese momento netbooks) tenían dos problemas importantes: el peso y la autonomía de la batería. Las más livianas de un kilo o más tenían poca capacidad y poca autonomía de batería. Las que tenían más autonomía (hasta 6 horas) y capacidad eran mucho más pesadas, de dos kilos y medio o más.

La DGEyC decidió utilizar tabletas3 después de haber evaluado las características físicas y de haber probado 5 modelos distintos, utilizando un prototipo de encuesta programado para esta tarea.

Las primeras tabletas tenían una pantalla de 10” y un peso aproximado de 700 gramos; luego aparecieron tabletas de entre 7 y 8" con un peso aproximado de 350 gramos, el mismo poder de cómputo y autonomía de batería. Actualmente, la DGEyC cuenta con tabletas de ambos tamaños.

La coexistencia entre el papel y el dispositivo móvil

Al inicio del proyecto, el equipo de campo tenía la inquietud de cómo proceder en el caso de que no se pudiera iniciar o continuar la entrevista con el dispositivo móvil (falla del equipo, agotamiento de la batería, cuestiones de seguridad). Se decidió la coexistencia del relevamiento en papel y en dispositivo móvil. Los encuestadores llevarían a campo un dispositivo móvil y formularios en papel y estarían capacitados en el uso de ambos soportes de relevamiento. Se sostuvo que, ante cualquier dificultad, utilizaran el papel (ya fuera para comenzar una encuesta nueva o para continuar una empezada). El fundamento de la decisión tomada fue que el objetivo era la captación de los datos y no la utilización de un soporte u otro. En este sentido, conceptualmente, la tecnología debe adaptarse a mejorar la tarea y no la tarea adaptarse a las limitaciones tecnológicas.

Para unificar criterios de validación entre las encuestas relevadas en papel y las del dispositivo móvil, los cuestionarios que se hubieran realizado en papel se ingresan en el sistema informático en el momento en que el encuestador llega y entrega su carga de trabajo; de esta manera se aprovechan los controles automáticos. El recepcionista realiza su tarea de control de las encuestas recibidas a medida que se van ingresando de modo de aprovechar los controles automáticos del sistema y la presencia del encuestador. Así las tareas de ambos no son muy diferentes en papel y en dispositivo móvil. Cuando el ingresador terminó de incorporar los cuestionarios de la primera vivienda recibida, el recepcionista puede empezar su tarea.

El diseño del programa para el dispositivo móvil

Se utilizó como guía para el diseño del software la teoría sobre Usabilidad del Software desarrollada por Jakob Nielsen a principios de la década de 2000 y los siguientes criterios generales acordados en la DGEyC: que el dispositivo móvil fuera en la funcionalidad lo más parecido al papel; que ayudara al encuestador a realizar los saltos de preguntas en la administración de pases y filtros del cuestionario; que la redacción de preguntas y opciones de respuesta fuera idéntica; que no agregara pausas o demoras mayores a las que hay en papel (al cambiar de hoja o abrir otro cuestionario); y que en cualquier momento de la entrevista, o aun después de finalizada, permitiera retroceder, corregir o borrar (hasta el momento de entregar los cuestionarios al recepcionista o de descargar/transmitir las encuestas del dispositivo móvil).

Siguiendo los principios de usabilidad, las opiniones del personal con experiencia de la Subdirección General de Estadísticas Sociodemográficas, el consejo de los expertos y los antecedentes (otros desarrollos para PC y dispositivos móviles), se diseñaron alternativas factibles para una serie de características del software. Luego se evaluaron las alternativas haciendo pruebas con usuarios de la subdirección.

Las principales alternativas evaluadas fueron:

1. 1. Una pregunta por pantalla versus un conjunto de preguntas. Hacer una sola pregunta era la única alternativa en pantallas pequeñas (del tamaño de un celular chico) y era una alternativa muy usada en los desarrollos anteriores. Su ventaja era la facilidad de programación y la focalización del encuestador en la pregunta a formular. No obstante, la alternativa elegida fue la visualización de varias preguntas porque se observó que facilitaba la ubicación del encuestador al mantener una visión del contexto de la pregunta, introducía menos errores, daba más seguridad y permitía un retroceso ágil a la hora de corregir o consultar una respuesta previamente marcada. La alternativa elegida conserva las características del cuestionario en papel.

2. 2. Visualización parcial o completa del cuestionario. Se decidió visualizar el cuestionario completo en lugar de visualizarlo por páginas, bloques, capítulos o conjuntos de preguntas. El cuestionario se despliega completo en una “única página continua” con desplazamiento vertical. La decisión se tomó por ser esta la opción más ágil.

3. 3. Mostrar versus ocultar las preguntas salteadas en los pases. Se eligió mostrar las preguntas salteadas y las por contestar con un color diferente para que el encuestador distinguiera la pregunta a realizar de las que debía omitir. Esto mejoró la visualización de contexto y la detección de errores en opciones de preguntas que generan un salto (porque el encuestador al ver el bloque salteado tiene la oportunidad de darse cuenta de que marcó mal). Esta decisión tuvo dos beneficios adicionales: la posibilidad de imprimir el cuestionario completo; y facilitar la capacitación de los encuestadores gracias a la posibilidad de mostrar todos los flujos posibles del cuestionario digital como lo permite el papel.

4. 4. Borrado automático versus borrado manual. En el desarrollo de la encuesta, el encuestador podría tener que corregir una pregunta que fue realizada más arriba en el cuestionario. Si la pregunta que debe modificarse implica un cambio en el flujo del cuestionario, los datos de las preguntas salteadas deben borrarse. El riesgo de borrar automáticamente es que esa corrección puede ser errónea y, entonces, cuando el encuestador rectifica el cambio encontraría que los datos fueron eliminados y debería repreguntar. El borrado manual permite al encuestador detectar su error al ver qué respuestas debe eliminar.

5. 5. Posibilidad de marcar fuera de flujo. Se decidió permitir marcar opciones de respuesta en las preguntas que por el flujo de pases debían ser omitidas, salteadas. Esta decisión se tomó pensando en atenuar el impacto de posibles errores de programación de pases o de carga de metadatos que impidan consignar respuestas a preguntas que el encuestador tiene la certeza de que debe formular (dada su experiencia o la capacitación recibida). La alternativa de impedir marcar implicaría perder el dato u obligarlo a consignarlo en un lugar que no es específico (por ejemplo, el campo observaciones). Por otro lado, la desventaja del criterio adoptado es que permite tomar al encuestador una decisión que puede resultar errónea. Luego de un año de probar la primera alternativa, se decidió mantener esta característica y permitir siempre consignar respuestas aun en preguntas salteadas porque, si bien los errores fueron casi inexistentes (tanto de programación como de criterio de los encuestadores), la ventaja de permitir supera a la de impedir. Para minimizar los errores, el programa mantiene y calcula el flujo normal y marca con un color especial todas las preguntas que se contestan “fuera del flujo normal”.

6. 6. Flexibilidad en el orden de administración de cuestionarios. Se decidió por ser flexible (al igual que el papel) en la administración de cuestionarios. Por ejemplo, se puede suspender la administración de un formulario a un miembro del hogar y comenzar con el cuestionario de otro miembro del hogar, para luego continuar con el suspendido en el punto en que fue dejado. La flexibilidad de uso del dispositivo móvil es independiente de la metodología de captación que indica que el encuestador debe realizar las preguntas en el orden en que figuran, finalizar cada cuestionario antes de empezar el siguiente o terminar el renglón de la persona (en la matriz de componentes del hogar) antes de empezar el siguiente. La implementación de los múltiples flujos posibilita interrumpir el flujo de indagación en distintos momentos. El programa controla la completitud de los cuestionarios, marca con color los incompletos de modo que, al final de la tarea, deba haber completado las partes faltantes y borrado las sobrantes para que la encuesta no quede marcada como inconsistente o incompleta.

Las consistencias

Las pautas de consistencia son los controles que se aplican a cada una de las encuestas realizadas. Comparan dos o más datos que individualmente pueden ser correctos, pero que en conjunto no lo son o es muy improbable que lo sean. Por ejemplo, una pauta es: la edad de una persona no puede ser mayor que la edad de la madre.

Tradicionalmente, las pautas de consistencias se diseñaban para ser utilizadas dentro de la oficina por el equipo de procesamiento; a veces se incluían en el sistema de ingreso (en especial, cuando se usaba la figura del analista-ingresador). El recepcionista también tenía un manual de pautas de consistencia para controlar manualmente los cuestionarios recibidos. Las pautas de consistencia del recepcionista eran un subconjunto de la lista total porque, al aplicarlas manualmente, se hacía imposible administrarlas en su totalidad. Al diseñar una encuesta, se evaluaba qué pautas debían administrarse en la recepción según su importancia o probabilidad de ocurrencia.

A partir del dispositivo móvil, las consistencias se pudieron aplicar durante el desarrollo de la entrevista. Así se garantizaría que toda la encuesta fuera consistente desde el momento del relevamiento.

Si bien existía un vasto listado de pautas de consistencias al iniciar al desarrollo del SIEH, su incorporación al dispositivo móvil implicó nuevas definiciones. Hubo que evaluar la pertinencia de la inclusión de cada una para no entorpecer la entrevista. También se tuvo en cuenta que el encuestado podía estar mirando la pantalla del dispositivo móvil, por lo cual se tuvo especial cuidado en la elección de los colores y los textos.

Para automatizar las pautas de consistencias, se escribieron como una expresión lógica entre variables con una precondición y una postcondición (en el ejemplo, la precondición sería si la madre está en el hogar, la postcondición será “la edad debe ser menor que la edad de la madre”) (Figura 2). Las pautas de consistencias se clasificaron:

1. • según el momento en que se muestran: en relevamiento: son mostradas en el dispositivo móvil (estas son la gran mayoría); en la recepción (el recepcionista le pregunta al encuestador y anota en el sistema lo que el encuestador explique al respecto); y en el procesamiento.

2. • según la posibilidad de ocurrencia: son errores cuando lo consignado no es considerado posible; son advertencias cuando lo consignado es muy poco probable.

El trabajo de revisión y definición de pautas de consistencias se realizó dentro del Sistema Informático con un equipo multidisciplinario (sectorialistas, diseño conceptual, procesamiento, campo, etc.).

La capacitación de encuestas con dispositivo móvil

La capacitación de los recursos humanos de la estructura operativa tuvo y tiene tres destinatarios: encuestadores, recepcionistas y coordinación de campo, entendiendo que cada perfil usa funcionalidades diferentes y específicas inherentes a su rol. No obstante, desde el inicio, se consideró fundamental que el conocimiento fuera acumulativo a medida que el rol fuera de mayor jerarquía que el anterior.

Inicialmente, se armó material didáctico específico y se asignó un espacio propio dentro del plan de clases a la explicación del uso del cuestionario electrónico. Durante los primeros dos años, se capacitó a los encuestadores: en una primera etapa, en aspectos conceptuales utilizando el cuestionario en papel; en una segunda etapa, en aspectos funcionales del dispositivo móvil, para finalizar con una simulación de entrevista.

Posteriormente, y con la naturalización del uso de dispositivos táctiles, se observó que era suficiente con la inclusión, dentro de la capacitación conceptual, de la información correspondiente a cada módulo del sistema.

Dado que era muy beneficioso hacer significativo el sistema informático a partir de su aplicación a las tareas definidas conceptualmente, una estrategia didáctica aún vigente es el role playing que se realiza sobre el dispositivo móvil ya que hace emerger inquietudes operativas y conceptuales en un espacio lúdico y distendido.

Figura 2
Figura 2

Sistema Integrado de Encuestas a Hogares (SIEH): Módulo de edición de consistencias

La organización del trabajo de campo dentro del SIEH

El estado de las encuestas

Las encuestas en papel existen físicamente; cada encuesta está en un único lugar posible (en campo, en la recepción o en supervisión para volver a campo o en ingreso). Una vez ingresados los datos, el papel se archiva y pasa a existir de manera digital dentro del sistema.

Cuando se utilizan dispositivos móviles, la información de la encuesta puede estar simultáneamente en el dispositivo móvil del encuestador y en la base de datos centralizada del servidor. Es por eso que el sistema debe mantener una “marca lógica” indicando que el “poseedor” de la encuesta es el encuestador. El “poseedor” es el único autorizado a modificar los datos de la encuesta.

Cuando la encuesta es descargada del dispositivo móvil, su estado puede ser variado: completa, incompleta, inconsistente, no respuesta, rechazo, hogar ausente, domicilio inexistente o no visitado aún; en función del estado y de la organización definida en el flujograma de la organización de campo de la encuesta, la encuesta se vuelve a cargar para el mismo encuestador, es mandada a recuperar o a supervisar o pasa al sector de procesamiento (Gráfico 2).

Pertenece a los metadatos de la organización de campo la información referente a:

1. 1. los roles que participan en la encuesta: encuestador, recuperador, supervisor, supervisor de recuperador, recepcionista, analista de procesamiento, etcétera;

2. 2. el orden y los tiempos que tiene cada rol para hacer su tarea;

3. 3. los códigos de respuesta/no respuesta y las tareas que se deben hacer a continuación basadas en ellos;

4. 4. los permisos que tiene cada rol para editar la encuesta según el estado en el que esté;

5. 5. el tipo de organización de la muestra: por períodos de tiempo (semanal en caso de la EAH) o por lotes (para algunas encuestas puntuales).

Con estos metadatos, el sistema, además de saber qué dispositivos tiene que cargar y descargar, puede hacer el control agregado de campo (por período o por semana) para ir monitoreando la tasa de respuesta, el nivel de cobertura, el ajuste con los cronogramas, etcétera.

El sistema contiene el listado de todas las viviendas que deben visitarse. La EAH estaba organizada en 3 etapas de un mes cada una. En el sistema, las viviendas se agrupan en lotes de trabajo que son asignados semanalmente a los encuestadores. Los lotes se cargan en un dispositivo móvil determinado, junto a su hoja de ruta digital, o se marcan para ser relevados en papel (sin dispositivo móvil). En ambos casos, se entrega la hoja de ruta impresa. Las viviendas que el encuestador no visitó pueden volver a entregarse a la semana siguiente.

Del mismo modo se realiza la asignación a los demás roles de campo: al recuperador (que visita las viviendas encuestables, rechazos o ausencias) o al supervisor (Figura 3).

Gráfico 2
Gráfico 2

Estados de las encuestas

Figura 3
Figura 3

Sistema Integrado de Encuestas a Hogares (SIEH): Tabla de estados

La recepción de encuestas

Cuando las encuestas son en papel, el rol principal del recepcionista es hacer un primer control de las encuestas que recibe del encuestador. Para ello, abre cada uno de los cuestionarios y sigue el flujo del mismo prestando atención a los pases, que no se hayan salteado bloques de preguntas, que no se hayan llenado de más, que las respuestas de texto de las preguntas que se utilizan para codificar la tarea de la población económicamente activa y la rama de actividad de las empresas donde trabajan (o de su actividad como cuentapropista) sean adecuadas y completas. También revisa manualmente las pautas de consistencia principales. En caso de encontrar problemas, hará las correcciones que sean pertinentes, advertirá al encuestador o iniciará el proceso de recapacitación del encuestador.

Con dispositivos móviles, el encuestador ya no comete errores de omisión de bloques por distracción, pero todavía hay que prestar atención a los textos y a las inconsistencias. En ciertos contextos, escribir texto en el dispositivo móvil no es tan cómodo como con el papel, y eso hace que el encuestador se vea tentado a abreviar o escribir menos de lo necesario. La ventaja de utilizar el SIEH es que los controles de flujo y de consistencias se hacen en forma automática pudiendo correrse el lote completo de pautas de consistencias, con lo que aumenta la calidad de la información al haber pasado por la tarea de recepción.

El recepcionista revisa el listado de omisiones y de inconsistencia en la pantalla de su puesto de trabajo con el encuestador presente. En caso de detectar alguna inconsistencia, se la informa al encuestador para que este explique si repreguntó o indagó con el encuestado y deje registrado en el sistema la justificación de las inconsistencias.

La revisión de los textos para la codificación de rama de actividad y tarea debe realizarse manualmente. El recepcionista completa las abreviaturas y los textos en caso de que el encuestador recuerde algún dato no escrito. En la DGEyC la recepción de las encuestas a hogares se realiza semanalmente con una carga de encuestas de entre 10 y 20 encuestas por lote (según la experiencia del encuestador), de modo de que sea posible que el encuestador aún recuerde la entrevista y se puedan hacer correcciones sobre la base de la información provista por el hogar.

Figura 4

Sistema Integrado de Encuestas a Hogares (SIEH): Control de cobertura y efectividad de campo

El monitoreo de campo: la cobertura y efectividad de campo

Una herramienta necesaria para la coordinación operativa de un proyecto estadístico es el monitoreo de su cobertura en función del calendario del operativo y la población muestral relevada necesaria para poder inferir los aspectos que se desea estudiar.

El módulo de monitoreo del SIEH (Figura 4) brindó la posibilidad de obtener en tiempo real las tablas descriptivas para analizar el resultado de las encuestas ingresadas al sistema (encuestas que salieron a campo y regresaron siendo realizadas o no realizadas y encuestas que no salieron a campo). A partir de estos datos, las tablas también incluyen indicadores tales como el porcentaje de encuestas efectivas, el porcentaje de encuestas no realizadas por motivo (vivienda sin hogar, vivienda con hogar ausente, rechazo del hogar en la vivienda, etc.), tasa de efectividad, tasa de rechazo y error de marco. Las tablas presentan los indicadores por semana, zona, comuna y encuestador.

El control de calidad durante el operativo

Las estimaciones de encuestas por muestreo se encuentran afectadas por errores muestrales y no muestrales. Los errores muestrales dependen del diseño elegido, estimadores, pruebas de significatividad, etc., que son aspectos medibles y controlables. Los errores no muestrales, según Naciones Unidas (2009), pueden provenir: del marco muestral, cuando hay elementos a empadronar que están omitidos, duplicados o cuando hay elementos erróneamente incluidos; de la falta de respuesta, cuando un elemento de la muestra no responde o cuando el cuestionario se cumplimenta parcialmente; del diseño conceptual del cuestionario, cuando las preguntas, debido a conceptos o definiciones, están mal especificadas o expresadas; de medida, cuando los respondientes dan información incorrecta (intencionalmente o no) y/o cuando los encuestadores falsifican datos, inducen respuestas o registran incorrectamente; y de procesamiento, errores de grabación, codificación, asignación de ponderaciones y tabulación de los datos, entre otros.

Como ya se vino explicando en apartados anteriores, el SIEH contribuye a disminuir y controlar los errores no muestrales. En el caso de la supervisión, se obtuvo una aproximación a la medición de los errores de medida a partir de su incorporación al sistema. La modalidad de la supervisión que se aplica es la de encuesta repetida. La encuesta repetida consiste en que el supervisor vuelva a tomar contacto con el entrevistado para que reitere el cuestionario en una versión reducida. El procedimiento aplicado reproduce exactamente todas las pautas del proceso de la encuesta original y se aplica a una sola persona en el hogar, el respondiente de la encuesta. Posteriormente, se parean las respuestas obtenidas por el supervisor y por el encuestador y se arma, para cada pregunta, la tabla comparativa que en su diagonal contiene los resultados concordantes. El objetivo es calcular la diferencia entre los valores de las variables obtenidos en las dos entrevistas (Figura 5).

La encuesta repetida (supervisión) se releva utilizando dispositivo móvil y su circuito es análogo al del resto de las encuestas.

Figura 5
Figura 5

Sistema Integrado de Encuestas a Hogares (SIEH): Módulo seguimiento de encuestas

El procesamiento

El procesamiento de las encuestas a hogares comprende las tareas de revisión y consistencia de los datos ingresados, la codificación de variables abiertas, el control de datos agrupados, la creación de variables, la imputación de variables omitidas (en particular, la imputación de ingresos monetarios), los cálculos de factor de expansión y calibración, la generación de tabulados y la exportación de base a usuario y bases internas de trabajo.

El SIEH contiene un conjunto de herramientas para desempeñar las tareas de procesamiento.

Control de inconsistencias

Durante el procesamiento deben evaluarse las inconsistencias detectadas para decidir la validez del dato (para las pautas de consistencia de tipo advertencia) o la acción correctiva según el caso. Como ya se dijo, las inconsistencias son mostradas al encuestador durante el relevamiento para que pueda corregir errores de marcado o repreguntar para obtener más información. Las inconsistencias no corregidas se le muestran al recepcionista que analiza junto al encuestador, corrige las que correspondan y registra las aclaraciones para cada una de las inconsistencias que no puede –o considera que no debe– corregir.

En la primera etapa de procesamiento, se evalúan todas las inconsistencias detectadas analizando los datos en su conjunto y utilizando las observaciones del encuestador y las aclaraciones del recepcionista.

Las pautas de consistencia son controladas periódicamente sobre la base de obtener frecuencias de ocurrencia y comparándose con operativos anteriores. De estas frecuencias, se puede detectar la necesidad de recapacitar a algún encuestador sobre algún tema puntual.

Codificación y reclasificación de variables abiertas

Las variables abiertas deben codificarse para poder utilizarse en la construcción de otras variables, por ejemplo, el país de nacimiento. Otros textos que deben analizarse son los “otros especificar” que corresponden a las variables cerradas donde se controla si algunos textos ingresados corresponden a categorías existentes y deben ser reclasificados o quedan en la categoría otros.

El SIEH mantiene un conjunto de diccionarios de textos que traducen las distintas formas de escribir ciertos valores al clasificador utilizado (por ejemplo, nombres de países a código de país o nombres de calles o barrios o sus respectivos códigos). Estos diccionarios se inician con los textos estándar y se actualizan con las distintas formas de expresiones textuales que fueron apareciendo en cada operativo.

Los diccionarios se utilizan para el proceso asistido de codificación y clasificación de variables. Cuando un texto no puede codificarse en forma automática, un especialista en el tema la clasifica manualmente. Esta clasificación es incluida en el diccionario referido para el uso en el operativo actual y en los subsiguientes.

La codificación de la rama de actividad del lugar de trabajo y de la ocupación de la persona es un proceso en el que intervienen varias variables en forma simultánea; la clasificación se hace dígito a dígito y tiene un componente manual importante. El sistema despliega en una grilla (Figura 6) un renglón por cada caso a codificar y en las columnas las variables necesarias para la tarea; cada dígito a codificar está en una columna. El técnico que codifica puede filtrar u ordenar la grilla por cualquiera de las variables para codificar en lotes de información similar. Al finalizar la codificación, la información es revisada por un supervisor de codificación que utiliza las mismas grillas de codificación.

Figura 6
Figura 6

Sistema Integrado de Encuestas a Hogares (SIEH): Módulo de codificación de rama y tarea

Figura 7
Figura 7

Sistema Integrado de Encuestas a Hogares (SIEH): Módulo de definición de variables calculadas

Construcción de variables

Los resultados de la encuesta incluyen tabulados que están formados por variables que no son la respuesta directa a una pregunta del cuestionario, sino que se arman utilizando una combinación de ellas (por ejemplo, la condición de actividad o los años de escolaridad de una persona). La construcción de variables la hace automáticamente el sistema sobre la base de la carga de las fórmulas que las definen. Tener las variables automatizadas dentro del sistema integrado permite usarlas en las pautas de consistencias y en la generación de bases usuario.

Las variables también son usadas en combinación con los diccionarios y sirven al proceso asistido de codificación.

El módulo del sistema que permite la definición de las variables (Figura 7) provee cuadros de frecuencias de cada uno de los casos que definen los valores de la nueva variable para poder controlar la construcción de la misma (los casos se definen por las distintas combinaciones de las variables utilizadas como insumos –por ejemplo, para ocupados son distintos casos una persona que trabajó en la semana de referencia y una persona que no trabajó pero tenía un trabajo al que no concurrió porque estaba de vacaciones–). Esos cuadros de frecuencia se controlan con operativos anteriores.

Para la creación de variables, se pueden escribir fórmulas que combinen variables de la misma unidad de análisis (por ejemplo: edad y condición de actividad de una persona) y de una unidad de análisis que la incluya (por ejemplo: para construir variables de personas se pueden utilizar variables de hogar o de vivienda), o variables que agrupen otras de unidades de análisis incluidas (por ejemplo: en la tabla de hogares se puede agregar la variable cantidad de miembros menores de 18 años).

En la creación de variables, es importante considerar el orden en que se crean porque ciertas variables construidas pueden ser insumo de otras variables construidas.

Cálculo del factor de expansión y calibración

Las encuestas a hogares son expandidas y calibradas por el Departamento de Muestreo utilizando las técnicas estadísticas correspondientes en función del diseño muestral. En el caso de la EAH, el diseño y los tamaños de muestra están preparados para dar información desagregada por comuna. En el caso de la ETOI, los resultados se desagregan por zona (norte, centro y sur).

Los factores de expansión y calibración son incorporados al SIEH y utilizados para la producción de los tabulados. Los tabulados se pueden generar muestrales (sin considerar los factores de expansión); estos se usan durante el procesamiento en las etapas de control. Para calcular los factores de expansión y calibración, tiene que estar terminado de cerrar el trabajo de campo y estar determinados los códigos de no respuesta (en particular, diferenciadas las viviendas no encuestables de las encuestables).

El factor de expansión y calibración se exporta junto con la base usuario y bases de trabajo.

Generación de tabulados

El resultado de las encuestas se resume en cuadros o tabulados (Figura 8) que, en el caso de las encuestas periódicas como la EAH y la ETOI, se publican periódicamente sobre la base de un calendario y un plan de publicación. Es imprescindible, para no perder la comparabilidad, que esos cuadros se generen utilizando siempre las mismas definiciones.5

Las definiciones de los cuadros son parte de los metadatos del sistema: nombre del cuadro, variables en filas y columnas, filtro aplicado y tipo de cuadro (tasas, valores absolutos, etc.).

Tener definidos los tabulados como metadatos permite definir nuevos cuadros para las tareas de control, nuevas publicaciones o procesamientos para ocasiones especiales (Figura 9).

El sistema permite generar los tabulados con datos muestrales o expandidos, con el coeficiente de variación en números o letras.

Figura 8
Figura 8

Exportación de base a usuarios y bases internas de trabajo

El SIEH tiene un módulo de exportación de bases (Figura 10) donde se define la selección de variables, su orden, nombre y destino (hogares o miembros del hogar). De ese modo, se puede poner variables del hogar en la tabla de miembros (por simplicidad una de las variables que se pone en ambos destinos es el factor de expansión y calibración).

En el módulo de exportación, se define la base usuarios (y de ese modo se generan siempre las mismas columnas en el mismo orden) y las bases internas de trabajo, que son las utilizadas para extraer información que es insumo de otras áreas de la DGEyC no incorporadas al SIEH (la garantía de formato y orden facilita la automatización e integración con otros sistemas informáticos).

La exportación genera un único archivo comprimido que contiene un archivo de datos por cada destino (hogar y miembros) y sus diseños de registros.

Figura 9
Figura 9

Sistema Integrado de Encuestas a Hogares (SIEH): Módulo de definición de tabulados

Figura 10
Figura 10

Sistema Integrado de Encuestas a Hogares (SIEH): Módulo de definición de bases a exportar

Proyectos estadísticos que promovieron ampliar el horizonte

El SIEH se diseñó para ser utilizado en la EAH. Si bien el dispositivo móvil se empezó a usar en la EAH 2012, el SIEH comenzó a emplearse para el ingreso y la primera etapa de procesamiento (que consiste en el control de las encuestas ingresadas basadas en el control de pautas de consistencia) de la EAH 2011. En las sucesivas EAH, se fueron incorporando módulos: procesamiento, supervisión, generación de bases usuarios, etcétera.

El SIEH se utilizó para todas las encuestas producidas por la Subdirección General Sociodemográfica:El SIEH se utilizó para todas las encuestas producidas por la Subdirección General Sociodemográfica:

1. • 2012, Encuesta de Acceso a la Justicia

2. • 2013 y continúa anualmente, Encuesta sobre el perfil de los Asistentes de la Feria Internacional del Libro de Buenos Aires

3. • 2014, Encuesta Epidemiológica de Salud Mental de la Ciudad de Buenos Aires (EESAME 2014)

4. • 2014 hasta la actualidad, Encuesta Trimestral de Ocupación e Ingresos (ETOI)

5. • 2014, Encuesta a Beneficiarios de Ciudadanía Porteña

6. • 2015, Encuesta de Abonados del Teatro Colón

7. • 2015, Prueba Piloto Encuesta de Uso del Tiempo de la Ciudad de Buenos Aires

8. • 2016, Encuesta de Uso del Tiempo de la Ciudad de Buenos Aires (UT CABA 2016)

9. • 2016, Empadronamiento en Villa 31 y 31 bis (bajo autopista)

10. • 2017, Prueba Piloto Encuesta Demográfica Retrospectiva de la Ciudad de Buenos Aires

11. • 2017, Empadronamiento en Barrio 31 y 31 bis

12. • 2017, Relevamiento de Personas en Situación de Calle

UT CABA 2016 El diario de actividades

El objetivo de la encuesta de Uso del Tiempo es preguntarle al encuestado todo lo que hizo dura

La encuesta de Uso del Tiempo requirió de un desarrollo especial para el registro del diario de actividad, dado que no se ajustaba al modelo clásico de pregunta/respuesta.

El objetivo de la encuesta de Uso del Tiempo es preguntarle al encuestado todo lo que hizo durante el día anterior al relevamiento y cuánto tiempo le dedicó a la actividad: dormir, trabajar, viajar, cuidar niños, cocinar, estudiar, hacer deportes, realizar tareas domésticas, etc. Algunas de esas actividades pueden hacerse en forma simultánea, algunas pueden parecer más importantes o son más fáciles de recordar que otras. Para los objetivos de la encuesta, todas las actividades son igualmente importantes, y en todo momento del día tiene que haber al menos una actividad registrada (aunque sea descansar).

De acuerdo con la prueba piloto7 realizada en 2015, la forma más adecuada de llegar al objetivo es preguntarle al encuestador qué fue haciendo durante el día. Simplificando el ejemplo, la encuesta fue más o menos así:

Hablemos del día de ayer, ¿a las 0hs del día de ayer usted qué estaba haciendo? [a/r] ¿Hasta qué hora realizó esa actividad? [a/r] ¿Realizó en ese horario alguna otra actividad, desde qué hora a qué hora? [a/r] ¿Alguna otra? [a/r].

Si, por ejemplo la respuesta fue que a las 0hs estaba durmiendo y durmió hasta las 6:30, la encuesta continúa preguntando desde esa hora:

Continuemos, ¿qué hizo a las 6:30? [a/r] ¿Hasta qué hora realizó esa actividad? [a/r] ¿Realizó en ese horario alguna otra actividad, desde qué hora a qué hora? [a/r] ¿Alguna otra? [a/r].

Y continúa de ese modo. El módulo "Diario de actividad" de la de la EAH 2005 era una matriz en papel con 3 columnas (suponiendo un máximo de 3 actividades simultáneas) y un renglón cada media hora. Este formato de diario permite fácilmente registrar las actividades que vaya recordando el encuestado aun cuando recuerde algo que hizo a la mañana mientras contesta las cosas de la tarde.

La encuesta en 20168 se llevó a cabo en dispositivo móvil; se realizó un desarrollo especial para el llenado del diario de actividades (Figura 11). En una serie de tiempo gráfica de 3 columnas, mostraba para cada actividad un rectángulo de tamaño proporcional al tiempo usado que se dibujaba sobre las marcas de horas correspondientes. Las 3 columnas permitían mostrar gráficamente las actividades realizadas con simultaneidad. El programa validaba códigos y horarios, permitía registrar actividades recordadas en momentos anteriores, graficaba la línea de tiempo a medida que se iba llenando el cuestionario y destacaba gráficamente sobre la línea de tiempo los períodos en los que no se había informado ninguna actividad.

El resto de las preguntas de los cuestionarios eran similares a las de las demás encuestas a hogares.

Para el procesamiento se agrega la unidad de análisis episodio que corresponde a un período de tiempo durante el cual se realiza determinada actividad; se calcula el tiempo total (o sea el tiempo transcurrido en el reloj para ese episodio) y el tiempo con simultaneidad (que corresponde al prorrateo del tiempo entre otros episodios simultáneos). La suma del tiempo con simultaneidad de todos los episodios es 24hs, la suma del tiempo total podría ser mayor. Esas dos variables calculadas se utilizan como insumo en la mayoría de los tabulados de resultados y se incluyen en la base usuario.

Figura 11
Figura 11

Prueba piloto EDER CABA 2017 y encuestas longitudinales

El estudio de las trayectorias de vida de diferentes generaciones posibilita la observación de los cambios de los fenómenos demográficos y cómo varían sus características a lo largo de la vida de las poblaciones estudiadas y entre las mismas. De este modo, se puede relacionar, durante un largo período de tiempo, sus comportamientos y estrategias respecto de las dimensiones mencionadas con los contextos sociales y económicos del país y de la Ciudad de Buenos Aires.

Su principal aporte se basa en la posibilidad de realizar análisis de cohortes reales a partir de datos relevados en una encuesta retrospectiva por muestreo. Usualmente se utilizan datos transversales para hacer análisis de cohortes ficticias, es decir, se considera a la población según distintos grupos de edad de un relevamiento puntual, como si fuera una generación. Los análisis transversales omiten las circunstancias históricas que determinan los fenómenos sociales y que influyen en la estructura y en los cambios demográficos de las diferentes cohortes.

Incorporar encuestas longitudinales al Sistema Integrado de Encuestas a Hogares es un gran desafío ya que no es una encuesta tradicional; la captación y procesamiento de esta encuesta requiere desarrollos especiales.

El cuestionario en papel presenta un formato matriz donde en cada página se releva una dimensión temática; tiene un renglón por cada año vivido y una columna por cada pregunta que se debe contestar. De este modo, se va registrando a lo largo de los años y relacionando eventos que se desarrollaron en el mismo año.

El cuestionario en dispositivo móvil debe mantener la misma visibilidad que tiene el papel y ofrecer la posibilidad de corregir fácilmente dentro de la misma matriz y de moverse entre matrices. Además, se debe agregar la visualización de inconsistencias dentro de las matrices y el control de completitud.

Es necesario definir nuevas formas de procesamiento y, para ello, se deben desarrollar módulos en el sistema informático: además de agregarse la dimensión tiempo a las unidades de análisis es necesario "completar las bases" generando un registro por año para cada una de ellas (años-vividos de la persona encuestada).

Estadísticas de población sobre la base de datos de registro

La experiencia acumulada en la captación y procesamiento de las encuestas a hogares, en especial el tratamiento de las mismas basado en metadatos, permite extrapolar los sistemas desarrollados a tareas estadísticas que no estén basados en la realización de encuestas.

La DGEyC tiene una vasta experiencia en la consolidación, sistematización y producción estadística basada en información provista por proveedores externos; en este aspecto se destacan los registros administrativos. Esta información está estructurada en unidades de análisis, cada una con sus variables bien definidas. La información se obtiene a partir de cronogramas acordados y es revisada antes de consolidarse en las oficinas de la DGEyC. Estas estadísticas están basadas en datos del Registro Civil, de escuelas de la Ciudad, de hospitales, etc. Cada fuente se procesa de acuerdo con un procedimiento específico.

Se plantea como desafío extender el sistema para incluir las tareas de la producción estadística de población basada en datos de registros, de modo de unificar los procesos utilizando los mismos módulos de consolidación cada vez que sea posible, para compartir diccionarios, definiciones de variables y metodología de trabajo. De este modo, se puede avanzar en la interconexión digital con las áreas productoras de información armonizando las definiciones conceptuales.

Conclusiones

El uso de metadatos en todos los aspectos del sistema tiene como consecuencia inmediata la documentación de la producción estadística. Esto aporta sistematicidad y transparencia a la producción de estadística pública.

El sistema informático se diseñó en simultáneo con el Sistema Integrado de Encuestas a Hogares. Participaron activamente en dicho diseño todos los equipos de trabajo: campo, logística, procesamiento, diseño conceptual, cartografía, muestreo, informáticos, especialistas temáticos y sectorialistas. La metodología de trabajo estuvo guiada por el Diseño de Experiencia de Usuario, la Teoría de Usabilidad y lo que actualmente se llama Diseño de Servicios.

La implementación del Sistema Integrado de Encuestas a Hogares permitió aumentar y mejorar la producción de estadísticas sociodemográficas de la Dirección General de Estadística y Censos de la Ciudad de Buenos Aires.

A.1
A.1

Calendarios de semanas

A.2

Estructura operativa de campo. Esquema 1. Estructura operativa de la Encuesta Anual de Hogares

A.3
A.3

Estructura operativa de campo. Puesto, función y recursos humanos de la estructura operativa básica de las encuestas a hogares

Referencias

Nielsen, Jakob (1989), Coordinating User Interfaces for Consistency, San Francisco, Morgan Kaufmann Publishers. [Edición de 2002].

----------------------------- (2012), Mobile Usability, Berkeley, New Riders Press.

Feres, Juan Carlos y Fernanado Medina (2001), “Hacia un sistema integrado de encuestas de hogares en los países de América Latina”, en .

Filgueira, C (2005), “Reflexiones acerca de los desafíos de la construcción de un sistema integrado de información estadística”, en .

Naciones Unidas (2009). Diseño de muestras para encuestas a hogares: directrices prácticas. Estudio de métodos. Serie F Nº 98, Nueva York, Departamento de Asuntos Económicas y Sociales. División de Estadística.

Notas