Servicios
Descargas
Buscar
Idiomas
P. Completa
Metodología cualitativa para enfocar la mirada cuantitativa: la experiencia de los pretest cognitivos aplicados a la Encuesta de Salud del País Vasco
Unai Martín; Yolanda González-Rábago
Unai Martín; Yolanda González-Rábago
Metodología cualitativa para enfocar la mirada cuantitativa: la experiencia de los pretest cognitivos aplicados a la Encuesta de Salud del País Vasco
Qualitative methodology to focus the quantitative approach: the experience of cognitive pretests applied to the Health Survey of the Basque Country
EMPIRIA. Revista de Metodología de las Ciencias Sociales, núm. 43, pp. 137-158, 2019
Universidad Nacional de Educación a Distancia
resúmenes
secciones
referencias
imágenes

Resumen: En las investigaciones por encuesta, los errores de respuesta tienen una gran importancia, aunque las estrategias para su reducción son aún escasamente utilizadas. El artículo muestra la experiencia con una de estas estrategias, los pretest cognitivos, de la Encuesta de Salud del País Vasco (ESCAV). A través de entrevistas cognitivas a personas de diferentes perfiles sociodemográficos y de salud se identificaron potenciales errores de respuesta que fueron posteriormente clasificados siguiendo las fases del proceso cognitivo de pregunta-respuesta, y que sirvió para realizar propuestas de mejoras en el cuestionario. Se recogieron 83 errores de respuesta, especialmente relativos a errores de interpretación y comprensión (40) y de comunicación de respuesta (20). El artículo describe un proceso y aporta visibilidad a una metodología poco conocida en nuestro contexto, que este caso contribuyó a la identificación de posibles sesgos y errores en el diseño de los cuestionarios, y a la reflexión sobre la complementariedad de los métodos cuantitativos y cualitativos para una mejor aprehensión de la realidad social.

Palabras clave:pretest cognitivopretest cognitivo,errores de respuestaerrores de respuesta,cuestionariocuestionario,metodología cualitativametodología cualitativa,encuestas de saludencuestas de salud.

Abstract: In survey research, response errors are very relevant, although strategies to minimize them are rarely used. The article shows the experience with one of these strategies, cognitive pretests, in the Health Survey of the Basque Country. Potential response errors were identified through cognitive interviews to people of different sociodemographic and health profiles. Response errors were classified according to the components of the question-and-answer process and used to make proposals for improving the questionnaire. A total of 83 response errors were collected, specially related to errors of comprehension (40) and response (20). The article describes a process and gives visibility to a methodology not much known in our context, which in this case contributed to the identification of possible biases and errors in the design of questionnaires, and to the reflection on the complementarity of quantitative and qualitative methods for a better understanding of social reality.

Keywords: cognitive pretest, response errors, questionnaire, qualitative methodology, health surveys.

Carátula del artículo

Artículos

Metodología cualitativa para enfocar la mirada cuantitativa: la experiencia de los pretest cognitivos aplicados a la Encuesta de Salud del País Vasco

Qualitative methodology to focus the quantitative approach: the experience of cognitive pretests applied to the Health Survey of the Basque Country

Unai Martín
Universidad del País Vasco (UPV/EHU), España
Yolanda González-Rábago
Universidad del País Vasco (UPV/EHU), España
EMPIRIA. Revista de Metodología de las Ciencias Sociales, núm. 43, pp. 137-158, 2019
Universidad Nacional de Educación a Distancia

Recepción: 19/03/2018

Aprobación: 26/03/2019

1. INTRODUCCIÓN

La investigación por encuesta parte del supuesto de que podemos obtener información sobre las características de una determinada población preguntando a una parte o a la totalidad de esa población. Sin embargo, este supuesto no es del todo evidente y desde los orígenes de la investigación por encuesta se han subrayado diferentes errores que se derivan del uso de la encuesta para describir y analizar las características de una población.

Desde el enfoque del error total (total survey error approach) (Weisberg, 2005), resulta imprescindible comprender y problematizar todos los diversos tipos de errores que se producen en el proceso de realización de una encuesta, en diferentes momentos (planificación, realización y tratamiento de los datos) y por diferentes causas. A este respecto se han propuesto diferentes clasificaciones de los errores (Oppenheim, 1966; Groves, 1989; Groves, 1991), siendo una de las más completas la propuesta por Willis, que distingue siete tipos agrupados en tres categorías (Willis, 2005). La primera categoría corresponde a los errores de no-observación que se derivan de no haber encuestado a las personas correctas, bien sea por un problema de cobertura, derivado de la diferencia entre la población y el marco muestral; por un error de muestreo, derivado del carácter muestral de la mayor parte de estudios; o por un error de no respuesta, ya sea a una parte o a la totalidad del cuestionario. La segunda categoría de errores hace referencia a los errores de observación derivados, por una parte, de los errores atribuibles a la persona entrevistadora, debido a aspectos como no registrar correctamente la respuesta o no leer adecuadamente la pregunta; y por otra, al error de respuesta, que engloba sesgos relacionados con las características de las preguntas. En la tercera categoría, se englobarían los errores de post-observación, derivados de los errores de procesamiento y de interpretación de los resultados de la encuesta. A estas tres categorías de errores podría ser añadida una cuarta que se situaría en una fase anterior y que haría referencia a los errores derivados del marco conceptual y teórico de la encuesta y que provocaría un sesgo en la medición derivado de una deficiente o errónea conceptualización de los elementos a medir.

Entre todos ellos, los englobados en la primera categoría, de no observación, y concretamente los denominados errores de muestreo han sido los más analizados, hasta el punto que en ocasiones han sido considerados la única fuente de error (Castillo, 2009). Esta atención a este tipo de errores ha sido debida, en gran parte, a su aparente facilidad de cuantificación y a la existencia de todo un desarrollo metodológico y teórico que permite su tratamiento y análisis. Sin embargo, el resto de tipos de errores, tanto los de observación como los errores post-observación han sido generalmente más ignorados en el proceso de investigación por encuesta.

Entre los errores de observación resultan especialmente importantes los errores de respuesta, que hacen referencia a la discrepancia entre el verdadero valor y las respuestas recogidas del encuestado/a. La identificación de este tipo de errores es de gran relevancia para abordar el nexo entre marco conceptual y su operacionalización en el diseño de cuestionarios para la investigación por encuesta. Las respuestas de la persona encuestada tienen su fuente principal de error en el hecho de que el diseño del cuestionario parte de una serie de presupuestos que pueden no cumplirse o ser necesariamente válidos para todas las personas (Collins, 2003; Garcia et al., 2010). Así, generalmente se asume sin problematizar que no va a existir diferencias en la interpretación de la pregunta entre la persona encuestada y la persona que la diseñó. Asimismo, se parte de la idea de que la persona encuestada es capaz de contestar, quiere hacerlo, y las opciones de respuesta son capaces de reflejar su respuesta (Garcia, 2012). Debido a la asunción de estas premisas, en ocasiones, a la hora de diseñar y llevar a cabo el cuestionario y el posterior estudio por encuesta, rara vez se tiene en cuenta la perspectiva de las personas encuestadas, lo que provoca estos errores de respuesta, bien sea porque la persona encuestada no tiene la información que se le pide, no puede recordarla o no quiere expresarla, o porque malinterpreta total o parcialmente el cuestionario.

Es por ello que resulta necesario incorporar en el proceso de diseño de investigaciones por encuesta, el uso de estrategias de detección de este tipo de errores. Sin embargo, la práctica habitual en las investigaciones y estudios por encuesta consiste, en el caso de llevar alguna estrategia previa de este tipo, casi exclusivamente en la realización de un estudio piloto cuantitativo. La aplicación de esta herramienta resulta, sin embargo, muy limitada para la identificación de los errores de respuesta, ya que los estudios piloto cuantitativos no llegan a captar las diferencias en la interpretación de las preguntas que realizan las personas encuestadas. Por ello, se han desarrollado y se están aplicando cada vez con mayor frecuencia, otros métodos que desde una perspectiva cualitativa analizan los errores de respuesta para la mejora de los cuestionarios (Presser et al., 2004).

Este artículo pretende presentar un proceso de aplicación de este tipo de metodologías para la mejora de los cuestionarios de las dos últimas ediciones de la Encuesta de Salud del País Vasco (ESCAV), 2013 y 2017. Así, a partir de la experiencia empírica desarrollada para la ESCAV, se muestran las potencialidades que este tipo de metodologías tienen para la mejora de los estudios realizados por encuesta.

1.1. La importancia de los errores de respuesta y las estrategias para su reducción: del estudio piloto a los métodos pretest

Los errores de respuesta tienen una gran importancia e influencia en la validez del estudio a través de encuesta. Willis afirma que este tipo de errores constituyen el mayor impedimento para la calidad de los resultados de una investigación por encuesta (Willis, 2005). Sin embargo, se trata de un tipo de error difícilmente detectable y cuantificable (Groves, 1991), por lo que el uso de estrategias para su detección no es tan habitual como en el caso de otro tipo de errores como los de no respuesta o los derivados del muestreo.

Los estudios piloto (field pretesting o field studies), es decir, la administración previa del cuestionario final a una muestra más reducida pero similar a la población objeto de estudio, resulta necesaria ya que informa de potenciales errores, sobre todo relacionados con la duración del cuestionario o el diseño del trabajo de campo. Sin embargo, los estudios piloto no detectan gran parte de los potenciales errores de respuesta y además no informa sobre las causas de dichos errores y, por tanto, de las estrategias necesarias para su reducción. Así, por ejemplo, los resultados de un estudio piloto pueden considerarse satisfactorios si las personas encuestadas contestan a las preguntas. Sin embargo, existe evidencia de que, en ocasiones, las personas en un intento de ser educadas o agradables contestan a pesar de no haber entendido lo que se les pregunta (Collins, 2003). Por ello, un simple análisis del estudio piloto puede generar una falsa ilusión sobre la idoneidad del cuestionario y del proceso pregunta-respuesta. Además, en el caso de detectar errores, el estudio piloto no aporta la información suficiente, ya que la simple observación de que las personas encuestadas no contestan a una pregunta no informa sobre sus causas, lo que hace muy difícil buscar una solución al problema (Collins, 2003).

De esta forma, existe un amplio consenso en la literatura sobre investigación por encuesta, sobre que este tipo de estudios piloto son insuficientes si se aplican exclusivamente (Tourangeua et al., 2000; Geyer 2003) y que, por tanto, deben ser complementados con los denominados como métodos pretest de cuestionario (Castillo, 2009). Estos métodos permiten evaluar el cuestionario desde el punto de vista de los potenciales errores de respuesta, y pueden ser utilizados tanto durante el diseño del cuestionario como en la fase anterior al estudio piloto.

En su versión clásica, el pretest de cuestionario o debriefing (Castillo, 2009) se basaba en la aplicación de la encuesta por parte de un grupo de encuestadores/as tal y como lo harían en una situación real para posteriormente relatar la experiencia. Esta experiencia, que se plasmaría en un informe de la persona encuestadora, consistiría en la principal fuente de información de este pretest junto con el análisis de las frecuencias de la no respuesta o preguntas cuantitativas a la persona encuestada sobre el malestar o rechazo a las preguntas. Sin embargo, a pesar de que puede aportar información importante sobre potenciales errores, este tipo de pretest no es capaz de detectar los principales errores de respuesta ya que éstos, generalmente, no son observables a través de las conductas de la persona encuestada, incluso a pesar de formar a las personas entrevistadas, e incluso en ocasiones la persona encuestada puede incluso no ser consciente de ello (Presser et al., 2004). Por ello, la evidencia señala que aunque esta versión clásica del pretest es capaz de detectar errores, no detecta los errores de respuesta más importantes (Castillo, 2009).

Ante estas desventajas y poca efectividad de los pretest clásicos, en las últimas décadas se ha prestado atención a la mejora de las herramientas para la detección y reducción de estos errores de respuesta. De esta forma, por una parte, se ha experimentado un cambio en los objetivos de estos pretest que se han dirigido no tanto a la simple identificación de estos sesgos sino también a la mejora de la calidad de los datos. Por otra parte, se han incorporado nuevas formas y metodologías de pretest entre las que destacan las técnicas basadas en metodologías cognitivas.

1.2. Los métodos de pretest cognitivo

El origen de los métodos de pretest cognitivo se sitúa en la psicología cognitiva y concretamente en el CASM, Cognitive Aspects of Survey Methodology, de la década de 1980 (Jabine, Strafitmur y Tourangeau; 1984). La idea de la que parten estos métodos es que la respuesta a las preguntas de un cuestionario no la constituye una secuencia simple sino que requiere de una serie de complejos procesos cognitivos. De esta forma, una de las mayores aportaciones del CASM es el modelo de pregunta-respuesta que trata de explicar las diferentes etapas que se producen en ese proceso en el que la persona encuestada contesta a una pregunta del cuestionario. Según este modelo, en la primera etapa se realizaría la interpretación y comprensión de la pregunta (comprehension), en una segunda etapa se produciría la recuperación de la información (retrieval), en la tercera el individuo emitiría un juicio decidiendo cómo responder (judgement) y, por último, en la cuarta ser produciría la comunicación de la respuesta, en la que la persona encuestada seleccionaría la opción de respuesta que mejor se adaptase a la respuesta generada internamente (response). Este modelo no se concibe de una manera lineal sino en el que las fases de entrelazan (Collins, 2003) y es la base de las técnicas cognitivas de pretest. Así, éstas analizarían los diferentes errores que se pueden producir en cada una de estas fases, para detectarlos, buscar sus causas y en última instancia sus potenciales soluciones. De esta forma, su metodología consiste en explorar, siguiendo este esquema de pregunta-respuesta, el proceso por el que las personas encuestadas responden a las preguntas del cuestionario y los factores que influyen en ese proceso (Collins, 2003).

Además de partir de un marco teórico diferente y analizar procesos distintos de la encuesta, este tipo de pretest presenta una serie de diferencias frente al estudio piloto o los pretest en su versión clásica. En primer lugar, la persona encuestada conoce el objetivo de la entrevista, es decir, es explícito que su colaboración servirá para mejorar el cuestionario definitivo. En segundo lugar, la aplicación de la técnica, por ejemplo una entrevista cognitiva, no tiene por qué producirse en el mismo “entorno” que se producirá la encuesta real. En tercer lugar, la entrevista no tiene por qué ser igual que la aplicación real del cuestionario, sino que puede centrarse solamente en algunas de las partes, o se pueden introducir preguntas o elementos que no tienen que ver con los objetivos de la encuesta sino con el objetivo de evaluar el cuestionario. Además, la selección de las personas a encuestar no responde a los mismos criterios que la muestra real, sino que se buscan perfiles de personas adecuados para testar algunas preguntas sobre temática específicas o que puedan dar lugar a interpretaciones diferentes por sus diferentes posiciones en la jerarquía social. Por último, dentro del análisis se incluyen principalmente herramientas de metodología cualitativa y no únicamente cuantitativa.

Dentro de este tipo de técnicas son varias las herramientas con las que se puede afrontar la evaluación de un cuestionario. La más utilizada es quizá la entrevista cognitiva, que consiste en una entrevista que explora la manera en que los individuos procesan la información y responden al cuestionario, pero existen otros como la codificación del comportamiento, la latencia de la respuesta, el análisis de viñetas, el respondent debriefing o los experimentos (Presser et al., 2004). Este tipo de métodos permiten identificar problemas en el proceso pregunta-respuesta, es decir, en la interpretación de las preguntas, proceso de memoria, proceso de decisión (deseabilidad social, prejuicios) y selección de la respuesta (adecuación de los ítems, exclusividad y exhaustividad de las opciones de respuesta). En definitiva, el principal objetivo de la entrevista cognitiva es mejorar la comprensión del desempeño de una pregunta, que incluye no sólo identificar las dificultades para responder, sino también el valor interpretativo de la pregunta y la forma en la que ésta puede ser consistente o no con la intención para la que está incluida en el cuestionario (Miller et al. 2014). Además, las entrevistas cognitivas se han mostrado también eficaces para analizar la validez de las escalas psicológicas que se utilizan dentro de las propias encuestas (Castillo-Díaz y Padilla, 2013). Asimismo, son una buena oportunidad para detectar otros problemas relacionados con el cuestionario como las instrucciones, el diseño o la organización de las preguntas (Willis, 2005).

El desarrollo de la entrevista cognitiva se puede realizar mediante la aplicación de dos técnicas diferentes. En primer lugar, la denominada Think aloud en la que las personas entrevistadas verbalizan su proceso de pensamiento a medida que responden a la pregunta. Para ello, con anterioridad a iniciar el cuestionario, la persona entrevistadora debe explicar el procedimiento, su flexibilidad y adaptabilidad a lo que quien responde quiera manifestar sobre cada pregunta. Se trata de que la persona entrevistada cuente todo lo que se le ocurra o lo que le surja a partir de lo que se le ha preguntado, así como que explicite si tiene algún problema para entenderla, le genera dudas sobre qué se le pregunta exactamente o si le cuesta dar una respuesta. Ello permite a la persona entrevistadora conocer el proceso mental de quienes responden al cuestionario procurando evitar cualquier intervención que pueda condicionar el proceso pregunta-respuesta (Willis, 2005; Miller et al. 2014).

Una segunda técnica de entrevista cognitiva es la denominada Verbal probing, que consiste en la realización de preguntas extras diseñadas con anterioridad para desentrañar cada etapa del proceso de pregunta-respuesta en cada una de las preguntas del cuestionario (Willis, 2005; Miller et al. 2014). Un primer tipo de preguntas concretas pretenden probar la adecuada comprensión de la pregunta profundizando en el sentido otorgado por la persona encuestada a través de otras preguntas como: ¿Qué significa este término para ti? ¿Podrías explicarme con tus palabras qué significa el término…..? Un segundo tipo de preguntas inciden sobre la manera en la que la persona ha recuperado la información sobre la que se le pregunta, por ejemplo, preguntándole ¿cómo has recordado ese hecho o ese momento? ¿Te ha sido difícil acordarte? Un tercer tipo de preguntas se centran en averiguar si la persona entrevistada ha respondido condicionado por sus creencias o por la deseabilidad social, profundizando a través de preguntas como ¿cuál crees que es la respuesta más común a esta pregunta? ¿Te gustaría estar en otra situación respecto a…….? Por último, el método verbal probing analiza la coherencia entre la respuesta dada por la persona entrevistada y lo que realmente quiere responder, es decir, su capacidad para comunicar la respuesta que más se acerque a su situación u opinión. En este sentido, se insiste a través de preguntas como ¿te ha resultado fácil o difícil elegir una de las opciones de respuesta? ¿Crees que falta alguna opción de respuesta? ¿Has comprendido bien la escala de la pregunta?

El uso de este tipo de metodologías se encuentra ampliamente extendido en los principales institutos estadísticos y de investigación. De esta forma, el INE ha utilizado este tipo de metodologías en encuestas como la Encuesta Nacional de Salud (López y Álvarez 2007), la Encuesta de Población Activa, la Encuesta Europea de Salud, la Encuesta sobre Discapacidad, Autonomía Personal y Situaciones de Dependencia, la Encuesta a Inmigrantes, la Encuesta Social Europea o el Censo de Población y Vivienda (2011).

En el campo de la investigación en salud, este tipo de metodologías cuentan también con amplia tradición (Lake et al, 2007; Horwood et al 2010; Garcia et al, 2010; Ploughman et al 2010) y su uso ha sido recomendado por instituciones como el National Center for Health Statistics Questionnaire Design Research Laboratory del Centers for Disease Control and Prevention (Garcia, 2012). Asimismo, han servido incluso para el análisis y potencial mejora de escalas clásicas ampliamente validadas como el SF-36 (Mallinson, 2002), el Indice de Barthel, el EQ-5D (Ploughman et al 2010) o el IPAQ, en las que la metodología pretest ha permitido detectar problemas relacionados con la interpretación de las mismas por parte de las personas encuestadas a los que los métodos de validación clásicos no eran sensibles. En el caso del Estado español, esta metodología ha sido aplicada a la mejora de la Encuesta Nacional de Salud 2006 (López y Alvarez, 2007), pero su utilización continúa siendo escasa en el resto de encuestas de salud (Requena et al. 2013).

2. EL PRETEST COGNITIVO DE LA ENCUESTA DE SALUD DE LA COMUNIDAD AUTÓNOMA VASCA

La ESCAV se trata de un estudio por encuesta llevado a cabo por el Gobierno Vasco con el objetivo de analizar el estado de salud y sus determinantes en la población del País Vasco. La primera edición se llevó a cabo en 1986 y a partir de 1992 se realiza de manera quinquenal. Desde entonces se ha aplicado una metodología similar que consiste en la aplicación a una muestra representativa de hogares del País Vasco de dos cuestionarios, uno familiar, que recoge información para todos los miembros de la unidad y uno personal, aplicado a una muestra de los miembros de hogar. Previa a la realización del trabajo de campo de la ESCAV, se lleva a cabo un estudio pretest cuantitativo de cara a evaluar posibles sesgos tanto en la logística y organización del trabajo de campo como a las características de los cuestionarios utilizados.

En las ediciones de 2013 y 2017 se diseñó un pretest cognitivo cualitativo como complemento al tradicional estudio piloto cuantitativo. La aplicación de este tipo de técnicas de mejora de cuestionario resulta especialmente importante en las encuestas de salud como la ESCAV, debido entre otras cosas a la complejidad de su diseño y de los cuestionarios (uno familiar y otro individual) que la conforman, la sensibilidad de los temas que trata, así como por la inclusión de nuevos contenidos en las dos ediciones en las que se ha llevado a cabo el pretest. Además, la ESCAV tiene dos idiomas de administración, castellano y euskera, por lo que se evaluaron también cuestiones relativas a la traducción de conceptos y comprensión lingüística de los mismos. Es por ello, que los resultados del proceso pueden tener una aplicabilidad a otros estudios por encuesta, tanto en lo referente a poder evaluar las aportaciones de este tipo de métodos, como a la identificación de aspectos sobre preguntas concretas que pueden aplicarse a otros contextos.

El objetivo de los dos pretest cognitivos ha sido identificar los potenciales errores de respuesta de la Encuesta de Salud del País Vasco en sus ediciones de 2013 y 2017 (en adelante ESCAV’13 y ESCAV’17), mediante el estudio del proceso de pregunta-respuesta de los cuestionarios (familiar e individual), de cara a proponer cambios en los cuestionarios que eviten los posibles errores de respuesta identificados.

2.1. Fases y metodología aplicada

Los dos pretest cognitivos para la ESCAV’13 y la ESCAV’17 se desarrollaron en dos fases que se resumen en la figura 1.

La primera de las fases consistió en la revisión de los cuestionarios de la ESCAV por parte de investigadores/as expertos/as del ámbito de las Ciencias Sociales y las Ciencias de la Salud. En el caso de la ESCAV’13 la revisión la realizaron tres personas y en el de la ESCAV’17 cinco personas participaron en esta primera fase. Estas personas fueron seleccionadas para realizar dicha revisión por sus conocimientos y experiencia previa tanto en metodología de investigación basada en encuesta como en materia de salud y de sistema sanitario. Ninguna de las personas expertas había participado anteriormente en ninguna de las fases de elaboración del cuestionario de la ESCAV, aunque en algunos casos sí conocían la encuesta. Esta primera fase de revisión tenía como objetivo identificar a) preguntas susceptibles de error, b) aspectos generales susceptibles de error (sobre el diseño, el orden de las preguntas, posibles incoherencias, etc.), y c) grupos específicos de población con potenciales errores específicos en a) y b).

En base a los resultados de estas revisiones y teniendo en cuenta los objetivos de la ESCAV, su público objetivo, y las características de las diferentes preguntas (novedad, dificultad, etc.) se identificaron los bloques de preguntas o preguntas concretas sobre las que se iba a realizar especial hincapié durante las entrevistas cognitivas, y que en adelante se denominarán como preguntas-problema. Para esta identificación se tuvo en cuenta las diferentes etapas del proceso pregunta-respuesta para determinar los potenciales errores de cada etapa.

Asimismo, se identificaron los diferentes perfiles sociodemográficos que deberían cubrirse con las entrevistas. La definición de estos perfiles y del número de personas a entrevistar se realizó en base a los objetivos de la ESCAV y al tipo de preguntas-problema seleccionadas, de cara a recoger todos aquellos perfiles de personas a encuestar que por sus características sociodemográficas o de salud pudieran mostrar dificultades al responder a la encuesta. Así se realizaron la mitad de las entrevistas a hombres y la otra mitad a mujeres, a personas de tres grupos de edad (15-19, 20-54 y 55 y más años), de diferentes niveles socioeconómicos (tanto de renta como de nivel estudios). Además, se entrevistó a al menos una persona que cumpliera alguna de las características especiales que se relacionaban con la temática de la encuesta, esto es: personas cuidadoras de dependientes (tanto de menores, como de discapacitados o familiares dependientes), personas con diferentes relaciones con la actividad (con empleo remunerado, en desempleo, jubilado, estudiantes y labores del hogar), personas con lengua materna euskera (para testar la versión del cuestionario en euskera), personas inmigrantes, personas homosexuales, personas con limitación de la actividad o problemas crónicos de salud, y personas con asistencia sanitaria tanto únicamente a través de Osakidetza-Sistema Sanitario Público Vasco, como combinada con seguros privados.



Figura 1. Resumen de las fases del trabajo de campo

En una segunda fase se llevaron a cabo 13 entrevistas cognitivas en la edición ESCAV’13 y 17 entrevistas cognitivas en la edición ESCAV’17, en ambos casos tanto del cuestionario individual como del familiar. La metodología llevada a cabo durante las entrevistas cognitivas fue mixta, utilizando tanto la técnica think aloud como verbal probing. En lo que se refiere a la primera metodología, de manera general y para todas las preguntas de los dos cuestionarios, familiar e individual, se pidió a las personas entrevistadas que verbalizaran cualquier idea, duda o pensamiento que fueran teniendo en su proceso de pregunta-respuesta. Es decir, se les pidió que una vez hecha/leída1 cada pregunta pensaran en alto su respuesta y la manera en la que habían llegado a ella. A partir de sus reflexiones la persona entrevistadora podía hacer otras preguntas añadidas para indagar los posibles errores de respuesta.

En segundo lugar, se utilizó como metodología complementaria la denominada verbal probing con las preguntas-problema definidas en la primera fase. Para cada una de las preguntas-problema se diseñaron diferentes tipos de preguntas adicionales, de cara a profundizar en cada caso en la comprensión de la pregunta, la recuperación de la información, el juicio sobre la misma y la comunicación de la respuesta final. Se identificaron posibles problemas en las distintas etapas del proceso según las características de la pregunta (longitud del enunciado, variedad en las categorías de respuesta, lectura previa de explicaciones o definiciones, etc.), el tipo de respuesta que tenían que dar las personas entrevistadas (abierta, semiabierta, cerrada, de escala), o la temática de la pregunta (recuerdo de hechos pasados, valoración de su comportamiento o del de otras personas, evaluación de servicios o recursos disponibles, etc.).

Por último, tras la finalización de los cuestionarios, se pidió a las personas entrevistadas una valoración general acerca de la dificultad de las preguntas, las dudas que le habían suscitado, o cualquier otro aspecto que quisiera mencionar acerca de cómo se había sentido a lo largo de la entrevista.

Dos personas investigadoras realizaron tanto la contactación como las entrevistas. La mayor parte de las entrevistas tuvieron lugar en la vivienda habitual de la persona entrevistada, otras se realizaron en un bar o cafetería cercana a sus domicilios, y una entrevista se realizó en la oficina de Médicos del Mundo Bilbao, organización que ayudó a la contactación de dicha entrevista. Las entrevistas tuvieron una duración media de una hora y media y se estableció una gratificación monetaria de 25 euros a cada persona entrevistada por el esfuerzo y tiempo dedicado para la realización de la entrevista. Se solicitó a todas las personas entrevistadas el consentimiento informado y el permiso para la utilización de la información a través de un documento estandarizado.

Tras la realización de las entrevistas cognitivas, se realizó un vaciado de contenido que fue analizado pregunta a pregunta, identificando aquellas en las que al menos una persona hubiera tenido problemas para responder o le hubiera generado dudas sobre cómo hacerlo. Una vez identificadas todas las preguntas o partes del cuestionario que eran problemáticas, se realizaron propuestas de modificación por parte de tres miembros del equipo investigador, entre ellos las dos personas que habían realizado las entrevistas cognitivas.

3. RESULTADOS

Tras el análisis de los resultados de las entrevistas cognitivas realizadas en ambas ediciones de la ESCAV, se identificaron un total de 83 preguntas que presentaron (de forma completa o alguna parte de ella) algún tipo de potencial error de respuesta en diferentes fases del proceso de pregunta-respuesta. Durante el pretest cognitivo realizado para la ESCAV’13 se recogieron 39 errores, relacionados fundamentalmente con la fase interpretación-comprensión (18), y dicho número ascendió a 44 en la ESCAV’17, también en su mayoría relativos a la fase interpretación-comprensión (22). La existencia de potenciales errores de respuesta en la última edición de la encuesta, a pesar del desarrollo del pretest cognitivo y la corrección de los mismos en la edición de 2013, se debió fundamentalmente a la incorporación de nuevas preguntas en el cuestionario y también al cambio en el diseño de otras.

Para la presentación de los resultados se seguirá la estructura de fases del proceso de pregunta-respuesta, mostrando a través de algunos ejemplos los errores detectados y las propuestas realizadas para la mejora de la pregunta. La selección de los ejemplos que se utilizan se ha realizado en base a que fueran ilustrativos del tipo de error analizado y que recogieran todos los tipos de errores. En la tabla 1 se recoge la distribución de los errores según la fase del proceso de pregunta-respuesta en cada una de las ediciones de la encuesta.



Tabla 1. Errores de respuesta según fase del proceso de pregunta-respuesta y edición de la ESCAV

2

3.1. Errores de interpretación y/o comprensión

En primer lugar, se identificó un número elevado de errores de interpretación y/o comprensión de las preguntas, siendo este tipo el mayoritario. Conceptos como los de familia, enfermedad común, hospital de día, problema crónico, actividad física, la diferencia entre lo público y lo privado dentro del sistema sanitario, o la identificación del término trabajo como empleo remunerado, entre otros conceptos, han dado lugar a dificultades y diferencias notables en la interpretación de las preguntas por parte de las personas entrevistadas respecto a lo planificado por el equipo de diseño del cuestionario.

En el caso del concepto de familia, este término era utilizado en la ESCAV en diversas ocasiones para hacer referencia al grupo de personas que formaban el hogar de la persona encuestada bajo el supuesto de que había una única interpretación del mismo. Sin embargo, durante las entrevistas realizadas en este proceso se hizo evidente su complejidad y su falta de concreción en la actualidad, derivado de los cambios en la concepción y configuración de la familia durante las últimas décadas, y que por tanto, su uso en el cuestionario llevaba a sesgos considerables. Así, por ejemplo, a la hora de medir el estatus socioeconómico de la persona encuestada se hacía referencia en varias ocasiones al concepto familia. Es el caso de la pregunta siguiente:



46.e) En el momento actual definiría a su familia como: (TARJETA Nº 8)

El estudio cualitativo mostró que, en algunas ocasiones, especialmente en el perfil de personas jóvenes, no se respondía bajo el concepto diseñado, sino que se hacía pensando en la familia extensa o por la familia de los progenitores en lugar de por la familia residente en el hogar. Esto llevaba a un importante sesgo en la medición del estatus socioeconómico de la persona encuesta. En este sentido, se modificaron las referencias a la familia sustituyéndolas por el término hogar, o en el caso de que se quisiera restringir las preguntas a la familia nuclear se optó por preguntar directamente enumerando los familiares.

Por otro lado, un concepto que generó dificultades para ser comprendido fue el de enfermedad común. En el diseño de la ESCAV este término se utilizaba para hacer referencia a todas aquellas enfermedades no relacionadas con el ámbito laboral o derivadas de esta actividad. Es el caso, por ejemplo, de la pregunta para recoger las causas de discapacidad.



14.c) El problema de salud que le ha causado esta limitación ha sido causado por:

Sin embargo, en algunas ocasiones, las personas no entendían el concepto bajo el que se diseñó la pregunta, sino que éste hacía referencia a enfermedades típicas o habituales, en contraposición a “enfermedades raras”. Ello suponía un potencial sesgo importante, ya que podría provocar que las restricciones o limitaciones de la actividad debidas a enfermedades consideradas como no típicas se consignaran bajo la categoría “otras causas”. Este ejemplo muestra la distancia que en ocasiones existe entre el lenguaje técnico (en este caso médico) y el lenguaje no técnico. Por ello se propuso cambiar este término por enfermedad no relacionada con el trabajo o no laboral e incorporar una advertencia específica en el manual del/a encuestador/a.

En este mismo sentido, el concepto de problema crónico fue interpretado de formas diferentes por las personas entrevistadas. La mayoría de ellas solo consideraron crónicos aquellos que han sido diagnosticados por un profesional sanitario y que tienen algún tipo de tratamiento. Otras personas, consideraron que los problemas crónicos son aquellos que necesitan revisiones periódicas y una prescripción médica para su estabilidad. Así, a pesar de verbalizar que tenían un problema de salud de larga duración, al no considerar que pueda tener tratamiento o que su médico/a no le haya dado ninguna “solución”, no respondían afirmativamente. Por ello, se recomendó dar una definición más extensa de lo que debe considerarse una enfermedad o problema de salud crónico.

Finalmente, otra de las posibles fuentes de confusión respecto a cómo interpretar la pregunta se produce cuando se ofrecen ejemplos para ayudar a concretar, que en algunos casos, al contrario de lo deseado, pueden entenderse como contradictorios con la pregunta realizada. En el caso de la ESCAV se ofrecían ejemplos de actividad física moderada e intensa para poder definir estos dos niveles de ejercicio. Sin embargo, algunos de estos ejemplos resultaban poco actuales o no se adaptaban a todos los colectivos de personas encuestadas. Así, durante las entrevistas cognitivas se expresó la dificultad para responder este tipo de preguntas atendiendo a los ejemplos ya que la definición de lo que cada persona considera actividad física intensa o moderada es diferente, en función de su edad, su capacidad física, su entrenamiento, etc. Se verbalizó que los ejemplos distorsionaban el sentido de la definición de actividad física intensa o moderada dada en el encabezado: “esfuerzo físico intenso y que le hacen respirar mucho/algo más intensamente de lo normal”, ya que actividades definidas como intensas tales como “levantar objetos pesados o cavar” no son muy comunes y no se incluía entre ellas otras más actuales como realizar ejercicios en el gimnasio, nadar en la piscina o realizar otro tipo de deporte. Por ello se aconsejó realizar una actualización de los ejemplos dados e incluir una advertencia específica en el manual del/a encuestador/a para que indague sobre otras actividades físicas que la persona encuestada pueda hacer y que no haya considerado en un primer momento.

3.2. Errores de recuperación de la información

A lo largo de los cuestionarios de la ESCAV se realizan diversas preguntas sobre el tiempo que se dedica a ciertas tareas, como ver la televisión, videojuegos, ordenador o Internet, realizar labores del hogar, cuidar de personas dependientes, dormir, etc. El estudio cualitativo mostró que, en ocasiones, este tipo de preguntas suponen dificultades de recuperación de la información, dado que son actividades que se realizan en diferentes momentos del día y es difícil establecer con exactitud el tiempo dedicado. Esta dificultad se ve incrementada porque algunas de esas actividades se realizan de forma paralela con otras. Este es el caso del tiempo dedicado a los cuidados o a ayudar a una persona dependiente, o respecto al tiempo que se pasa sentado/a en un día normal, que debe incluir el tiempo “en la oficina, visitando amigos/as, leyendo, viajando, estudiando o viendo la televisión”.

Además, este tipo de errores están relacionados también con las preguntas en las que se interroga por el tiempo transcurrido entre dos momentos, como es el caso de las preguntas sobre las listas de espera o el lapso entre encontrarse enfermo/a y solicitar la cita médica.




Asimismo, las personas entrevistadas expresaron su dificultad para realizar un cálculo preciso sobre los gastos sanitarios, en los que además se preguntan por diferentes tipos de gasto (productos farmacéuticos, material terapéutico, servicios recibidos por distintos personales sanitarios, etc.) y acerca de diferentes periodos de tiempo (15 días, último mes, 6 meses, 12 meses).

Dada la necesidad de homogenización internacional de las preguntas para la comparación de resultados, no se realizaron cambios sustanciales en este tipo de preguntas. Sin embargo, sí se advirtió tanto durante la formación a las personas encuestadoras como en el manual del/a encuestador/a sobre la dificultad para la recuperación de la información en estas preguntas.

3.3. Errores de juicio o proceso de decisión

Este tipo de errores se producen en el momento del proceso pregunta-respuesta cuando la persona encuestada realiza un juicio sobre lo que es oportuno o deseable socialmente responder. En este momento, la respuesta puede ser modificada para adaptarse a lo que considera correcto. Esto ocurre, sobre todo, en preguntas cuyo contenido o respuesta pueden producir rechazo o son difícilmente asumibles por las personas.

En el caso de la ESCAV, se identificaron cinco potenciales errores de este tipo en la edición de 2013 y cuatro en la de 2017. Es el caso de las cuestiones relativas a la discriminación, que fue recogida por primera vez en la ESCAV de 2013.




En algunos casos, el problema puede venir de términos que generan rechazo en el sentido de que las personas no quieren sentirse englobados dentro de esa determinada categoría o estado. Por ejemplo, en el caso de la ESCAV los resultados del pretest cualitativo mostraron que el propio término discriminación generaba rechazo y sólo en situaciones extremas la persona reportaba haber sido objeto de algún tipo de discriminación. Así, se observó que la posición de persona discriminada, es un estado que resultaba incómodo y era frecuentemente negado en un primer momento. Sin embargo, tras preguntas más concretas se reportaba haber sufrido situaciones de discriminación. Es por ello que, aunque necesaria la mención al término discriminación, se recomendó reformular la pregunta postergándolo al final de la misma y ofreciendo diversas causas: En los últimos 12 meses, ¿no se le ha permitido hacer algo, se le ha molestado, se le ha hecho sentir inferior, o se ha sentido discriminado/a por alguna razón? Ello ha podido ser a causa de su edad, sexo, etnia, lugar de nacimiento, nivel de estudios, clase social, lengua, ideas políticas, orientación sexual, religión, discapacidad o enfermedad o por otras razones.

Además, otros términos resultaron también marcados por la deseabilidad social. Es el caso de la palabra sedentario que en la ESCAV se utilizaba para describir una posible opción de respuesta en una pregunta referida al nivel de actividad física en el tiempo libre de las personas menores. La pregunta se realizaba al padre o madre con la siguiente formulación.




El pretest cualitativo mostró la connotación negativa que las personas con hijos o hijas atribuían a este término cuando se hacía referencia a sus hijos o hijas, especialmente en un contexto de salud. Este hecho podría llevar a un sesgo evidente que haría infraestimar el sedentarismo entre los menores.

Se propuso, por tanto, no mencionar dicho término y enumerar únicamente las actividades a las que se refieren (“No hace ejercicio. Su tiempo libre lo ocupa en leer, ver la televisión, juegos en casa, videoconsolas, ordenador, etc.”). En el mismo sentido se propuso cambiar el término deficiencia por “discapacidad”, mucho más aceptado socialmente.

3.4. Errores de comunicación de respuesta

Este tipo de errores se producen principalmente por no adecuarse la pregunta o las opciones de respuesta a la situación de la persona encuestada.

En el caso de la ESCAV representan el segundo tipo de errores más prevalentes después de los de interpretación-comprensión. Por ejemplo, a la hora de categorizar la situación socioeconómica de la persona encuestada, se pregunta a todas aquellas personas ocupadas, o que han trabajado en algún momento de su vida, por el cargo o categoría profesional.




El estudio cualitativo mostró que las opciones de respuesta eran, sin embargo, difíciles para la autoubicación de numerosos/as profesionales, ya que las estructuras jerárquicas, tanto en la administración pública como en la empresa privada, han ido evolucionado creándose nuevas categorías profesionales que no aparecen entre las opciones de respuesta. En la mayoría de las entrevistas las personas han tenido muchas dudas a la hora de responder acerca de su cargo o categoría, adecuando su situación con dificultad a las opciones de la pregunta. Por ello, se recomendó actualizar la clasificación de cargos o categorías profesionales.

Este tipo de errores también se producen cuando la persona encuestada responde acerca de elementos diferentes dependiendo de sus circunstancias concretas, es decir, cuando un mismo concepto puede abarcar más de un elemento y será respondido acerca de uno u otro según las condiciones en las que se encuentre la persona. En el caso de la ESCAV, un problema de este tipo fue identificado en la pregunta que intentaba medir el grado de información con el sistema sanitario.




El sistema sanitario fue un concepto que, aunque se comprende fácilmente, puede abarcar tanto el sistema público como el privado. Entre las personas entrevistadas surgió la duda de si la pregunta se refería únicamente al sistema público o a ambos, y resultó difícil de responder para aquellas personas que habían utilizado servicios tanto del sistema público como del privado, ya que su satisfacción podía ser diferente. En este sentido se propuso especificar si se trataba de valorar los servicios de salud públicos o el sistema sanitario en su conjunto, y en dicho caso, separar en dos preguntas para poder diferenciarlos.

Asimismo, los errores de comunicación de respuesta se producen cuando el concepto sobre el que se pregunta no sigue un estándar unívoco. En estos casos la comunicación de la respuesta puede producir dudas en la persona encuestada, a pesar de que ésta tenga claro cuál es el concepto sobre el que se interroga. En la ESCAV se pregunta sobre el consumo de fruta y verdura diario, requiriendo especificar el número de raciones. Las personas entrevistadas mostraron sus dudas a la hora de cuantificar las raciones de verdura que, a diferencia de las de fruta, no se trata de un concepto tan popularmente extendido y a pesar de ser conscientes de cuanta verdura comían al día, la comunicación de la respuesta en términos de raciones les resultaba difícil. En este sentido se propuso la inclusión de la definición estándar de ración de verdura en el enunciado.

3.5. Características generales del cuestionario

Además de los aspectos señalados relacionados con el proceso pregunta-respuesta se identificaron otros potenciales fuentes de error. Así, en ocasiones las constricciones de tiempo y recursos provocan que se tienda a reducir al máximo el número de preguntas y el texto del cuestionario resultando, a veces, difíciles de seguir o no incluyendo explicaciones necesarias. En los cuestionarios autorrellenables es si cabe más importante producir en la persona encuestada la sensación de coherencia y compresibilidad de las diferentes partes del mismo. En este sentido las entrevistas cognitivas de la ESCAV dieron lugar a varias mejoras relacionadas con la estructuración y presentación de las preguntas. Por ejemplo, se propuso insertar títulos separadores entre las diferentes preguntas relativas a la actividad física (intensa, moderada, caminar, estar sentado/a), de manera que resultara más fácil identificar el tipo de ejercicio sobre el que se interrogaba.

De la misma manera en el bloque relativo a las consultas médicas, se recomendó que al inicio del bloque se incluyera una explicación sobre los diferentes tipos de consultas sobre las que se iban a preguntar a continuación (médico/a general, especialista, enfermero/a, matrón/a, dentista/ortodoncista y otras especialidades), indicando que habrá preguntas que hacen referencia a distintos niveles asistenciales y la importancia de identificar adecuadamente el tipo de consultas que la persona entrevistada haya realizado.

Por otro lado, con el objetivo de reducir el número de preguntas, la ESCAV había diseñado la unión de dos preguntas que hacían referencia a cada tipo de consulta médica, en la que era necesario especificar el número de consultas realizadas y quién había asumido el coste de la misma. Esta pregunta resultó para las personas entrevistadas muy complicada de responder por ser demasiado larga y preguntar por dos cuestiones muy diferentes. Por ello, a pesar de que aumentaba el espacio del cuestionario se propuso que la pregunta se separase de nuevo en dos, primero contestando cuántas veces se había acudido a una consulta y después preguntando para cada una de ellas quién se había hecho cargo del coste.

4. CONCLUSIONES

Los estudios por encuesta constituyen una fuente importante de conocimiento de la realidad social y una herramienta esencial en la investigación sociológica. Sin embargo, a pesar de su potencialidad, son numerosos los potenciales sesgos derivados de diferentes tipos de errores. Dentro de estos, los errores de respuesta han atraído en menor medida que otros la preocupación de las personas investigadoras a pesar de su enorme impacto sobre la calidad de los datos obtenidos.

En este artículo se ha mostrado la potencialidad que el pretest cognitivo tiene para identificar los errores de respuesta en una investigación por encuesta. Los resultados sirvieron para mejorar aspectos concretos de los cuestionarios de la encuesta de salud en el País Vasco. Así, utilizando las diferentes fases del proceso de pregunta-respuesta se identificaron potenciales errores en: la interpretación-comprensión de las preguntas; la recuperación de la información necesaria para responderla; los juicios y procesos de decisión; y, por último, la comunicación de la respuesta. Por último, los resultados también sirvieron para mejorar aspectos generales del cuestionario como la estructura o las instrucciones.

Además de las mejoras del cuestionario el proceso también tuvo un importante impacto que no se tradujo en aspectos concretos del cuestionario. Así, el proceso llevó al equipo de la encuesta de salud a ser consciente de potenciales sesgos en la aplicación de estos cuestionarios en particular y de la investigación por encuesta en general. Esto fue evaluado muy positivamente por el equipo ya que favorece un ejercicio de replanteamiento crítico de esta herramienta que facilita un mejor diseño de la misma.

Las aportaciones que la psicología cognitiva y, en concreto, del Cognitive Aspects of Survey Metholodoly, resultan de gran transcendencia para conocer y hacer consciente durante el proceso de diseño de encuesta la subjetividad y variabilidad que implica toda interacción comunicativa entre personas, en este caso, entre la persona investigadora y la persona encuestada. La aplicación del conocimiento sobre el modelo de pregunta-respuesta a la investigación por encuesta, resulta de gran valor metodológico, no sólo en la configuración de nuevas encuestas o nuevas preguntas dentro de una encuesta, sino también en la revisión de preguntas que forman parte de series históricas, de manera que éstas sigan siendo válidas para recoger información sobre la cuestión de interés.

En una sociedad cambiante y cada vez más diversa, resulta de extrema importancia considerar las diferentes formas de nombrar los procesos sociales en los que viven insertos los grupos sociales y cómo ello tiene gran impacto en la manera de acercarse desde la investigación por encuesta a los fenómenos sociales, su descripción, cuantificación y caracterización. Un mejor diseño de los cuestionarios permite un mejor conocimiento de la realidad social, facilitando un mejor diagnóstico de las necesidades que contribuya, finalmente, al diseño efectivo de políticas sociales.

5. AGRADECIMIENTOS

Quisiéramos agradecer el trabajo de las personas que participaron en el proceso de investigación, tanto a aquellas que aportaron su visión experta o realizaron parte del trabajo de campo, como a aquellas que fueron entrevistadas y sin las que el trabajo no hubiera sido posible. Entre las primeras se encuentran: Irune Ruiz, Elena Rodriguez, Nerea Lanborena, Amaia Bacigalupe, Idoia García, Marian Ispizua, Santiago Esnaola, Estibaliz Elorriaga, Maite de Diego y Montse Calvo. Y entre las segundas un total de 30 personas que por cuestiones éticas permanecen en el anonimato.

Material suplementario
6. BIBLIOGRAFÍA
CASTILLO, M. (2009): Utilidad de los Métodos de Pretest para la Evaluación de los Cuestionarios en la Investigación mediante Encuesta. Tesis Doctoral. Granada, Universidad de Granada.
CASTILLO-DÍ­AZ, M. y PADILLA, J. (2013): “How Cognitive Interviewing Can Provide Validity Evidence of the Response Processes to Scale Items”. Social Indicators Research 12/01;114(3), pp. 963-975.
COLLINS, D. (2003): “Pretesting survey instruments: an overview of cognitive methods”. Quality of Life Research, 12, pp. 229-238.
GARCIA, A. (2011): “Cognitive Interviews to Test and Refine Questionaires”. Public Health Nursing. 28(5), pp. 444-450.
GEYER, S. (2003a): “Testing questionnaires with cognitive methods: part I, Probing questions”. Soz-Präventivmed, 48, pp. 133-134.
GEYER, S. (2003b): “Testing questionnaires with cognitive methods: part 2, Thinkalouds”. Soz-Präventivmed, 48, pp. 392-393.
HORWOOD, J. et al. (2010). “Listening to patients: using verbal data in the validation of the Aberdeen Measures of Impairment, Activity Limitation and Participation Restriction (Ab-IAP)”. BMS Musculoskeletal Disorders, 11:182.
JABINE, TB. et al. (1984): Cognitive aspects of survey methodology: building a bridge between disciplines. Washington DC, National Academy Press.
LAKE, AA. et al. (2007): “Development of a series of patient information leaflets for constipation using a range of cognitive interview techniques: LIELAX”. BMC Health Services Research. 7:3.
LÓPEZ, M. y ÁLVAREZ, R. (2007): “Pretest cognitivos del cuestionario de la Encuesta Nacional de Salud 2006 y de la traducción al español del Módulo Europeo de Estado de Salud”. Metodología de Encuestas, 9, pp. 43-56.
MALLINSON, S. (2002): “Listening to respondents: a qualitative assesment of the Short-Form 36 Health Status Questionnaire”. Social Science and Medicine, 54, pp. 11-21.
MILLER, K.; WILLSON, S.; CHEPP, V. y PADILLA JL. (ed) (2014): Cognitive interviewing methodology. New Jersey, Willey.
PLOUGHMAN; M. et al. (2010): “Applying cognitive debriefing to pre-test patient-reported outcomes in older people with multiple sclerosis”. Quality Life Research, 19, pp.483-487
PRESSER, S. et al. (2004): Methods for testing and evaluation survey questions. Nueva Jersey, John Wiley & Sons.
REQUENA; ML.; SUÁREZ, M.; PÉREZ O.; y Grupo Técnico de Encuestas de Salud de la Subcomisión de Sistemas de Información del Consejo Interterritorial del Sistema Nacional de Salud (2013): “Encuestas de Salud en España: situación actual”. Revista Española de Salud Pública, 87, pp. 549-573.
TOURANGEAU, R.; RIPS, LJ. y RASINSKI K. (2000) : The psychology of survey response. Cambridge, Cambridge University Press
WEISBERG, HF. (2005): The Total Survey Error Approach: a Guide to the New Science of Survey Research. Chicago, University Of Chicago Press
WILLIS, GB. (2005): Cognitive interviewing: a tool for improving questionnaire design. Thousands Oaks. CA, Sage.
Notas
Notas
1 El cuestionario familiar es administrado por una persona encuestadora y se compone de aproximadamente 180 preguntas, en función de la edad de las personas miembros del hogar y de las respuestas dadas a preguntas anteriores, y el cuestionario individual es autorrellenable, salvo incapacidad de la persona encuestada para llevarlo a cabo, y se compone de 140 preguntas aproximadamente, en función de la edad de la persona y sus respuestas a preguntas anteriores.
2 Aunque no se trata de una fase concreta del proceso de pregunta-respuesta, sí se detectaron errores derivados de las características generales de la pregunta, como aquellos derivados del orden de las mismas, de las repeticiones de algunos términos o formulación de preguntas similares, o aquellos derivados de producir un impacto sobre el bienestar de la persona entrevistada.


Figura 1. Resumen de las fases del trabajo de campo


Tabla 1. Errores de respuesta según fase del proceso de pregunta-respuesta y edición de la ESCAV

2



46.e) En el momento actual definiría a su familia como: (TARJETA Nº 8)


14.c) El problema de salud que le ha causado esta limitación ha sido causado por:















Buscar:
Contexto
Descargar
Todas
Imágenes
Visor de artículos científicos generados a partir de XML-JATS4R por Redalyc