INTERNET COMO MODO DE ADMINISTRACIÓN DE ENCUESTAS

Han pasado más de cien años desde que se diseñó la primera encuesta con cuestionario estandarizado con una muestra con horizonte inferencial. Claro está, era en papel. Hoy, nuestro instrumento de comunicación vertebral es internet, por lo que cada vez son más las encuestas con cuestionarios administrados a través de este canal. Ahora bien, igual que el cambio del papel al teléfono implicóuna ya larga reflexión metodológica sobre las condiciones de su adaptación, haceya más de un par de decenios que tal reflexión se ha traslado a las encuestas con cuestionario estandarizado en internet. Reflexión presente en la obra de Díazde la Rada, Domínguez y Pasadas; a pesar de que no es su objetivo principal. Una reflexión que toma la forma de las preguntas pertinentes en cada una de las etapas del diseño de este método.

A pesar de su relativa corta historia, las encuestas en la web acumulan ya una notable bibliografía metodológica, aquella destinada a evaluar las ventajas e inconvenientes de su uso para las investigaciones de calidad. A tal abundancia de referencias han contribuido fundamentalmente tres aspectos: 1) el progresivo aumento del uso de internet en la sociedad, 2) el intenso debate dentro de la literatura metodológica sobre la pertinencia del uso de este método, teniendo en cuenta el grado de madurez digital de la población; 3) la gran ventaja para el análisis metodológico que se deriva de la extensa trazabilidad en la web y la posibilidad de diseñar distintas y nuevas métricas, hasta ahora desconocidas. El hecho de que todo -o casi todo queda registrado en la web, poniendo a disposición del analista ficheros con los comportamientos del encuestado en su relación con el cuestionario. Los para datos, que así se llaman estos registros suplementarios a las explícitas respuestas de los encuestados, se han convertido en material de gran valor para metodológicos.

Pues bien, el texto no elude la referencia a tales fuentes para el análisis y perfeccionamiento del método. Sin embargo, las preguntas que intenta responder son de otra índole. Más dirigidas a advertir a potenciales practicantes del método, que a meta-evaluadores del mismo, en comparación con otros. Eso sí, parece partirse de la imagen de un lector que, al menos, tiene alguna experiencia en el diseño de encuestas y cuestionarios, que conoce sus rudimentos y conceptos básicos. Así, el diálogo que se establece con este lector es en clave de: “ahora hay que hacerlo de esta manera”. Es un diálogo entre las encuestas con cuestionario aplicado en la web y los otros tipos de encuesta con cuestionario estandarizado. Un diálogo en el que caben las coincidencias, las diferencias y, sobre todo, los posibles trabajos conjuntos.

La primera pregunta que se auto-propone responder es por qué decidir tal tipo de administración. La materialidad hace entonces su aparición: son más baratas.

Ahora bien y como se subraya en el texto, en la medida que se pretentan altos umbrales de calidad, el coste aumenta.

Los autores son conscientes de que el atractivo del bajo coste es fuerte, lo que puede llevar a dejar al margen otros criterios. Es el caballo de batalla del texto: hay otros criterios a tener en cuenta, además del coste, si se quiere evitar que el esfuerzo se convierta sencilla y llanamente en un esfuerzo inútil, metodológicamente hablando. Así, el horizonte del libro parece ser el de, ya que son tan baratas y se usan tan extensamente, habrá que establecer sus mejores fundamentos, para hacerlas de la mejor forma.

Por supuesto, la aplicación del cuestionario a través de internet comparte muchas cosas con otras maneras de aplicación. Al fin y al cabo, el uso del cuestionario estandarizado tiene por horizonte la cuantificación y distribución de la población a partir de conceptos operacionalizados en variables. También se comparten problemas -como la falta de respuesta o exigencias, como, por ejemplo, el control de la coherencia de respuestas. Seguramente son más las cosas que se comparten, por lo que el libro puede servir como inmersión iniciática en el diseño de cuestionarios estandarizados, aun cuando, como cabe esperar, se subrayan las diferencias con otras formas de aplicación del cuestionario.

El primer capítulo sirve para presentar la encuesta web y describir el aterrizaje histórico de la misma entre las formas de observar la sociedad. Aterrizaje que pasa por la fijación de su concepto a través de sus rasgos: autoadministración, informatización, interactividad y gran capacidad para el uso de materiales audiovisuales y la amplia distribución. El capítulo tiene carácter introductorio y nos presenta el escenario de las encuestas web, siendo de especial relieve la comparación con otras formas de aplicación de encuesta. Por lo tanto, puede darse que es la gran ventana metodológica del libro. Responde a la pregunta porqué elegir este método de encuesta, en lugar de otros, dejando un apartado final para ajustar -y ajustarse a las líneas de soluciones informáticas existentes, justificando la vertebración del resto del libro.

Dentro de este capítulo inicial y de la mano de la presentación de los distintos ámbitos de aplicación de la encuesta web, nos encontramos ya con el que, sin duda, es el principal problema de este método: la falta de cobertura y de un marco muestral para cuando se quiere acceder a la población general. Ni más, ni menos. Buena parte del libro puede considerarse también como un esfuerzo por señalar cómo digerir este problema.

Las instituciones públicas oficiales, que son las que gestionan operaciones que tienen por horizonte la población general, pueden resolver el problema a partir de una primera selección desde la disponibilidad de ese marco muestral que recoge a la población general. Así, el Instituto Nacional de Estadística dispone del marco muestral de toda la población española a partir de Padrón Continuo. Algo que puede proyectarse a otras unidades: empresas, hoteles, etc. Pero la mayor parte de los operadores y centros demoscópicos -tanto en investigación comercial, como en investigación académica con pocos recursos han de recurrir a otras estrategias, como, por ejemplo, es la de diseñar paneles online.

Como se señala en el texto, los paneles probabilísticos, con inclusión de población que no usa habitualmente internet por ninguna de sus distintas vías, tienden a ser caros, rebajando así una de las grandes ventajas de la encuesta web. Por su lado, los paneles no probabilísticos abren dudas sobre su representatividad. Aun cuando tal representatividad se intenta por varias técnicas –estratificación o post-estratificación y ponderación sigue siendo el agujero negro de las encuestas web. Por supuesto, se dejan a un lado las consultas, votaciones y otras interacciones que los medios de comunicación establecen con sus audiencias que formalmente parecen encuestas web. Introduciendo un mínimo matiz con lo que dice el libro: son encuestas. De estas, las hay representativas y no representativas, entre las que cabe referir las mencionadas.

De gran valor es la apuesta por las posibles formas de empleo conjunto de distintos modos de aplicación del cuestionario: web, presencial, web-email, web-portal, telefónica… Creo que tomar como punto de partida la referencia del empleo conjunto es un acierto, frente a una presentación individualizada de cada forma de aplicación del cuestionario, ya que lo que, entonces, tiene preferencia para aparecer como anomalía es el uso exclusivo de un solo método de aplicación. Aunque sea una anomalía extendida.

El argumento central para este uso conjunto es la búsqueda -y agregación de distintos perfiles de la población en la muestra final. También existen otros argumentos, como cuando la recogida de información consta de varias etapas, con distintas formas de aplicación de distintos formularios para el registro de tal información (cuestionarios) a la misma muestra, lo que va desde determinados estudios panel a otros, en que un modo de aplicación sirve para filtrar determinados perfiles dentro de la muestra, a la que se aplicará de manera específica otro tipo del cuestionario, de otra manera.

El segundo capítulo hace un especial e imprescindible hincapié en la seguridad, integridad y privacidad de la información de la encuesta. Más allá de la conciencia y la debida exigencia ética a todo profesional, en el conocimiento y cumplimiento de las garantías de privacidad y estricta protección de los registros que puede identificar el informante, se encuentra el potencial de este método para recoger información, ya que de ello depende la confianza que puede tener la sociedad en la misma. Ahora bien, podría haberse limitado a establecer las instituciones requeridas para mantener la privacidad y anonimato de los informantes; en lugar de remitirnos a más normas.

Las cuestiones éticas sobrepasan el compromiso de protección del anonimato del informante. Así, por ejemplo, se dice que la primera pregunta (página 104) no ha de versar sobre rasgos sociodemográficos; pero ¿qué pasa con las preguntas filtro destinadas a seleccionar la muestra? ¿No hay tal selección previa y se deja que la persona complete el cuestionario, aun sabiendo que sus respuestas no se tomarán en cuenta en el análisis?

Los siguientes capítulos despliegan más instrucciones que reflexiones. El carácter instructivo es un rasgo diferencial de esta colección editorial. Toman la forma de un manual ante las distintas situaciones que se dan en el desarrollo de una investigación con encuesta web. Su prisma es el del diseño o planificación de la encuesta. Se da por supuesto la disposición de objeto de estudio, objetivos y preguntas de investigación; así como la decisión tomada de llevar a cabo una encuesta web. A partir de aquí, las preguntas toman la forma del cómo hacer en cada uno de los momentos del diseño.

Desde tal perspectiva práctica, cobra relevancia el plan de contacto: canales, contenidos de los mensajes, protocolo de contacto, etc. Todo es importante en el libro, porque todo es importante para la obtención de una muestra final lo más ajustada a la muestra necesaria.

Un concepto que cobra relevancia, según avanza el texto, es el de la interacción. Algo que sitúa a estos cuestionarios en el medio entre los auto-administrados, como los remitidos a través del correo postal, y los administrados por entrevistador. Es cierto que es ubicado entre los primeros, al no existir entrevistador; pero el propio texto refuerza el argumento de la notable interacción que se produce entre cuestionario y entrevistado. Es muy distinto de los cuestionarios aplicados por correo. También, claro está, de los hetero-administrados. Pero, tal vez, haya que ir generando otra categoría como la de interacción mecánica o algorítmica. No digamos ya cuando se incorporen los cuestionarios a través de robot o inteligencia artificial, incluyendo voz.

Entre lo mejor del texto, se encuentra la utilización de casos, de investigaciones concretas, para ilustrar las instrucciones y los resultados de las mismas. Así, se combina la presentación de varias alternativas en cada situación con la recomendación de alguna de ellas sobre las demás. En cada fase o etapa, hay varias alternativas, pero unas mejor que otras, teniendo en cuenta las circunstancias. Por supuesto, no pueden abarcarse todas las circunstancias posibles, pero las que ilustran han de considerarse como suficientes.

La disciplina -incluso falta de autonomía- del entrevistado se celebra, en lugar de constituirse en tema de reflexión. Es muy posible que este no sea el sitio; pero, como analistas de lo social, convendría, al menos, apuntar la necesidad de reflexionar sobre la misma. Por ejemplo, sobre la disciplina de los informantes a ceñirse al espacio -número de caracteres permitidos de un cuestionario, aplicada a través de internet: “el cuestionario por internet únicamente recogía los primeros 255 dígitos. Cuando un entrevistado escribía una respuesta de 295 caracteres, por ejemplo, se guardaban únicamente los 255 primeros y continuaba con el cuestionario, sin percibir nunca que los últimos 40 no se habían guardado. Prueba del éxito de esa forma de proceder es que esto nunca sucedió, ningún entrevistado por Internet proporcionó una respuesta más larga” (página 113). Yes que la calidad del diseño del cuestionario queda muy vinculada a su capacidad de domesticar al informante, teniendo su principal indicador en el número de cuestionarios completados que se consigue. Así, los consejos se centran en cómo “ganar tiempo”, ya que la reducción del tiempo del informante para responder a todas las preguntas es una palanca para conseguir que complete el cuestionario. Sin duda, la recomendación es importante. Sobre todo, si se tiene en cuenta un informante poco o nada implicado con el tema y, por lo tanto, las preguntas del cuestionario. Una imagen del informante dominante entre los profesionales que han diseñado muchas encuestas y cuestionarios sobre los más distintos temas. Como se recoge en el apartado referido a los tipos de pregunta -principalmente página 100 y ss- parece que el logro del cuestionario es obtener el máximo porcentaje de respuestas, llegándose a vincular la calidad del mismo a este logro, con independencia de la propia calidad (teórica, de operacionalización) de la pregunta o la implicación en la respuesta de los informantes. Lo importante es hacer respuestas, con independencia de que el tema interese a los cuestionados. El compromiso de los informantes queda reducido a los incentivos (página 117). En las encuestas en internet, más que en otro tipo de encuestas, tal vez sea hora de recoger métricas sobre la implicación (engagement) de los informantes, como, desde hace algunos años, llevan a cabo los estudios de audiencia en este canal de comunicación.

Entre los peros, apuntar cierta sobrecarga de referencialismo, de citas. Valga un ejemplo: se señala una referencia de autoridad con la instrucción de utilizar el scroll para ir visualizando todo el cuestionario, cuando esto se encuentra en una sola página. En todo caso, se trata de una cuestión menor, en un texto muy preocupado por los detalles.

Ya que hay que hacer encuestas para seguir observando la sociedad, pues la colonización por parte de la algoritmización big data tiene sus límites, conviene hacerlas de la mejor manera. También por internet, aprovechando la ventaja de su competitivo bajo precio y la disponibilidad de múltiples soportes y plataformas de ayuda. En este libro, se encuentran buenos consejos para conseguir tal objetivo. Buenos por el detalle de los mismos. Buenos, por su claridad.

La pandemia de la covid19 trajo otra epidemia, la de las encuestas web. Algunas justificadas; otras justificables por las condiciones especiales de la población. Muchas de ellas derivadas de ver una oportunidad: una población en casa a la que se supone con mucho tiempo disponible. Los autores de este libro, han visto la oportunidad de ofrecernos detalladas instrucciones y recomendaciones para hacer toda encuesta web con mejores calidades. Libro de necesidad, que muchos de los que hicieron encuesta web durante la pandemia no tuvieron la oportunidad, ni el tiempo que suponían en otros, de leer.

El libro será leído desde la accesibilidad que tiene la encuesta web. Esperamos que lo sea con aprovechamiento. Al menos, el texto tiene mimbres de sobra para no volver a caer en múltiples vicios y errores presentes en la epidemia de encuestas web de las primeras semanas de confinamiento. Un libro oportuno, para el mejor uso de oportunistas.

Terminar con unas palabras sobre la ya referida interacción. Este rasgo distintivo de los cuestionarios en internet, no solo es instructiva (qué hacer, como, por ejemplo, recorrer la barra de progreso) sino motivacional (anima a hacer) e incluso orientadora y capaz de advertir (tras realización de validaciones). Siguiendo la estela de alguno de los títulos de la colección Cuadernos Metodológicos y, sobre todo, dado el tema, hubiera sido interesante desarrollar una mayor interacción con el lector. Por ejemplo, planteando de manera tutorizada la programación de un cuestionario. Dado que se ofrecen las instrucciones, se trata de un paso más. Seguro que, en futuras ediciones o, tal vez, en un nuevo título que siga el presenta se de tal paso. Por fin, gracias a libros como este, los diseñadores de cuestionarios somos conscientes de que lo que se pone en marcha no es una sucesión de preguntas, sino un mapa de interacciones. El texto termina de una manera un tanto abrupta, con la post-estratificación y calibración. Tal vez haya que interpretar este final desde tal lógica de la interacción. No como carencia de la misma, sino como implícita presencia, en la medida que parece llevar contener un: “continuará”.