Introducción

A toda investigación se le exige rigurosidad y calidad en la presentación de sus resultados, ello es: verdad (que los datos recogidos representen la realidad estudiada), aplicabilidad (posibilidad de aplicar los descubrimientos a otros contextos), consistencia (grado en que se repiten los resultados de volver a replicarse la investigación) y neutralidad (seguridad que los resultados no están sesgados por la subjetividad del investigador) (Lincoln & Guba, 1985). Si bien, en la investigación cuantitativa estos criterios de calidad han funcionado muy bien utilizando estrategias estadísticas propias de la ciencia positivista para asegurar la validez interna, validez externa, confiabilidad, y objetividad; en la investigación cualitativa (IC), ellos no son ni suficientes ni apropiados (Lincoln & Guba, 1985; Leininger, 2005; van Zanten, 2006; Lincoln & Guba, 2007; Flick, 2014) para responder a un enfoque de investigación que se aborda desde una epistemología distinta centrada en la construcción del conocimiento desde la perspectiva de los sujetos, sus interpretaciones y significados y donde el investigador busca representar las múltiples realidades interpretadas por los sujetos reconociendo su propia subjetividad.

La literatura recoge distintas posiciones respecto al uso de criterios de calidad en la IC: la replicación de criterios convencionales, la aplicación de criterios paralelos o cuasi-fundacionales, la búsqueda de criterios propios, y el no considerar criterios de calidad comunes (Varela & Vives, 2016; Garside, 2014; Sandin, 2000). Así, se encuentra diversidad de criterios para evaluar la calidad (Mandal, 2018; Costa, Souza & Souza, 2017; Varela & Vives, 2016; Santiago-Delefosse, Gavin, Bruchez, Roux & Stephen, 2016; Patton, 2015; Lub, 2015; entre otros). Todo ello, muestra el poco consenso que existe aún en la comunidad científica sobre si debe haber o no criterios de calidad y sobre cuáles serían ellos.

Más allá de dichos debates ¿qué pasa en la práctica?, ¿los investigadores cualitativos informan en sus publicaciones sobre los criterios y estrategias de calidad metodológica utilizadas?, ¿cómo lo hacen? En este artículo interesa develar ello a partir del análisis de publicaciones realizadas en el campo de la educación.

Los criterios de calidad de la investigación cualitativa

De acuerdo a Lincoln y Guba (1985) dada la naturaleza de la IC, los criterios tradicionales para evaluar la calidad de la investigación: validez interna, validez externa, confiabilidad y objetividad son inapropiados; y por ello, es necesario construir otros que reconozcan la complejidad de la realidad y las subjetividades de los investigadores y los sujetos que participan. Los criterios que proponen son: credibilidad, transferibilidad, dependencia y confirmación. Dichos criterios se concretan con estrategias, procedimientos o tácticas que aseguren su rigurosidad (Lincoln & Guba, 1985; Huberman & Miles, 1991; Leininger, 2005; Lincoln & Guba, 2007; Creswell, 2013; Flick, 2014; Patton, 2015). A pesar que la propuesta de Lincoln y Guba (1985) ha sido criticada por replicar los criterios de la investigación positivista a la interpretativa (Sandin, 2000) no se puede dejar de reconocer que es la primera que plantea una alternativa distinta, aún vigente y que suele ser la más usada.

Con el tiempo, Lincoln & Guba (2007) -en la búsqueda de criterios propios de la IC más acorde con su epistemología- agregan la autenticidad (ontológica, educativa, catalítica y táctica) y la justicia. Esto último referido a hacer presente las distintas voces o miradas de los sujetos, mostrando no un único resultado; sino la diversidad, e incluso las tensiones presentes.

Por otro lado, hay quienes plantean que los criterios de validez y confiabilidad convencionales son pertinentes y que no necesitan modificarse. Ello porque facilita la aceptación de la IC por la comunidad de investigadores cuantitativos (Creswell, 2013) y porque una nueva terminología puede marginalizarla frente a la cuantitativa (Morse, Barrett, Mayan, Olson & Spiers, 2002). Y, en otro extremo hay quienes afirman que no pueden existir criterios predeterminados ni llegar a consensos respecto a ellos, debido a la naturaleza y multiplicidad de diseños de IC (Sandin, 2000; Garside, 2014; Lub, 2015).

Otra discusión presente es si se puede hablar de criterios comunes para todo método cualitativo o particulares según el método usado (Flick, 2014; Cornejo & Salas, 2011; Varela & Vives, 2016). Así, distintos autores plantean criterios específicos. Por ejemplo, para la fenomenología (Sousa, 2014); para la investigación – acción (Zuber-Skerritt & Fletcher, 2007; Heikkinen, Huttunen, & Syrjälä, 2007); o para grounded theory (Glaser & Strauss, 1977).

Esta diversidad de posiciones y criterios muestran que aún no hay consenso sobre cómo valorar la calidad de la IC (Sandin, 2000; Lub, 2015; Patton, 2015, Flick, 2014) y que no hay una única manera de hacerlo. Sin embargo, no se puede dejar de considerar que dichos criterios y estrategias deben responder a una epistemología distinta, y por tanto no se puede olvidar principios que recorren todo su proceso: la reflexividad del investigador, la transparencia de sus decisiones metodológicas, la responsabilidad ante las decisiones, la comprensión del enfoque, la práctica ética y el enfoque sistemático para diseñar, conducir y analizar la investigación (Reynolds et al, 2011 citado por Patton, 2015).

Al respecto es importante subrayar la reflexividad como criterio de calidad. De acuerdo a Bourdieu (2003) la reflexividad es “objetivar al sujeto de la objetivación”. Ello supone objetivar la posición del investigador en su espacio social global (origen, trayectoria, posición geográfica, social, cultural, política o profesional) y objetivar la posición ocupada en el campo de su especialidad (tradiciones y prácticas de las disciplinas). El investigador como sujeto no neutro en el proceso de investigación debe ser consciente de quién es, cuál es su posición y cómo ella afecta o no la recogida de la información, el análisis y las interpretaciones que se hagan. En ese sentido, es responsabilidad del investigador, hacer explícita y transparente su posición como investigador en las interpretaciones que realiza.

Asimismo, desde la perspectiva interpretativa, no se puede hablar de una realidad única, objetiva o tangible, sino de múltiples y complejas realidades que se construyen a partir de las interpretaciones que hacen los sujetos sobre ella. Al no haber una sola “verdad” ni un único modo de comprenderla, la IC debe hacer creíble los hallazgos que se presentan. La credibilidad (Lincoln & Guba, 2007; Creswell, 2013; Patton, 2015) se refiere a cómo los datos muestran la realidad tal como la experimentan, sienten o interpretan los sujetos en un contexto y tiempo determinado; y para ello el investigador se vale de estrategias para demostrar que sus hallazgos e interpretaciones representan dicha realidad. Entre ellas se destacan: (1) la presencia prolongada del investigador en el campo, la observación constante y la recogida de suficiente información para comprender las situaciones; (2) la triangulación de técnicas, fuentes y teorías para brindar una mayor consistencia a las interpretaciones al mostrar no solo las convergencias sino las discrepancias en los hallazgos; (3) la revisión de otros investigadores o la triangulación de investigadores para recoger una mirada externa o confrontar las interpretaciones; y, (4) el retorno de los resultados a los informantes, member checking

o validación comunicativa (Flick, 2014) para que los informantes confirmen las interpretaciones realizadas por los investigadores.

Además, en la IC, las situaciones estudiadas son únicas e irrepetibles, no generalizables; por ello se espera que los significados, las interpretaciones y las inferencias particularizadas del estudio puedan transferirse a otro contexto o situación similar (transferibilidad), dar cuenta de la diversidad de experiencias (dependencia) y mostrar la neutralidad de la data (confirmación). Todo ello es posible a través de (1) la búsqueda de casos negativos o contradictorios que muestren la diversidad, contradicciones

o tensiones de la data recogida; (2) la descripción detallada del tiempo, contexto y los sujetos; (3) la descripción detallada del proceso de investigación para dar pistas de revisión, y (4) la presentación de evidencias para la auditoría.

El investigador cualitativo es responsable de hacer explícita -en los informes o publicaciones- las decisiones respecto a las estrategias usadas para garantizar la calidad de su estudio. Ello es un modo de hacer transparente el proceso para los evaluadores, los lectores, los participantes en el estudio, y la comunidad científica en general (Flick, 2014). Sin ellos, la investigación puede perder su legitimidad, convertirse en literatura

o ficción (Morse et al, 2002; van Zanten, 2006).

Metodología

El objetivo de este estudio es explorar sobre cómo los investigadores del campo educativo explicitan las estrategias de calidad de sus investigaciones cualitativas en las publicaciones que realizan. Las preguntas que lo guiaron fueron: ¿se explicitan los criterios de calidad en los artículos que trabajan con métodos cualitativos?, ¿qué estrategias se utilizan para asegurar la reflexividad, credibilidad, transferibilidad, dependencia y confirmación de los resultados? Para ello, se realizó un estudio documental basado en la revisión de todos los artículos empíricos publicados en el año 2017 en 5 revistas especializadas en el campo educativo con mejor puntaje de las 32 registradas en América Latina, en la base de datos Scimago Journal & Country Rank. Se seleccionó la revista más valorada por país: Educação e Pesquisa (Brasil), Revista Mexicana de investigación Educativa (México), Estudios Pedagógicos (Chile), Revista de Pedagogía (Venezuela) y Magis Revista Internacional de investigación en educación (Colombia). En ellas se aceptan artículos empíricos desde distintas perspectivas metodológicas.

Para este estudio, se revisó los resúmenes de los 228 artículos publicados en el año 2017. Se incluyó solo aquellos artículos empíricos que indicaban, explícitamente en el resumen o en la descripción de la metodología, el uso de algún método cualitativo. Se excluyeron los artículos que trabajan con métodos mixtos, estudios documentales, revisiones sistemáticas, estados del arte o sistematizaciones. En esta revisión se incluyó 60 artículos que representan el 26,3% del total de artículos publicados en el año 2017 (tabla 1). El listado de los artículos que formaron parte de este estudio se puede ver en el anexo 1.

Para el análisis, se usó las 9 estrategias de calidad metodológica más citadas en la literatura (Lincoln & Guba, 1985; Creswell, 2013; Flick, 2014; Patton, 2015) (tabla 2). La información se registró en una matriz en Excel indicando, en primer lugar, si el autor explicita o no el uso de criterios y estrategias de calidad; y en segundo lugar si en el texto se evidencia o no dichas estrategias. En todos los casos se consideró lo explícito en los apartados o secciones que describen la metodología y los resultados. Para asegurar la transparencia y credibilidad de los resultados se recurre a mostrar los códigos de los artículos y el uso de fragmentos de citas de modo que sirva para la auditoria de los lectores.

Resultados

Generalidades

Para el año 2017, en las 5 revistas seleccionadas para este estudio, se encontró 60 artículos que explicitan haber trabajado desde el enfoque de la IC. Ello representa más o menos la cuarta parte del total de publicaciones registradas en dicho año. Aunque, en los últimos años se ha incrementado la difusión de estudios cualitativos en educación, aún es poca en comparación con otras formas de abordaje metodológico.

El 31,7% se refieren de modo general al uso del paradigma, enfoque o perspectiva cualitativa o interpretativa; sin especificar un método o diseño en particular. Esta situación -que merece otro estudio- muestra la necesidad de trabajar en los fundamentos epistemológicos de la IC que se traduce en métodos con diseños específicos (Creswell, 2013) con particulares características y que va más allá de obtener solo datos cualitativos. De otro lado, el 26,7% trabaja con estudio de casos, el 18,3% con el método etnográfico y el 6,7 % con el método hermenéutico o fenomenológico. El 16,7% utiliza otros métodos como los narrativos, la teoría fundamentada, la investigación – acción, entre otros. Para la recolección de los datos, destacan las dos técnicas más recomendadas en la IC: la entrevista (semiestructurada, abierta o a profundidad) (78,3%) y la observación (participante o abierta) (40%). La revisión de documentos (23,3%), los grupos de discusión (18,3%) y los cuestionarios (18,3%) son los menos usados.

Explicitación de criterios y estrategias de calidad

Solamente 9 artículos (15%) explicitan los criterios y estrategias utilizadas para asegurar la calidad metodológica de la investigación. La gran mayoría (85%) no lo hace evidente en el texto; es decir, no hay una intencionalidad de los investigadores de hacer visible sus decisiones respecto a los criterios y estrategias usadas. Ello revela una práctica que puede atentar en contra de la rigurosidad e integridad de la IC en donde es importante transparentar cómo se ha generado un conocimiento que pretende ser co-construido desde las subjetividades del investigador y de los sujetos participantes.

Quienes describen sus decisiones para asegurar la calidad, lo hacen manteniendo la terminología de la investigación cuantitativa como validez o confiabilidad (ver tabla 3); de forma muy escueta y sin apropiarse del sentido de la IC. Sólo un artículo (N°31) es muy preciso en mencionar los procedimientos de rigor científico utilizados para cada uno de los criterios de calidad.

Identificación de las estrategias de calidad

Aunque en la mayoría de los artículos los criterios y las estrategias de calidad no han sido declarados por el investigador, en los textos se identifica el empleo de 3 y 2 estrategias de las nueve propuestas en este estudio (Fig. 1). Si bien no hay normas respecto al número de estrategias para garantizar la calidad de la IC, Creswell (2013) sugiere por lo menos el uso de dos.

En 9 artículos se descubre una sola estrategia: solo muestran fragmentos de transcripciones de entrevistas o registros de observaciones (10, 11, 17, 27, 35 y 55); solo realizan una descripción detallada del contexto o sujetos (6 y 19); o solo recurren a otros investigadores (9). En el otro extremo, 8 artículos muestran entre 5 y 7 estrategias (5, 25, 26, 31, 39, 40, 58, 59).

Reflexividad

Al respecto se encuentra que 7 artículos (11,7%) hacen referencia a quién es el investigador, de modo que el lector puede reconocer desde dónde es que se realizan las interpretaciones. En su mayoría, estas referencias indican la experiencia previa del investigador en el contexto de estudio (como docente o como voluntario), sin una mayor reflexión sobre cómo su posición epistemológica, cultural, tradiciones disciplinarias, condiciones sociales, valores, creencias, entre otras, afectan las distintas etapas de la investigación y las interacciones con los sujetos participantes.

Credibilidad

Para asegurar la credibilidad, la estrategia más usada es la permanencia en el campo o la recogida de abundante información (50%). Sin embargo hay otro 50% que no informa sobre el tiempo de trabajo de campo o la cantidad de horas de observación o grabaciones obtenidas, es decir el detalle del corpus del análisis. En menor medida se hace uso de la triangulación (23,3%), y mucho menos se explica si hubo participación de otros investigadores para recoger información, categorizar o consensuar interpretaciones (13,3%) y si se retornó los resultados a los participantes para asegurar que las interpretaciones que se hacen corresponden a las interpretaciones que hacen los sujetos participantes (5%). Esto último, atentaría también contra el criterio de autenticidad (justicia) pues Lincoln & Guba (2007) consideran que el member checking permite la “verificación” por parte de los participantes asegurando de ese modo que todas las voces estén presentes.

Transferibilidad

La posibilidad de transferir los resultados a otros contextos se logra mediante una descripción detallada y a profundidad del contexto donde se realiza la investigación o una descripción de los sujetos que participan, que va más allá de solo indicar características de una muestra. El 51,7% lo hace evidente en su texto, especialmente quienes usan el método de estudio de casos, la etnografía o estudios narrativos. El uso de la búsqueda de casos contradictorios para confirmar el análisis realizado no es visible en los textos revisados.

Dependencia

Para lograr que la investigación pueda ser replicada o los resultados auditados, se espera que el investigador realice una descripción exhaustiva del proceso seguido en el desarrollo de la investigación y, especialmente, en el análisis de los datos. Ello se realiza en el 50% de los artículos. Se señala, por ejemplo, el análisis de contenido, análisis temático, análisis de discurso o el método de comparación constante. Sin embargo, en la otra mitad no se encuentra información suficiente sobre, por ejemplo,

cómo se llega a categorizar o cómo se seleccionan los patrones, o que método de análisis se usa, lo que impediría contar con pistas de revisión para hacer creíble y replicar los hallazgos.

Confirmación:

La estrategia más usada en los artículos es la presentación de evidencias (85%); ello es, fragmentos del discurso recogido en las entrevistas o en las observaciones -seleccionados por el investigador- que permiten confirmar el análisis e interpretaciones que realiza respecto a la data recogida. Ello aparece como la práctica más común en la escritura de reportes cualitativos y permite mostrar las distintas voces de los sujetos participantes.

A modo de cierre

Dada la multiplicidad de criterios y estrategias de calidad de la IC, los investigadores deben decidir sobre cuál es su posición respecto a ello. Estas decisiones reflejan su coherencia con la postura epistemológica y metodológica asumida (Cornejo & Salas, 2011) y tendrían que ser explicitadas en los informes o publicación de resultados, como un modo de ser honestos y transparentes no solo con la comunidad científica sino con los participantes del estudio y lectores.

Este estudio ha revelado que los criterios y estrategias de calidad de la IC no suelen ser reportados en los artículos académicos publicados en revistas del campo de la educación, quedando invisible a los ojos del lector, la descripción de quién es el investigador, cómo llega al análisis e interpretaciones realizadas y cómo asegura que dichos hallazgos sean creíbles y auténticos (Diaz-Bazo, 2018). Práctica también encontrada por Barusch, Gringeri y George (2011) para el caso de los artículos en revistas sobre trabajo social.

Consideramos dos criterios de calidad claves en la IC: la reflexividad y la credibilidad. Respecto al primero, en los artículos se encuentra muy poca referencia a quien es el investigador y cuál es su posición en el estudio (epistemológica, profesional, disciplinaria, personal); y mucho menos se menciona si el investigador es consciente de cómo ello puede afectar su relación con los sujetos, interpretaciones y resultados. Suponemos que aún existe la idea de “ser objetivo” y “neutro” en la escritura y divulgación de los resultados y que es mal visto que el investigador se revele a los ojos de los lectores (Diaz-Bazo, 2018). Situación, que expresaría que aún no hay claridad en la epistemología de la IC, en donde el conocimiento se co-construye entre los sujetos y el investigador, y que, por tanto, el texto escrito no puede separarse del autor (Creswell, 2013).

En relación a la credibilidad, también se encuentra que las estrategias para ello son poco visibilizadas en la mayoría de los artículos. No se explicita que el conocimiento que se construye se hace en diálogo con otros investigadores, con los sujetos participantes o contrastando datos recogidos de distintas fuentes o técnicas, para dar la confianza que lo que allí se presenta corresponde con la realidad co-construida entre investigador y sujeto participante en una relación intersubjetiva. Al no hacerlo, las interpretaciones parecen ser realizadas desde una perspectiva, la del investigador –de quien tampoco se conoce desde dónde interpreta- por lo que no hay pistas para valorar la calidad del estudio. A la luz de los resultados, hay varias tareas pendientes para lograr una mayor coherencia entre la postura epistemológica de la IC con los criterios de calidad asumidos y la escritura y divulgación de los resultados. En primer lugar, una mayor apropiación de los fundamentos epistemológicos de la IC en donde el sujeto que conoce (investigador) se relaciona con la realidad que busca conocer desde las perspectivas de los sujetos. Y por tanto, el investigador no solo debe ser consciente que afecta dicha relación; sino que el mismo es afectado por ella. Esta postura y reflexiones deberían ser narradas de modo transparente en los artículos como modo de legitimar la IC.

En segundo lugar, para quienes estamos dedicados a la formación de investigadores en educación, la lectura de reportes de IC es un espacio formativo. El “cómo se hace” a veces no se encuentra en manuales sobre IC, por lo que visibilizar las posiciones epistemológicas, las decisiones metodológicas y los criterios de calidad es una fuente muy valiosa para la socialización en las prácticas y tradiciones de la comunidad de investigadores cualitativos para acumular y construir nuevo conocimiento.

Finalmente, hacer explícito los criterios y estrategias de calidad es una responsabilidad ética de quien asume hacer IC. Sin ello, poco aportaremos a legitimar y valorar un conocimiento que se construye de modo distinto a los enfoques tradicionales.

Referencias Bibliográficas

Barusch, A., Gringeri, C. & George, M. (2011). Rigor in qualitative social work Research: strategies used in published articles. Social Work Research, 35(I), 11-19.

Bourdieu, P. (2003). El oficio de científico. Ciencia de la ciencia y reflexividad. Barcelona: Anagrama.

Cornejo, M. & Salas, N. (2011). Rigor y calidad metodológicos: un reto a la investigación social cualitativa. Psicoperspectivas, 10 (2), 12-34

Costa, A.P., Souza, F.; Souza, D. (2017). Nota introdutória: critérios de avaliação de artigos de investigação qualitativa em educação. Revista Lusófona de Educação, 36, 61-66. Recuperado de: http://revistas.ulusofona.pt/index.php/rleducacao/article/view/5990.

Creswell, J.W. (2013). Qualitative inquiry and research design. Choosing among five approaches. Thousand Oaks: Sage.

Diaz-Bazo, C. (2018). Los criterios y estrategias de calidad: lo invisible en la publicación de las investigaciones cualitativas. En 7º Congreso Iberoamericano en Investigación Cualitativa (CIAIQ). (pp. 792-801). AVEIRO: Ludomedia. Recuperado de: https://proceedings.ciaiq.org/index.php/ciaiq2018/article/view/1708/1661.

Flick, U. (2014). La gestión de la calidad en investigación cualitativa. Madrid: Ediciones Morata.

Garside, R. (2014). Should we appraise the quality of qualitative research reports for systematic reviews, and if so, how? Innovation: The European Journal of Social Science Research, 27(1), 67-79. http:// dx.doi.org/10.1080/13511610.2013.777270

Glaser, B. & Strauss, A. (1977). The discovery of grounded theory: strategies for qualitative research. Chicago: Aldine Publishing Company

Heikkinen, H., Huttunen, R. & Syrjälä, L. (2007). Action research as narrative: five principles for validation. Educational Action Research, 15(1), 5–19

Huberman M. & Miles M. (1991). Analyse des données qualitatives. Recueil de nouvelles methods. Bruselas: De Boeck

Leininger, M. (2005). Criterios de evaluación y crítica de los estudios de investigación cualitativa. En J. Morse, (ed.). Asuntos críticos en los métodos de investigación cualitativa (pp. 137-160). Antioquía: Editorial Universidad de Antioquía.

Lincoln, Y. & Guba, E.G. (2007). But is it rigorous? Trustworthiness and authenticity in naturalistic evaluation. New directions for evaluation, 114, 15 – 25. doi: 10.1002/ev.223.

Lincoln, Y. & Guba, E.G. (1985). Naturalistic Inquiry. California: Sage.

Lub, V. (2015). Validity in qualitative evaluation: linking purposes, paradigms, and perspectives. International Journal of Qualitative Methods, 1–8. doi: 10.1177/1609406915621406

Mandal, P. C. (2018). Qualitative research: Criteria of evaluation. International Journal of Academic Research and Development, 3(2), 591-596

Morse, J. M., Barrett, M., Mayan, M., Olson, K., & Spiers, J. (2002). Verification strategies for establishing reliability and validity in qualitative research. International Journal of Qualitative Methods, 1(2), Article 2. Recuperado de http://www.ualberta.ca/~ijqm/.

Patton, M.Q. (2015). Qualitative research and evaluation methods. (4ta. Ed.). Thousand Oaks: Sage.

Sandín Esteban, M.P. (2000). Criterios de validez en la investigación cualitativa: de la objetividad a la solidaridad. Revista de Investigación Educativa, 18(1), 223-242.

Santiago-Delefosse, M., Gavin, A., Bruchez, C., Roux, P., Stephen, S.L. (2016). Quality of qualitative research in the health sciences: Analysis of the common criteria present in 58 assessment guidelines by expert users. Social Science & Medicine, 148, 142-51. doi: 10.1016/j.socscimed.2015.11.007.

Sousa, D. (2014) Validation in qualitative research: general aspects and specificities of the descriptive phenomenological method. Qualitative Research in Psychology, 11(2), 211-227. doi: 10.1080/14780887.2013.853855.

Van Zanten, A. (2004). Comprender y hacerse comprender: como reforzar la legitimidad interna y externa de los estudios cualitativos Educação e Pesquisa, 30(2), 301-313.

Varela, M. & Vives, T. (2016). Autenticidad y calidad en la investigación cualitativa: multivocalidad. Metodología de investigación en educación médica, 5(19), 191 -198. doi: http://dx.doi.org/10.1016/j.riem.2016.04.006.

Zuber-Skerritt, O. & Fletcher, M. (2007). The quality of an action research thesis in the social sciences. Quality Assurance in Education, 15(4), 413-436. doi: 10.1108/09684880710829983.