Articulos

Estudio sobre la percepción cualitativa y/o cuantitativa del método Delphi en las investigaciones educacionales

Study on the qualitative and/or quantitative perception of the Delphi method in educational research

Miguel Cruz-Ramírez
Universidad de Holguín, Cuba
Mayelín Caridad Martínez-Cepena
Universidad de Holguín, Cuba
Osvaldo Jesús Rojas-Velázquez
Universidad Antonio Nariño, Colombia

Estudio sobre la percepción cualitativa y/o cuantitativa del método Delphi en las investigaciones educacionales

Luz, vol. 17, núm. 2, pp. 1-13, 2018

Universidad de Holguín Oscar Lucero Moya

Recepción: 19 Septiembre 2017

Aprobación: 18 Enero 2018

Resumen: La creciente implementación del método Delphi en el campo de las investigaciones educacionales motivó el estudio de su percepción hacia lo cualitativo, lo cuantitativo, o lo mixto. A partir de una muestra de 80 investigadores, se observó un posicionamiento de este método ligeramente hacia lo cuantitativo, aunque menos que los métodos estadísticos y experimentales, y más que las encuestas estructuradas. Una técnica multivariada de reducción de datos permitió identificar cuatro factores subyacentes que explican las causas incidentes en el proceso perceptivo: el grado de formalización, el modo de organización, el nivel de abstracción, y la relación empiria/teoría.

Palabras clave: método Delphi, percepción, distancia subjetiva, investigación cualitativa, investigación cuantitativa, métodos mixtos, investigación educacional.

Abstract: The growing implementation of the Delphi method in the field of educational research motivated the study of its perception towards the qualitative, the quantitative, or the mixed. From a sample of 80 researchers, a positioning of this method was observed slightly towards the quantitative, although less than the statistical and experimental methods, and more than the structured surveys. A multivariate technique of data reduction allowed us to identify four underlying factors that explain the causes, incident to the perceptual process: degree of formalization, mode of organization, level of abstraction, and empirical/theoretical relationship.

Keywords: Delphi method, perception, subjective distance, qualitative research, quantitative research, mixed methods, educational research.

Introducción

El método Delphi tiene su origen en investigaciones desarrolladas en la corporación Rand de los Estados Unidos, a partir del interés por prescribir el número óptimo de ojivas nucleares que este país requeriría para poder mitigar una supuesta intervención militar de la extinta Unión Soviética (vid. Dalkey & Helmer, 1963). Un primer estudio de naturaleza prospectiva fue ordenado por el general Henry Harley Arnold en el año 1944, y consistió en un reporte para la U.S. Army Air Corps acerca de las capacidades tecnológicas futuras que podrían ser utilizadas con fines militares. Así comenzó una investigación clasificada, denominada “Proyecto Delphi” por el filósofo Abraham Kaplan, inspirado en el legendario oráculo griego erigido al dios Apolo al pie del Parnaso (Keeney, Hasson, & Mckenna, 2011).

La concepción original del método está relacionada con el denominado “Método Vaticano” (Landeta, 1999), y en su base epistémica subyace la tesis de que el juicio colectivo es superior al individual (Kaplan, Skogstad, & Girshick, 1950; Helmer & Rescher, 1958). En esencia, se trata de disminuir la incidencia de variables negativas que pueden sesgar el juicio colectivo de expertos, como la opinión de un sujeto de elevada autoridad aun cuando su opinión no sea la más acertada. Son cuatro las características que tipifican el método Delphi en su versión clásica: el anonimato de un panel de expertos, el suministro iterativo de test, la retroalimentación controlada, y la respuesta estadística de grupo (Asselin & Harper, 2014). El anonimato tiene como propósito disminuir la incidencia de algunos fenómenos negativos presentes en las reuniones tradicionales, tales como el efecto halo, la influencia de algún sesgo específico, el triunfo de un argumento más por remarcado que por legítimo, la influencia de algún individuo cuyo argumento triunfa por imposición, entre otros. Con el suministro de cuestionarios se trata de arribar a un consenso ronda tras ronda, donde generalmente se parte de preguntas abiertas que se van cerrando sucesiva e intencionadamente hasta arribar a un objetivo. Después de cada ronda se sintetiza la información parcial y se suministra al panel. Esta retroalimentación controlada tiene como meta la valoración individual de la opinión colectiva.

El procesamiento de las respuestas suele ir de la síntesis cualitativa a la cuantitativa, donde el cumplimiento de ciertas reglas definidas a priori demarca la condición de parada. Sin embargo, con el paso de los años esta estructuración del método ha sobrepasado el apego original al pronóstico y ha extendido considerablemente sus horizontes de aplicación. Como resultado de ello, actualmente coexisten disímiles modificaciones tales como el Delphi político, el Delphi de decisión, el e-Delphi, entre otros (Hasson & Keeney, 2011). Uno de los aspectos más renovadores ha consistido en la sustitución paulatina del celebrado y poco conseguido consenso por la estabilidad o la convergencia de criterios (Cruz, 2009).

En ocasiones se observan ciertas falencias durante la implementación del método Delphi. Las más frecuentes son las siguientes:

  1. 1. 1. Contar como ronda la evaluación del nivel de competencia experta.

    2. Clasificación como método estadístico.

    3. Desarrollo de las rondas como una serie de encuestas independientes (sin perseguir estabilidad de juicio ni consenso en última instancia).

    4. Aseveración de que la aplicación del método Delphi confiere validez a un resultado científico.

    5. Confusión del método Delphi con el método de criterio de expertos que es más general.

    6. Vínculo forzado del método Delphi con algún procedimiento específico para el cálculo del coeficiente de competencia del experto.

A más de seis décadas de su creación, el método Delphi ha sobrevivido a críticas algunas veces incisivas, a cuestionamientos sobre sus bases gnoseológicas, al desacuerdo acerca de su verdadera esencia (metodología, método, técnica, etcétera), e incluso a la discrepancia sobre la extensión de su uso más allá de la prospectiva (Powell, 2003). Los estudios asociados al método Delphi siguen dos caminos fundamentales: por una parte figuran las aplicaciones con tendencia a la diversificación y modificación de sus rasgos distintivos, y por otra la búsqueda de fiabilidad y validez con énfasis en el número óptimo de rondas, en la condición de parada, en el problema de las bajas del panel de expertos, en la determinación de los niveles de experticia, en la adecuación de los cuestionarios, entre otros aspectos.

De un origen eminentemente prospectivo, el método Delphi hoy encuentra aplicaciones en muchos campos del conocimiento científico, donde las ciencias de la educación juegan un papel fundamental. No son pocos los informes de investigación y artículos en revistas especializadas que refieren el empleo del método Delphi en el campo de la educación. Los autores utilizan este método con fines diversos, como la búsqueda de una opinión consensuada acerca de la factibilidad de un resultado concreto, o bien la exploración de una problemática para identificar sus causas fundamentales.

Pocas veces los estudios enfrentan el problema de la viabilidad del método Delphi en el contexto específico de su implementación, y todavía menos los factores que mueven al investigador a seleccionar este u otro método bajo condiciones determinadas. Algunos investigadores clasifican los métodos por medio de dicotomías de tipo teóricos/prácticos o cualitativos/cuantitativos, y seguidamente expresan la función que desempeñan estos métodos en el marco concreto de la investigación.

Sin embargo, no siempre los argumentos resultan suficientemente convincentes acerca del enfoque seleccionado y tienden a ser más descriptivos que prescriptivos. Es decir, existe desbalance hacia la justificación del para qué en detrimento del por qué. La problemática anterior motiva el estudio de los factores asociados a la selección del método Delphi en el campo de las investigaciones educacionales. En particular, es importante determinar aquellos factores subjetivos que influyen de modo significativo durante la selección de este método con propósitos investigativos.

Entre estos factores subjetivos se encuentra la percepción, y con ello el problema de si se distingue de naturaleza cualitativa, cuantitativa o mixta. Este tema es polémico, pues algunos autores se esfuerzan por potenciar aspectos tales como la precisión de los objetivos y el aseguramiento de una mayor fiabilidad y validez (Rowe & Wright, 1999). Por el contrario, otros autores destacan “…la utilidad del Delphi como un método de investigación cualitativa” (Murry & Hammons, 1995, p. 433), o bien proponen modificaciones para “…utilizarlo con un estilo significativamente más indefinido y cualitativo que lo que previamente ha sido el caso” (Fletcher & Marchildon, 2014, p. 14). Desde una panorámica aún más flexible, incluso se reconoce que el método Delphi “…tiene mérito tanto en la investigación cuantitativa como cualitativa” (Bowles, 1999, p. 32). Con el fin de analizar las diferencias perceptivas entre individuos, puede partirse del concepto subyacente de “continuo psicológico”, donde los extremos indican el predominio respectivo de cualidad o cantidad, mientras que en el centro se posicionan los métodos mixtos como ejemplo genuino de una idea de equilibrio (vid. Johnson, Onwuegbuzie, & Turner, 2007). Según Lahey (1986), el proceso de percepción consiste en interpretar la información que se recibe por medio de las sensaciones para formarse luego una idea sobre el mundo circundante, o sea, es un reflejo subjetivo de la realidad objetiva. Goldstein (2014) señala que la percepción solo refleja una pequeña parte del todo y destaca la relación jerárquica que tiene el conocimiento con respecto a los subprocesos correspondientes.

El conocimiento adquirido incide en cada subproceso de la percepción, y también se retroalimenta de este formando representaciones cada vez más verosímiles. Un acercamiento psicológico a la percepción debe reflejar, en primera instancia, las relaciones que tienen lugar entre las propiedades del estímulo y las respuestas perceptuales a dicho estímulo. Entre estas respuestas se encuentran la descripción, el reconocimiento, la detección, la estimación de una magnitud, y la búsqueda (Goldstein, 2014). Estos aspectos resultan útiles para el diseño de instrumentos que capten las diferencias subjetivas de la percepción y, por consiguiente, que faciliten el cálculo de las distancias subjetivas correspondientes. Respecto a la percepción de un método científico, el proceso psicológico asociado alcanza una magnitud superior, pues tanto el estímulo como su representación cognitiva son de naturaleza compleja y multifactorial. En un estudio temprano de la percepción social, Jones (1983) destaca que la correspondiente representación es multidimensional, con la existencia de distancias entre un sujeto y otro. Según él, en las diferencias individuales y temporales de la representación inciden tres aspectos: la cantidad y/o la identidad de las dimensiones, las prominencias relativas de las dimensiones, y el posicionamiento de un sujeto y los otros a lo largo de una u otra dimensión (Jones, 1983). Técnicas modernas del análisis multivariado permiten no solo determinar la distancia entre los sujetos, sino también la distancia entre variables que son objeto de su percepción.

La educación es una ciencia social, así que en la percepción de un investigador sobre aquellos métodos que utiliza inciden no solo la experiencia y conocimientos previos, sino también el posicionamiento dentro de un paradigma, la influencia de corrientes y tendencias contemporáneas, e incluso modas que se manifiestan inercialmente en algunos diseños investigativos. Por tanto, la percepción de los métodos de investigación educacional es también multidimensional y la medición de las distancias subjetivas subyacentes es un problema que requiere desarrollo teórico y práctico. El presente estudio tiene el propósito de indagar acerca de la percepción de la naturaleza del método Delphi, por parte de investigadores del campo de la educación. Este aspecto es cardinal, pues develar la naturaleza de un método puede ayudar a explicar el por qué se aplica en el contexto concreto de una investigación. Así se contribuye a disminuir la subjetividad en el proceso de toma de decisiones, asociado a la selección de los métodos de investigación.

Materiales y métodos

La investigación se desarrolla en la UHo (Universidad de Holguín, Cuba) y en la UAN (Universidad Antonio Nariño, Colombia), con la participación inicial de 40 + 55 = 95 investigadores. El estudio consiste en una encuesta estructurada para cuya contestación se ofrece tiempo suficiente, con el fin de completar el formulario de manera reflexiva (aproximadamente una semana). Se recibe respuesta de 38 + 49 = 87 investigadores, a los cuales se agradece por su participación y tiempo brindado. Un total de 80 formularios reúnen las condiciones para ser procesados y tabulados hasta conformar una matriz de datos. Por tanto, la muestra definitiva tiene tamaño N = 80 y se conforma de manera no probabilística (24 doctores y 56 másteres, todos vinculados a campos diversos de la investigación educacional). La edad promedio es de 41.1 años (desv. típ. = 9.8) y la experiencia investigativa de 6.4 años (desv. típ. = 5.3), tomando en consideración la fecha en que se declara haber comenzado los estudios de maestría o doctorado. Un total de 38 participantes son hombres (47.5%) y 42 son mujeres (52.5%).

La encuesta se estructura de un cuestionario donde se presentan 15 métodos de investigación, seleccionados de 350 tesis de maestría y doctorado incluidas en los fondos digitales de las instituciones participantes. En cada caso se solicita al encuestado que responda si está familiarizado con el método correspondiente. También se suministra una escala cuali/cuanti, provista de los valores -5, -4, …, 0, …, 4, 5 y se solicita la asignación de un valor a cada método. Aquí los valores hacia la izquierda indican una inclinación hacia lo cualitativo, mientras que los valores hacia la derecha reflejan una inclinación hacia lo cuantitativo. El cero no constituye ausencia de cualidad o cantidad, sino la demarcación de un equilibrio, donde subyace toda unidad dialéctica y así pueden ocupar espacio aquellos métodos que se perciben como mixtos.

Resultados y discusión

Tabla 1
Resultados descriptivos en la escala cuali/cuanti
Resultados descriptivos en la escala cuali/cuanti

A partir de los valores medios, es posible localizar cada método sobre una especie de continuo subjetivo que expresa la percepción colectiva del conjunto de métodos. Esta idea se refleja en la Figura 1, donde los puntos localizados deben asumirse con ciertas reservas, pues el tamaño relativo de las desviaciones típicas es notable respecto al rango de la escala (entre el 8% y el 30% aproximadamente).

Los métodos seleccionados sobre el continuo subjetivo cuali/cuanti
Figura 1
Los métodos seleccionados sobre el continuo subjetivo cuali/cuanti

En los extremos figuran la Modelación y la Prueba de hipótesis respectivamente, así que la naturaleza de ambos métodos se refleja de manera antitética: predominantemente cualitativa el primero y marcadamente cuantitativa el segundo. En los estados intermedios aparecen los restantes métodos, donde el más cercano al cero es la Triangulación, como ejemplo fidedigno de búsqueda de equilibrio en el procesamiento de información de disímil naturaleza.

De forma relativa, se observan sendos conglomerados en los semiejes cualitativo y cuantitativo. El dendrograma de la Figura 2 ofrece información sobre todos los clústeres, donde los antes mencionados resultan visibles tomando altura 25.

Conglomerados formados por variables correlacionadas
Figura 2
Conglomerados formados por variables correlacionadas

Es importante señalar que la respuesta a cada ítem refiere la percepción específica de un método concreto, ya sea más cualitativa, más cuantitativa, o bien de un estado intermedio de equilibrio donde la percepción “mixta” podría ser por combinación, complementación o integración metodológica. Por tanto, el instrumento no debería describir el estado de una variable en particular, sino más bien el de una pluralidad de variables. El cálculo del coeficiente alfa de Cronbach concuerda con esta idea, ya que resulta bastante bajo para el conjunto de nueve ítems ( = .05), incluso se mantiene por debajo de .25 al eliminar cualquier método arbitrariamente. La Tabla 2 ofrece las correlaciones encontradas entre cada pareja de ítems.

Tabla 2
Matriz de correlación entre cada pareja de ítems
Matriz de correlación entre cada pareja de ítems

Como puede observarse, el método Delphi tiene tres correlaciones significativas, lo cual es atípico en todo el conjunto. Aunque muy ligeras, las correlaciones respecto al método Histórico-Lógico y respecto a la Entrevista son negativas, así que la percepción del Delphi tiende a ser opuesta a cada uno de aquellos dos métodos, sujeto a sujeto. Por otra parte, su mayor correlación apunta hacia la Triangulación, mientras que contrasta su baja correlación con la Encuesta estructurada, pues el suministro recursivo de test es uno de los cuatro rasgos distintivos del método Delphi. Las causas podrían estar relacionadas con una imagen más funcional y menos estructural del método como tal, o sea, las evidencias empíricas reflejan un mayor énfasis en el procesamiento iterado de la información retroalimentada, y menor énfasis en los dispositivos que conforman el método, como es el caso de las encuestas aplicadas en cada ronda.

Con el objetivo de indagar acerca de la existencia de posibles variables latentes que expliquen los resultados anteriores, se implementa una técnica multivariada de reducción de variables. El test de esfericidad de Bartlett produce un valor significativo (² = 93.97, gl = 36, p < .01), pero la medida de adecuación de la muestra de Kaiser-Meyer-Olkin no sugiere una reducción suficientemente efectiva (KMO = .44). Por tanto, los resultados que siguen solo revisten un valor heurístico para motivar futuras investigaciones.

La Tabla 3 muestra la existencia de cuatro componentes que explican el 67.30% de la varianza total. Para seleccionar estos cuatro componentes se asumen autovalores mínimos no inferiores a la unidad.

Tabla 3
Varianza total explicada por los componentes
Varianza total explicada por los componentes

Para obtener la matriz de componentes rotados se utiliza el método Varimax con normalización de Kaiser. La Tabla 4 ilustra las coordenadas de cada método en el espacio de los cuatro componentes seleccionados. Los valores inferiores a .50 se representan atenuados de gris, con la finalidad de resaltar los de mayor peso.

Tabla 4
Matriz de componentes rotados
Matriz de componentes rotados

El primer componente consiste en una variable que expresa un rasgo común entre los métodos de Entrevista e Histórico-Lógico, pero este aspecto se manifiesta de forma contraria en el método Delphi. Dicho rasgo podría consistir en el grado de formalización del método, pues la percepción de la entrevista se inclina hacia lo cualitativo, lo cual se relaciona más con las entrevistas no estructuradas, grupales, y también exploratorias. El segundo componente refleja una marcada analogía entre ambos métodos experimentales, donde el modo de organización es similar con diferencias enfocadas hacia los grados de fiabilidad y validez. El tercer componente da testimonio de un aspecto común a la Triangulación y a la Modelación simultáneamente, lo cual puede estar asociado al nivel de abstracción en el procesamiento de la información. Asimismo, el cuarto componente muestra una diferencia consustancial entre la Encuesta estructurada y la Prueba de hipótesis. Estos últimos métodos aparecen frecuentemente de manera conjunta: el primero provee información cuantificada y el segundo la procesa matemáticamente en busca de validez. Por tanto, el cuarto componente puede estar asociado a las relaciones entre el nivel empírico y el teórico.

En general, no se visualiza un argumento único que exprese la naturaleza de cada componente principal; además, la incertidumbre se acrecienta a partir de la pequeña cantidad de métodos destacables dentro de cada componente. Por tanto, las reflexiones anteriores deben asumirse en términos de conjeturas verosímiles, donde cuatro variables subyacentes condicionan el proceso perceptivo sobre el continuo cuali/cuanti: el grado de formalización, el modo de organización, el nivel de abstracción, y la relación empiria/teoría.

Conclusiones

El método Delphi ha encontrado aplicaciones útiles en el campo de las investigaciones educacionales, las cuales han sobrepasado los fines prospectivos fundacionales y actualmente se diversifican con objetivos cada vez más abarcadores. De especial importancia resulta el análisis de la percepción que los investigadores tienen acerca de este método, ya que esto puede condicionar su utilización en el marco de una investigación concreta. Los resultados anteriores reflejan el posicionamiento del método Delphi sobre un continuo subjetivo con cierta inclinación hacia lo cuantitativo, algo superior a las encuestas estructuradas, pero inferior a los métodos experimentales y estadísticos.

Si bien los objetivos de una investigación determinan los métodos a seleccionar, este condicionamiento no constituye una relación trivial. Existen también factores subrepticios capaces de condicionar la toma de decisiones en el diseño de la investigación, lo cual resulta valioso conocer y tomar en consideración para disminuir la subjetividad. Para la comprensión de este fenómeno, la técnica de reducción de datos sugiere que existen cuatro factores latentes que podrían condicionar dicho posicionamiento sobre el continuo cuali/cuanti, aunque estos resultados deben asumirse con ciertas reservas, a causa del insuficiente tamaño de la muestra y la escasa diversidad de métodos investigados. Las evidencias empíricas indican que el grado de formalización, el modo de organización, el nivel de abstracción, y la relación empiria/teoría, son factores que influyen en la percepción del método. Por tanto, estos cuatro aspectos subyacen en el por qué se aplica en el marco de una investigación concreta.

Para investigaciones futuras, es sugerente diferenciar dos formas generales, asociadas a la esencia cualitativa y/o cuantitativa de cada método: la naturaleza de la información procesada (contenido) y lo manera en que esta se procesa (forma). Además, en el instrumento utilizado puede resultar conveniente sustituir la dicotomía de estar o no familiarizado con cada método, por una escala que mida el nivel de familiarización. Bajo estas condiciones no solo sobrevendrán resultados más fiables y válidos, sino también posibilidades más amplias para explicar la naturaleza perceptiva de este método en el campo de las investigaciones educacionales. Por ejemplo, un aspecto importante consiste en investigar qué otros métodos se suelen implementar o no junto al método Delphi y qué relaciones subsisten entre ellos (complementación, combinación, integración, etcétera) de manera significativa.

Bibliografia

Asselin, M., & Harper, M. (2014). Revisiting the Delphi technique. Implications for nursing professional development. Journal for Nurses in Professional Development, 30, (1), 11-15. doi: 10.1097/01.NND.0000434028.30432.34

Bowles, N. (1999). The Delphi technique. NursingStandard. 13, (45), 32-36. doi: 10.7748/ns1999.07.13.45.32.c2650

Cruz, M. (2009). El Método Delphi en las Investigaciones Educacionales. La Habana: Academia.

Dalkey, N., & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9, (3), 458-467. doi: 10.1287/mnsc.9.3.458

Fletcher, A. J., & Marchildon, G. P. (2014). Using the Delphi method for qualitative, participatory action research in health leadership. International Journal of Qualitative Methods, 13, 1-18. doi: 10.1177/160940691401300101

Goldstein, E. B. (2014). Sensationand Perception (9th ed.). Belmore, CA: Wadsworth, Cengage Learning.

Hasson, F., & Keeney, S. (2011). Enhancing rigour in the Delphi technique research. TechnologicalForecasting & Social Change, 78, (9), 1695-1704. doi: 10.1016/j.techfore.2011.04.005

Helmer, O., & Rescher, N. (1958). On the Epistemology of the Inexact Sciences. Santa Monica: Rand Corporation Paper P-1513. http://www.rand.org/pubs/papers/2005/P1513.pdf

Jones, L. E. (1983). Multidimensional models of social perception, cognition, and behavior. Applied Psychological Measurement, 7, (4), 451-472. doi: 10.1177/014662168300700405

Johnson, R. B., Onwuegbuzie, A. J., & Turner, L. A. (2007). Toward a definition of mixed methods research. Journal of Mixed Methods Research, 1, (2), 112-133. doi: 10.1177/1558689806298224

Kaplan, A., Skogstad, A. L., & Girshick, M. A. (1950). The prediction of social and technological events. Public Opinion Quarterly, 14, (1), 93-110. doi: 10.1086/266153

Keeney, S., Hasson, F., & Mckenna, H. (2011). TheDelphi Technique in Nursing and Health Research. Oxford: Wiley-Blackwell.

Lahey, B. B. (1986). Psychology. An Introduction. Iowa, CA: WCB.

Landeta, J. (1999). El Método Delphi: Una Técnica de Previsión para la Incertidumbre. Barcelona: Ariel.

Murry, J. W., & Hammons, J. O. (1995). Delphi: a versatile methodology for conducting qualitative research. The Review of Higher Education, 18, (4), 423-436. doi: 10.1353/rhe.1995.0008

Powell, C. (2003). The Delphi technique: myths and realities. Journal of Advanced Nursing, 41, (4), 376-382. doi: 10.1046/j.1365-2648.2003.02537.x

Rowe, G., & Wright, G. (1999). The Delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15, (4), 353-375. doi: 10.1016/S0169-2070(99)00018-7

HTML generado a partir de XML-JATS4R por