1. INTRODUCCIÓN

El primer paso necesario e imprescindible para iniciar una investigación es la formulación de un problema que, en nuestro caso, consistía en realizar un acercamiento al Fenómeno FabLab. Pero ¿qué es un FabLab? ¿Como surgió este fenómeno? El término FabLab deriva de la expresión Fabrication Laboratory y define a una serie de espacios interconectados a través de una red internacional de colaboración, dotados de tecnología avanzada (Betts, 2010; Mikhak et al., 2002; Troxler & Schweikert, 2010; Troxler & Wolf, 2010) controlada mediante computadores (Díez, 2012), que promueven determinados entornos colaborativos en los que se potencia y promocionan los procesos de fabricación digital presentes habitualmente en diversos ámbitos (educativos, arquitectónicos, médicos…(Álvarez, González & Puentes, 2013; Määttä & Troxler, 2011; Mikhak et al., 2002; Posch & Fitzpatrick, 2012). Desde su aparición a principios de los 2000 de la mano del profesor Gersehfeld, el fenómeno FabLab no ha cesado de crecer. En la actualidad contamos más de mil laboratorios de fabricación diseminados por todo el mundo (Lena-Acebo y García-Ruiz, 2017).

Para concretar dicho acercamiento, nos proponemos verificar la realidad de los diferentes FabLab¹ existentes en el mundo atendiendo tanto a aspectos económicos sobre su constitución, presupuesto anual, a aspectos característicos que incluyen sus instalaciones, su maquinaria e incluso a aspectos meramente estratégicos como su tipo de usuario, la visión de su negocio o las perspectivas de futuro que los Fab Manager perciben a partir del estudio de las dimensiones identificadas en el análisis de la información cualitativa procedente de la revisión bibliográfica, y otras herramientas de trabajo como entrevistas iniciales y focus group.

La ausencia de un marco teórico que pudiera dar soporte a un fenómeno tan novedoso sobre se evidencia una falta de referentes para definir la investigación. La metodología Delphi se consideró adecuada en el presente trabajo al existir la oportunidad de acceder a un número relevante de expertos en el entorno académico, profesional, y social del objeto de estudio (Ortega, 2008) que, por otra parte, no cuenta con el desarrollo en la literatura académica necesario ni con la información de origen empírico suficiente. En este aspecto, se identificaron trabajos previos similares cuyo objeto de investigación incluía a los FabLab en su foco como la desarrollada por Walter-Hermann (2013) en la que un cuestionario estandarizado de tipo cuantitativo con 25 ítems de respuesta múltiple fue enviado a todos los FabLabs listados en la página web del Center For Bits and Atoms obteniendo respuesta de 21 de ellos (Walter-Herrmandasn & Büching, 2013), como el estudio llevado a cabo por Troxler (2010) en la que analizaba los modelos de negocio desarrollados por los diferentes FabLab en términos de proposición de valor, modelo de ingresos, procesos y recursos, márketing y partnerships en innovación en una muestra de 10 FabLab participantes (Troxler, 2010), las llevadas a cabo entre los usuarios del FabLab Amsterdam (Maldini, Van Abel, Schaub, Kresin, & Gimeno-Martinez, 2013), las llevadas a cabo entre los usuarios considerados Makers en la península Italiana (Bianchini et al., 2015) o los estudios realizados a través de las entrevistas telefónicas o las investigaciones presenciales y las visitas a los diferentes laboratorios (Eychenne, 2012).

2. MÉTODO DELPHI

La aplicación del método científico pretende la resolución de una problemática concreta a través de un proceso de representación de la realidad mediante un modelo confiable, consistente y no arbitrario (Ortega, 2008). Entre los métodos cualitativos empleados en el método científico destaca el método Delphi como uno de los más utilizados en la investigación científica en situaciones problemáticas que incluyen desde la identificación de tópicos hasta la elaboración de instrumentos de análisis y recogida de información, destacando su utilidad en el ámbito de las ciencias sociales en general (Cabero & Infante, 2014).

Su uso está documentado a lo largo de la literatura científica en áreas como la medicina (Cam, McKnight & Doctor, 2002; Ferri et al., 2005; Hung, Altschuld & Lee, 2008; Kizawa et al., 2012; Loughlin & Moore, 1979; Penciner et al., 2011; Spiby, 1988), la educación y la investigación educativa (de Villiers, de Villiers & Kent, 2005; Green, 2014; Judd, 1972; Luna-Gijón & Porras-Hernández, 2014; Minghat, Yasin & Udin, 2012; Skulmoski & Hartman, 2007; van Zolingen & Klaassen, 2003; Zawacki-Richter, 2009), la economía (Akkermans, Bogerd, Yüccesan & Van Wassenhove, 2003; Baines & Shi, 2015; Cañibano & Alberto, 2008; O. Helmer & Quade, 1963; Pawlowski & Okoli, 2004; Wittman, Beckie & Hergesheimer, 2012), donde tuvo su inicial aplicación, e incluso en aspectos tecnológicos (Blind, Cuhls & Grupp, 2001; Breiner, Cuhls & Grupp, 1994; Kramer, Walker & Brill, 2007; Martino, 2003; Martino, 1993; Salo & Cuhls, 2003) entre otros (Cabero & Infante, 2014) como herramienta predictiva e incluso como sistema de validación de herramientas de recogida de información (Blasco, López & Mengual, 2010; Briceño Marcano & Romero Tena, 2012; Calabuig Moreno & Crespo Hervàs, 2009; Mérida, Serrano & Tabernero, 2015; Salgado, Larenas, Aguilera & Martínez-Geijo, 2013), llegando a popularizarse de tal manera que en una relación recogida por Linstone y Turoff (1975) se contabilizan cerca de 500 publicaciones hasta 1974 (Cabero & Infante, 2014).

El método Delphi es un método prospectivo basado en expertos (Ortega, 2008; Turoff & Linstone, 1976) que se define como un “proceso sistemático e iterativo encaminado a la obtención de las opiniones y, si es posible el consenso, de un grupo de expertos” (Landeta, 2005) considerando a estos como personas que “tienen una estrecha relación sobre la cuestión, sector, tecnología u objeto de la investigación”(Landeta, 2002). Su metodología es apropiada para la obtención de información a partir de los expertos en función de los conocimientos del sector y la capacidad y la habilidad para analizar los ítems consultados resultando especialmente adecuada en las áreas de conocimiento “complejas, dinámicas, ambiguas y con falta de información” por su bajo coste en la obtención de la misma (Ortega, 2008). Además, su uso se ha sido recomendado en aquellos estudios en los que se muestra una baja tasa de información sobre evidencias empíricas previas (Asselin & Harper, 2014; Falzarano & Pinto Zipp, 2013).

La técnica Delphi se desarrolló en 1950 en el seno de la RAND Corporation de Santa Mónica, en California (Ortega, 2008; Rowe & Wright, 1999) como una forma de obtención del mayor consenso alcanzable en la opinión de un grupo de expertos a través de una serie de cuestionarios (Dalkey & Helmer, 1963) apoyándose en las bases científicas, como elemento de trabajo en las ciencias inexactas publicado años antes por Helmer y Rescher (1959), para convertirse en un método estructurado y efectivo en la recogida de información de un grupo ante la resolución de una problemática concreta (Cabero & Infante, 2014). Su nombre deriva del Oráculo de Delfos, popular oráculo dedicado al dios Apolo en la antigua Grecia, al relacionarse con su aplicación como técnica prospectiva (Cabero & Infante, 2014; Dalkey & Helmer, 1963; Olaf Helmer & Rescher, 1959; Landeta, 2002; Linstone & Turoff, 2002). Existen varias forma de aplicación del método Delphi (Linstone & Turoff, 2002; Martino, 1993; Rowe & Wright, 1999), generalmente presentes en los estudios empíricos, en las que la más común se establece a partir de una ronda inicial estructurada y organizada por el panel monitor del estudio, a través de una o dos interacciones en función del grado de acuerdo entre los panelistas (Rowe & Wright, 1999) hasta lograr depurar los juicios de grupo “a través de un procedimiento matemático de agregación de juicios individuales” (Luna, Infante & Martínez, 2006).

En su desarrollo, tras las diferentes rondas aplicadas en un método Delphi las respuestas de los panelistas son analizadas cualitativamente y cuantitativamente, habitualmente de forma estadística a través del tratamiento de medianas y los consecuentes intervalos de confianza (Rowe & Wright, 1999). Puesto que el objetivo del método Delphi es lograr el mayor consenso posible entre los panelistas implicados, de forma empírica se considerará que se ha alcanzado el mismo determinándolo a través de la medida de la varianza en las respuestas de los panelistas a través de las diferentes rondas (Rowe & Wright, 1999). Las fases típicamente identificadas en la aplicación de un método Delphi son (Astigarraga, 2006; Cabero & Infante, 2014; Linstone & Turoff, 2002; Ortega, 2008) van desde la definición del problema por parte del Grupo Coordinador, identificación del objetivo y determinación de los criterios de consenso, hasta la evaluación de los resultados y conclusiones, pasando por la formación del Panel de Expertos a través de los criterios de selección fijados, diseño del cuestionario de la primera y sucesivas rondas de preguntas, evaluación de los Cuestionario por parte del grupo de expertos, análisis de las respuestas e iteraciones hasta alcanzar el grado de acuerdo necesario y aplicación de las mejoras aceptadas por el Grupo Coordinador.

En este trabajo, la aplicación del método se estableció en siete etapas fundamentales:

1. 1. Diseño del cuestionario por parte del Grupo Coordinador a partir de las variables identificadas en las dimensiones determinadas en el análisis cualitativo.
2. 2. Selección del Panel de Expertos.
3. 3. Obtención de las respuestas del Panel de Expertos.
4. 4. Interpretación de las respuestas y evaluación de acciones.
5. 5. Modificación del cuestionario por parte del Grupo Coordinador.
6. 6. Obtención de las respuestas del Panel de Expertos.
7. 7. Interpretación de las respuestas y conclusiones.

2.1. Etapa 1. Diseño del cuestionario

Basándose en la revisión de la literatura y la identificación de los aspectos principales en la caracterización de los FabLab detectados en la realización del Grupo Focal previo y las entrevistas iniciales, el Grupo Coordinador estableció una serie de objetivos principales en la obtención de información básica necesaria que se distribuyó en cuatro bloques de información principales. Dichos bloques se dividían en los aspectos característicos de los FabLab, la descripción de su Modelo de Negocio, los procesos de innovación llevados a cabo en los FabLab, los procesos de documentación de proyectos y la perspectiva interna de cada laboratorio de fabricación digital. El objetivo del cuestionario, por lo tanto, era recabar la mayor cantidad de información interpretable en esos aspectos, para lo que se diseñó un cuestionario inicial distribuyendo las cuestiones destinadas a recabar la información para las diferentes variables en los diferentes bloques y para, posteriormente, someterlo al panel de expertos para su validación a través del método Delphi.

Tabla 1. Distribución de bloques en el cuestionario FabLab Global Survey
Elaboración propia

2.2.Etapa 2. Selección del panel de expertos

En lo referente a la determinación de expertos, no existe un consenso en la literatura sobre el número óptimo de expertos en un desarrollo Delphi, a pesar de que este paso se muestra crítico en el desarrollo del método (Pawlowski & Okoli, 2004; Powell, 2003; Williams & Webb, 1994). El tamaño del panel de expertos a emplear se encuentra fuertemente influenciado por aspectos como el ámbito geográfico, la diversidad de los colectivos y las áreas específicas de desempeño de los mismos, etc. (Ortega, 2008). La literatura propone un tamaño de panel comprendido entre los diez y los dieciocho expertos provenientes de diferentes grupos de interés implicados en el estudio (Pawlowski & Okoli, 2004) si bien Cabero y Llorente (2013) hacen un pormenorizado análisis que establece diferentes indicaciones: Desde los 15 a 20 ó 25 expertos (Malla & Zabala, 1978), entre los 7 y 30 expertos indicados por Landeta (2002) ó el establecimiento de un número máximo de 50 expertos que podrá ser sobrepasado en el caso de que la complejidad de la cuestión así lo requiera (Witkin & Altschuld, 1995).

La constitución del panel de expertos independientemente de su número, pero especialmente si este es numeroso, deberá realizarse de forma heterogénea de modo que las opiniones adquieran la pertinente relevancia, esencialmente en aplicaciones complejas (Ortega, 2008) llegando a depender la calidad del trabajo del proceso de selección de los mismos (Cabero & Infante, 2014; Cañibano & Alberto, 2008; Landeta, 2002). La experticia de los miembros puede establecerse a través de criterios como el conocimiento o experiencia en la materia o la experiencia profesional en la temática mientras que pueden ser criterios de selección de dicho conjunto de panelistas, a parte de los anteriores, la accesibilidad y disponibilidad para la participación en el estudio o la capacidad comunicativa entre otros (Cabero & Infante, 2014).Además, en la selección del número de expertos se debe prever el número de rechazos y abandonos en el proceso por parte de los mismos (Ortega, 2008), anticipando esta eventualidad en la realización del criterio de selección previo.

Tal y como destaca Landeta (2002), se pueden establecer dos tipos principales de expertos, aquellos que se encuentran implicados de alguna forma en la materia objeto de estudio y aquellos que tienen un conocimiento científico y experiencia sobre la misma (Cabero & Infante, 2014).Como indican Cabero y Llorente (2013), son muchos los procedimientos que se pueden emplear para la selección de expertos diferenciados según la complejidad que el Grupo Coordinador, responsable de la investigación, aplique al proceso estructurado de su elección, desde la libre elección hasta la elaboración de coeficientes de competencia. La selección oportuna del procedimiento de selección, en nuestro caso, se vio influenciada por la complejidad del problema y la escasa información disponible, así como por la profundidad en los objetivos que la presente investigación pretendía alcanzar.

Atendiendo a las indicaciones de Landeta (2002), recogidas por Cabero e Infante (2014), en el presente estudio el grupo de expertos se constituyó atendiendo a la complejidad del problema a tratar, buscando la participación de individuos de ámbitos heterogéneos agrupados en cuatro grupos: Ámbito académico, ámbito tecnológico, ámbito profesional y ámbito metodológico. De esta forma, dos de los grupos se verían encuadrados en el nivel de experticia necesario en el ámbito científico en dos aspectos relevantes y necesarios para el desarrollo del instrumento como el académico y el metodológico, y otros dos de los grupos se encuadrarían en el necesario nivel de implicación del objeto de estudio a analizar a través de su experiencia profesional o su conocimiento como tecnólogos de reconocido prestigio. A través de la particular composición del grupo presentado en el panel de expertos se garantiza la heterogeneidad y significatividad (Landeta, 2002) necesaria para abordar el objeto de investigación del presente trabajo.

Para la selección individual de los expertos se empleó el Biograma del Experto (Cabero & Barroso, 2013; Cabero & Infante, 2014; Cabero & Llorente, 2013; Murua Anzola, Cacheiro González& Gallego Gil, 2014; Robles& del Carmen, 2015) en el que, a modo de informe, se recogía información sobre su experiencia profesional, producción científica, campos de estudios e implicación laboral. En otros estudios revisados, un mecanismo similar en el que se considera la producción científica de los participantes, recibía un nombre de Knowledge Resource Nomination Worksheet (KRNW) (Pawlowski & Okoli, 2004) y su utilización se muestra similar a nuestro Biograma del Experto.

Tabla 2. Resumen de los objetivos y método de validación por expertos
Elaboración propia

En el presente estudio se planteó una preselección de expertos consistente en 56 expertos a valorar de los que 18 eran expertos académicos en el ámbito de la Organización de Empresas, 16 metodólogos en el ámbito de la investigación científica, 12 profesionales en el sector de las nuevas tecnologías y el prototipado rápido y 10 expertos en tecnología que conformarían el Panel Tentativo Previo de Expertos.

Ilustración 1. Diagrama de trabajo para la configuración del panel de expertos
Elaboración propia

Tras valorar su Biograma por el Grupo de Coordinación, se redujo dicho panel hasta conformar el Panel Tentativo de Expertos. Tras contactar con estos expertos para evaluar su disposición a participar en el estudio, en los ámbitos menos numerosos, se ofreció la oportunidad de proponer nuevos expertos de su consideración para el estudio adaptando el planteamiento propuesto por Pawlowski et al. (2004), que fueron debidamente evaluados a través de Biograma del Experto por parte del Grupo de Coordinación y que, en cinco de los casos, pasaron a formar el grupo de expertos considerados en el Panel de Expertos definitivo. Tras esto, el Panel de Tentativo Ampliado contaba con un número de 31 expertos y compuesto por 8 metodólogos, 7 expertos académicos en el ámbito de la Organización de Empresas, 7 profesionales del sector de las nuevas tecnologías y el prototipado rápido y 9 expertos en tecnología teniendo en cuenta su capacidad de compromiso con el proceso Delphi a desarrollar, su fácil acceso y comunicación y su disponibilidad.

Para la selección definitiva de los expertos a partir de los obtenidos en Panel Tentativo Ampliado por parte del Grupo de Coordinación, se empleó el Coeficiente de Competencia Experta (Blasco et al., 2010; Cabero & Barroso, 2013) calculado a partir de:

“la opinión mostrada por el propio experto sobre su nivel de conocimiento acerca del problema analizado, así como de las fuentes que permiten argumentar su respuesta” (Cabero & Infante, 2014).

En dicho coeficiente se promediaban dos factores, el Coeficiente de Conocimiento Kc y el Coeficiente de Argumentación Ka (Blasco et al., 2010; Cabero & Barroso, 2013).

El denominado Coeficiente de Conocimiento Kc, se mostraba determinado por la información que el propio experto presenta del objeto de estudio determinada mediante un proceso de autovaloración en una escala de cierre gráfico [0-10] multiplicado por un factor 0,1 en el valor 10 implicaría el pleno conocimiento de la problemática objeto de estudios y el valor 0 el nulo conocimiento de la misma.

El coeficiente de Argumentación Ka que evalúa los criterios de fundamentación de la opinión del experto a partir de la suma de valores ponderada obtenida en una serie de Factores de Influencia determinados por el Grupo Coordinador: experiencia obtenida a través de su actividad y práctica, conocimiento del estado de la cuestión a nivel nacional e internacional, intuición sobre el tema abordado y conocimientos sobre tecnología y estudio de trabajos y publicaciones sobre el tema obteniendo los resultados mostrados en la Tabla 3.

Tabla 3. Ponderación de los factores de fundamentación en función del grado de influencia
Elaboración propia

En nuestro caso, tras la evaluación de las respuestas de todos los expertos, se estableció como criterio objetivo la criba de aquellos que en el Coeficiente de Competencia Experta no alcanzaran el nivel crítico exigible establecido por el Grupo Coordinador en valor de 0.8, tal y como indican Cabero y Barroso (2013). De esta forma, estos expertos fueron excluidos del panel de expertos definitivo. De igual manera, fueron eliminados todos aquellos expertos que rehusaron participar en el estudio, así como aquellos de los que no se recibió respuesta a la solicitud de participación en el plazo límite determinado por el Grupo Coordinador.

Así pues, el Panel de Expertos queda compuesto por una representación de 4 expertos pertenecientes al ámbito académico (26,7% del total), 4 expertos pertenecientes al ámbito Tecnológico (26,7% del total), 3 expertos pertenecientes al ámbito Metodológico (20% del total) y 4 expertos pertenecientes al ámbito Profesional de las tecnologías y el prototipado rápido (26,7% del total) cuyos Coeficientes Argumentación son los mostrados en la Tabla 4. En dicha Tabla aparecen, así mismo, los datos biográficos de los expertos participantes en el Panel definitivo.

Tabla 4. Determinación del coeficiente de argumentación
Elaboración propia

Adicionando los valores de los Coeficientes de Conocimiento y calculando a través de la expresión anteriormente citada, se obtuvo el Coeficiente de Competencia Experta K indicado en la Tabla 5.

Tabla 5. Valoración según el coeficiente de competencia del experto
Elaboración propia

Debido a la dificultad del objeto de investigación, se asignó una valoración de la competencia como experto “Alta” cuando su coeficiente se estableció en valores superiores a 0.9, “Media” si su coeficiente alcanzó los valores comprendidos entre 0.7 y 0.9 y “Baja” si su coeficiente obtuvo valores inferiores a ese 0.7.

2.3. Etapa 3. Obtención de respuestas por parte del panel de expertos

Una vez confeccionado el primer cuestionario, se diseñó la hoja registro que se facilitaría a los jueces-expertos para su valoración donde se les solicitaba que evaluaran la adecuación de los ítem a cada uno de los elementos del cuestionario a través de una escala Likert ordinal en un rango de 1 a 5, siendo 1 la puntuación asignada para el valor más bajo posible “Nada adecuado”, 2 para el valor “Poco adecuado”, 3 para el valor “Adecuado”, 4 para el valor “Bastante adecuado” y 5 el valor asignado para la puntuación más alta posible, “Muy adecuado”. Además, en la propia hoja de valoración se facilitó, por cada ítem, un espacio para la aportación de propuestas o posibles modificaciones y cambios propuestos.

Tabla 6. Ficha del cuestionario de evaluación por expertos
Elaboración propia

La aportación de la evaluación por parte del Panel de Expertos permitió determinar la validez de contenido del cuestionario mediante el empleo de un doble análisis cualitativo y cuantitativo de las respuestas aportadas en las hojas de registro.

2.4 .Etapa 4. Interpretación de las respuestas y evaluación de acciones

Una de las principales dificultades en la evaluación y validación de cuestionarios mediante el método Delphi proviene de la subjetividad de los criterios esgrimidos por los jueces del Panel de Expertos y, por consiguiente, su dificultad a la adaptación de un modelo matemático para su análisis (Goodman, 1987; Hasson & Keeney, 2011; Turoff & Linstone, 1976; Yousuf, 2007).

En el desarrollo del cuestionario de evaluación remitido a los expertos se emplearon valores de escala nominales (Nada adecuado, Poco adecuado, Adecuado, Bastante Adecuado y Muy adecuado) asociados de forma automática a indicadores ordinales (1, 2, 3, 4 y 5 respectivamente) para su tabulación sencilla, asumiendo como definidas las relaciones entre categorías y los límites de las mismas sin considerar los verdaderos límites reales o valores correspondientes a escalas de intervalo, lo que puede implicar un error en la precisión de la determinación de dichos valores. De esta forma, al asignar los valores de forma directa, se establece una distribución escalonada en números enteros de valor fijo que no se corresponde con una valoración en un continuo y que, por lo tanto, no presenta una distribución en una recta real acotada por valoraciones de intervalo (Mead, 1992; Torgerson, 1958; Torgerson, 1952).

Para comprobar el acierto en dicha asunción de equivalencia entre escalas se empleó el modelo de Torgerson (1952) a través de un reescalamiento de forma que se logre una mayor objetividad en el tratamiento de la información al convertir la escala ordinal original (cualitativa) en una escala de intervalo (cuantitativa) (Medina et al., 2011) que permita la valoración de cada uno de los ítem de forma individual.

De esta forma, el modelo de Torgerson se sustenta en los siguientes supuestos aportados por Medina et al. (2011):

1. 1. Cada objeto (indicador) se corresponde con la dimensión subjetiva de una variable aleatoria distribuida normalmente, cuya media, m, es el valor de escala de ese objeto. Se asume igualmente que todas las varianzas son iguales.
2. 2. Cada límite de categoría se corresponde con la dimensión subjetiva de una variable aleatoria distribuida normalmente, cuya media, t , es el valor de escala de ese límite. Se asume, también, que todas las variables son iguales.
3. 3. Las variables aleatorias que representan tanto a los objetos como a los límites son independientes. Una variable no puede contener valores de otra.
4. 4. Un objeto pertenece a la K-ésima categoría cuando su valor de escala x, está entre los valores de los límites de orden k-1 y k, de forma que los límites entre las categorías asumidas para los indicadores quedan claramente definidos.

En nuestro caso, con el doble objetivo de evaluar la conveniencia de la asignación directa de valores a las respuestas de la escala ordinal en la valoración de los ítems del cuestionario por parte de los jueces participantes en el Panel de Expertos para su cuantificación, y analizar la adecuación de los ítems planteados en el método Delphi para la composición del cuestionario a los Fab Manager, se aplicó el desarrollo del modelo de Torgerson a través de los siguientes pasos:

1. Se estableció una tabla resumen de las diferentes ponderaciones proporcionadas por los jueces expertos asignando una valoración a las respuestas según el criterio:

Tabla 7. Criterio de valoración
Elaboración propia

2. A partir de las valoraciones, se calcularon las frecuencias absolutas de respuesta y las frecuencias acumuladas, así como la frecuencia acumulada relativa, obtenida del cociente entre la frecuencia acumulada en las respuestas y el número de respuestas existentes o número de expertos, expresando esta última con dos cifras decimales. Es interesante observar cómo la frecuencia acumulada relativa satura su valor máximo antes de la primera categoría acumulando su máxima probabilidad en todas las preguntas, con lo que el indicador mínimo presente será “poco adecuado”.

Mediante las frecuencias relativas acumuladas se procedió al cálculo de los puntos de corte y sus respectivas escalas de indicadores por medio de los valores normales estándar inversos de las propias probabilidades acumuladas de cada indicador en cada pregunta. Para ello se empleó la aproximación al valor más cercano de la curva Normal Estándar de la probabilidad acumulada. Es necesario indicar que, para los valores de probabilidad acumulada iguales a 1, el valor estándar inverso correspondiente se considera 3,5 como reducción práctica al mostrarse asintótico a partir del valor 3,49. De igual forma, para valores de probabilidad acumulada iguales a 0, el valor estándar inverso se asumirá igual a -3,5.Una vez tenida en cuenta dicha consideración, y con objeto de facilitar la labor de cálculo de la función estándar inversa correspondiente a cada valor de probabilidad acumulada, se hizo uso de la función relativa a la inversa de la función estándar a través de un software de hoja de cálculo para ordenador².

A los valores calculados se añadió la columna “Promedio”, obtenida del cálculo del promedio de los valores hallados por fila. De forma similar se estimaron los Puntos de Corte, calculando estos como el promedio de los valores de la función estándar inversa por cada uno de los valores de escala (columnas). Se determinó también el valor de Límite N, a través del promedio de los Puntos de Corte (cuyo resultado será el mismo que el promedio de los promedios de cada categoría) y que delimitarán los verdaderos rangos de intervalo a los que pertenece cada categoría.

Tabla 8. Determinación de imágenes por la Curva Normal Estándar Inversa y los Puntos de Corte
Elaboración propia

Para determinar la pertenencia real dichos los rangos de cada categoría para cada ítem se estimó el valor N-P, obtenido como la diferencia del valor límite menos el valor promedio de cada ítem (Tabla 8).

Tabla 9. Determinación de los rangos definitivos y los puntos de corte
Elaboración propia

Finalmente, a través de la comparación de valor N-P de cada ítem con los puntos de corte y límites de rango de cada una de las categorías, se determina de forma precisa la pertenencia de cada uno de los ítems.

Tabla 10. Pertenencia a rango de cada uno de los ítems
Elaboración propia

Tras la distribución en las diferentes categorías, se observa que las valoraciones proporcionadas por los integrantes del Panel de Expertos se muestran favorables a los ítems propuestos desde el Grupo Coordinador. La adecuación de los mismos se establece en “Muy adecuado” para 25 de los casos (80,7%) mientras que 6 de los casos se establece en la categoría de “Bastante adecuado” (19,3%) sin mostrarse ninguno de los casos como “Adecuado”, “Poco adecuado” o “Nada adecuado”.

A pesar de esta valoración favorable, y atendiendo a las valoraciones cualitativas aportadas por los jueces integrantes del Panel de Expertos, el Grupo Coordinador consideró oportuna un análisis pormenorizado cuantitativo y cualitativo de las aportaciones en aras de una mejor construcción del instrumento a emplear.

Valoración del cuestionario v Aiken y coeficiente.

Para asegurar la validez de contenido en la realización del cuestionario se empleó el Coeficiente de Validez de Contenido V de Aiken (Aiken, 1980, 1985) como mecanismo para la evaluación de la validez de contenido o relevancia de diversos ítems a través de un conjunto de N jueces con una magnitud distribuida en un rango de valores 0.00 a 1.00 siendo este último el de mayor magnitud posible indicando el acuerdo perfecto entre los jueces respecto a la mayor puntuación posible en la validez de los contenidos evaluados (Merino Soto & Livia Segovia, 2009; Penfield & Giacobbi, 2004; Penfield & Miller, 2004). En el caso que nos ocupa, la determinación del valor V de Aiken se realiza a través de la ecuación modificada por Penfield y Giacobbi (2004):

donde X corresponde con la media de todas las calificaciones emitidas por los jueces del Panel de Expertos, l es la calificación más baja seleccionable y k es el rango de valores disponibles en la escala empleada (Merino Soto & Livia Segovia, 2009). En nuestro caso, k adquirirá el valor 4, (K= 5 - 1 = 4).

Por su parte, los intervalos de confianza se calcular empleando el método Score (Wilson, 1927) gracias a su independencia sobre la normalidad de la variable, la asimetría respecto a dicha variable y su exactitud (Merino Soto & Livia Segovia, 2009).

En el caso que nos ocupa, se empleó una derivación de la fórmula original propuesta por Penfield y Giocobbi (2004) en el que el límite inferior queda definidos a través de:

mientras que el límite superior se define a través de:

siendo:

En el caso que nos ocupa, se eligió un nivel del 0,975 para la estimación de los intervalos de confianza adoptando un criterio conservador de exclusión para los mismos de V0=70 (Charter, 2003; Merino Soto & Livia Segovia, 2009) al contar con un número nutrido de jueces en el Panel de Expertos (Merino Soto & Livia Segovia, 2009; Penfield & Giacobbi, 2004)³.Otro de los indicadores empleados en el análisis de las valoraciones aportadas por los miembros del Panel de Expertos es el Coeficiente de Variación, calculado como el cociente entre la desviación típica de las respuestas individuales de los expertos y la media de dichas respuestas (Landeta, 2002; Ortega, 2008; Varela-Ruiz, Díaz-Bravo& García-Durán, 2012) considerando un nivel de consenso aceptable cuando dicho coeficiente adquiere valores inferiores al 40% (Ortega, 2008).

2.5. Etapa 5. Modificación del cuestionario

Teniendo en cuenta lo anterior, para la configuración del cuestionario, el Grupo Coordinador estableció varios criterios de revisión y exclusión en función de los valores V de Aiken y el Coeficiente de Variación.

Así mismo, se establecieron criterios de revisión que implican la valoración del ítem por parte del Grupo Coordinador. De esta forma, las opiniones de los expertos que conformaban nuestro Panel de evaluación nos permiten analizar los siguientes resultados:

Tabla 11. Evaluación de los criterios de exclusión para el Bloque 1
Elaboración propia

Ninguno de los criterios de exclusión se cumplió para eliminar preguntas en este bloque, si bien el criterio de revisión se cumplió para las preguntas P4, P5, y P7, con lo que se atendió a las indicaciones de modificación propuestas por los jueces-experto e indicadas en la tabla. En la revisión realizada por el Equipo Coordinador se completaron las preguntas P3 y P8 siguiendo las sugerencias del Panel de Expertos. Además, se añadieron dos nuevas preguntas P2.16 y P2.17 encaminadas a obtener información relevante sobre el modelo de negocio básico y la percepción sobre la influencia del prototipado, la formación y la tecnología Open Hardware en los FabLab y se reorganizó el bloque atendiendo a las indicaciones generales del Panel de Expertos.

Tabla 12. Valoración cualitativa de los expertos para el Bloque 1
Elaboración propia

En el segundo bloque de preguntas, ninguno de los criterios de exclusión se verificó, si bien sí se cumplieron los criterios de revisión para la pregunta P9, en la que se modificó la estructura y tipo de pregunta en función de los comentarios de los jueces expertos, y para la pregunta P15 en la que, atendiendo a los comentarios de los expertos del Panel de Expertos, se alteró la redacción. Además, el Grupo Coordinador aceptó complementar las preguntas P12, P13 y P14 con las preguntas P2. 22, P2.24 y P2.26 (opcionales tras la elección de “Other”) al entender como óptimas las sugerencias remitidas por los jueces. El Grupo Coordinador descartó la modificación de la pregunta P16 sugerida por alguno de los jueces al no satisfacerse los criterios de revisión indicados y al considerar su relevancia debido al carácter tentativo y exploratorio de la misma.

Tabla 13. Evaluación de los criterios de exclusión para el Bloque 2
Elaboración propia

Tabla 14. Valoración cualitativa de los expertos para el Bloque 2
Elaboración propia

En el tercer bloque de preguntas se cumplieron los criterios de exclusión para las peguntas P24, P25 y P26. Así mismo fueron revisadas las preguntas P17 y P21 al verificarse los criterios de revisión propuestos por el Grupo Coordinador. Para la pregunta P17 se varió su tipología según la indicación de los jueces-expertos estableciendo rangos abiertos para sus respuestas y separando y añadiendo nuevas categorías. En el caso de la pregunta P21 se modificó el enunciado de la pregunta.

Tabla 15. Evaluación de los criterios de exclusión para el Bloque 3
Elaboración propia

Tabla 16. Valoración cualitativa de los expertos para el Bloque 3
Elaboración propia

En el caso del cuarto bloque, se cumplieron las condiciones establecidas en los criterios de revisión marcados por el Grupo Coordinador para las preguntas P27 y P31, resultando en la revisión de la información proporcionada en el enunciado de primera pregunta y la aclaración del objeto en la segunda. Así mismo se atendió a las sugerencias propuestas por el Panel de Expertos para las preguntas P28 y P29 en lo referente a la explicación de las mismas.

Tabla 17. Evaluación de los criterios de exclusión para el Bloque 4
Elaboración propia

Tabla 18. Valoración cualitativa de los expertos para el Bloque 4
Elaboración propia

De forma análoga a lo anterior se procedió a la evaluación de las valoraciones proporcionadas por el Panel de Expertos sobre los aspectos generales del cuestionario. Dado que en este caso no es posible la eliminación de ítems del cuestionario, se estableció un criterio de revisión de los diferentes aspectos en función del criterio de score del valor del coeficiente de validez de contenido de V de Aiken considerando un intervalo de confianza determinado por un nivel 0.95 (Z=1,95996) y un criterio de determinación de exclusión de 0,5.Así, se establecieron como criterios cuantitativos de revisión (1º) que la pregunta posea un Coeficiente de Variación superior al 20% ó un valor del coeficiente V de Aiken inferior a 0.80 y (2ª) que en el parámetro de redacción evaluado por los expertos se indique de forma precisa por, al menos, uno de los jueces-expertos o que, en función de las valoraciones cualitativas, sea considerado por parte del Grupo Coordinador.

Tabla 19. Valoración de los aspectos generales del cuestionario
Elaboración propia

Atendiendo a los criterios de revisión anteriormente expuestos, se construyó de nuevo la introducción al cuestionario teniendo en cuenta indicaciones propuestas por el Panel de Expertos. Así mismo, y con objeto de mejorar la claridad de contenido y el orden de las preguntas, se alteró la distribución en cuatro bloques de la propuesta inicial (Descripción del FabLab, Descripción del Modelo de Negocio, Innovación y Procesos de Documentación y Visión Interna) para organizarlo en torno a tres bloques principales de contenido en el que se incluyeran las nuevas preguntas propuestas por los expertos (Descripción del FabLab, Descripción del Modelo de Negocio, Modelo de Innovación y Documentación, Análisis SWOT). Además, siguiendo las recomendaciones indicadas por el Panel de Expertos, se revisaron las instrucciones que acompañan a cada una de las preguntas del cuestionario y se adaptó su contenido.

Por otro lado, y considerando el carácter internacional de la investigación, se tradujo tanto la información como las cuestiones a otros idiomas –inglés y francés- para lograr una mayor adecuación a los destinatarios.

Tabla 20. Valoración cualitativa de los aspectos generales del cuestionario
Elaboración propia

2.6. Etapa 6. Obtención de las respuestas

Al haberse realizado cambios significativos en la estructura del cuestionario tras las revisiones, el Grupo Coordinador optó por someter la versión segunda del cuestionario de nuevo a los expertos para su evaluación. Dado que los cambios producidos se han realizado teniendo en cuenta el mayor consenso existente y que la mayor parte de los ítem que forman parte del segundo cuestionario fue considerado óptimo por los expertos en la ronda anterior, el Grupo Coordinador decidió establecer una nueva ronda de evaluación por parte del Panel de Expertos sometiendo a consideración los cambios realizados y la nueva distribución por bloques así como la introducción y las instrucciones aportadas facilitando al Panel de Expertos la nueva versión del cuestionario, así como un informe aportando información sobre la de justificación de los mismo en función de las valoraciones de los expertos en la ronda anterior.

Para la evaluación de los ítems se estableció un casillero de respuesta con dos cuestiones, una en la que se solicitaba el acuerdo de los jueces del Panel de Expertos con la composición del bloque de preguntas través de una pregunta dicotómica de respuesta Si/No y otra, de carácter abierto, en la que se invitaba a los jueces expertos a realizar aportaciones o comentarios al respecto con objeto de realizar las pertinentes valoraciones posteriores por parte del Grupo Coordinador.

Tabla 21. Ejemplo de pregunta para la evaluación por experto
Elaboración propia

2.7. Etapa 7: Interpretación de las respuestas y conclusiones

Para la determinación del consenso entre los participantes del Panel de Expertos se empleó el Coeficiente de Concordancia determinado a través de la expresión (Cuesta Santos, 2001; Góngora Castillo, Hernández Díaz, García Fariñas& Sánchez Delgado, 2009; Stable Rodríguez, Peña Osorio& Bernal Pérez, 2008; Zayas Agüero, 2011) :

siendo:

Vn el número de votos negativos aportados por los jueces.

Vt el número de votos totales emitidos por los jueces.

Diversos autores consideran un nivel aceptable de consenso cuando el Coeficiente de Concordancia supera el 60% (Curiel Lorenzo, Curiel Lorenzo &Cantillo González, 2007; Góngora Castillo et al., 2009), o incluso, con valores del 70% asumiendo como valores de consenso altos cuando dicho valor supera el 80% (Góngora Castillo et al., 2009; Stable Rodríguez et al., 2008; Zayas Agüero, 2011).Así, el método Delphi el proceso de decisión a través del método Delphi se considerará concluido cuando se alcance el mayor consenso posible entre expertos (Cabero & Infante, 2014; Linstone & Turoff, 2002; Ortega, 2008; Rowe & Wright, 1999). En este caso, el Grupo Coordinador consideró alcanzado dicho nivel de consenso cuando el Coeficiente de ConcordanciaCc obtenga un valor superior al 75%, produciendo así la conclusión del proceso. No obstante, si dicho Coeficiente de Concordancia no alcanzase el valor superior al 75% deberá establecerse una nueva ronda de evaluación para considerar las valoraciones oportunas aportadas por el Panel de Expertos. En nuestro caso, las valoraciones recibidas por los integrantes del Panel de Expertos fueron:

Tabla 22. Valoraciones finales del cuestionario
Elaboración propia

Al quedar determinado el Coeficiente de Concordancia en valores superiores al 75% para todos los elementos evaluados, se consideró alcanzado el consenso según el criterio determinado por el Grupo Coordinador y, por lo tanto, cerrado el proceso de evaluación desestimándose el empleo de nuevas rondas de valoración y considerando como definitivo el contenido y la estructura del cuestionario planteado. Tras el proceso de validación del cuestionario, se implementó el mismo en la plataforma basada en software Open Source Lime Survey (Schmitz, 2012) dispuesta por la Universidad de Cantabria, donde se estableció una versión en tres idiomas: español, inglés y francés.

3. A MODO DE CONCLUSIÓN

Las ventajas principales que presenta esta metodología se basan en el aprovechamiento de los aspectos positivos de la variedad de fuentes de información y diferencias de conocimiento frente a las dificultades interpersonales y sociales (Rowe & Wright, 1999), teniendo en cuenta que, en la variedad de panelistas que conforman el grupo de expertos no se pretende la obtención de una muestra significativa o representativa de la población, sino que se trata de mecanismos de construcción teórica que emplea a un grupo de decisión basado en expertos altamente cualificados con un buen entendimiento en los asuntos tratados (Pawlowski & Okoli, 2004).

El método Delphi es una técnica adecuada en aquella investigación en la que se presentan dificultades debido a la falta de información de carácter técnico, económico o histórico (Rowe & Wright, 1999) y en aquellas en las que es necesaria cierta intervención humana, lo más eficiente posible, en la toma de decisión (Wright, Lawrence & Collopy, 1996) destacando aquellas situaciones en las que la información existente sobre el objeto de estudio sea insuficiente, no se pueda aplicar una analítica precisa, se precisen más expertos de los que sería normal en un proceso cotidiano o no sea posible realizar reuniones grupales con facilidad o se desee mantener heterogeneidad en los participantes y evitar los efectos de grupo o las dominaciones personales (Cabero & Infante, 2014).

De esta forma, la técnica Delphi destaca por su flexibilidad como la más apropiada para el análisis en circunstancias que se precise el punto de vista de la evidencia científica y los valores sociales (Cabero & Infante, 2014; Webler, Levine, Rakel & Renn, 1991) y en aquellas en las que se trabaja con temáticas especialmente complejas o difíciles, novedosas o poco estudiadas –como en el caso que nos ocupa- permitiendo, a través de los diferentes tipos de expertos, lograr la información pormenorizada necesaria para evaluar el tema de estudio (Cabero & Llorente, 2013). Además, en la realización metodológicamente adecuada de esta técnica recae, en la mayoría de las ocasiones, el único indicador de validez de contenido del posible instrumento de recogida de información desarrollado (Escobar-Pérez & Cuervo-Martínez, 2008).

Tras nuestra aplicación del método Delphi, coincidimos con Cabero & Infante (2014) que en su aplicación, el método Delphi debe cuidar varios aspectos relevantes talos como preservar el anonimato entre los propios participantes del Panel de Expertos, evitando influencias mutuas y la presión de grupo y propiciando la opinión personal; mantener un control de la iteración y la retroalimentación en la administración de los cuestionarios para lograr una conformación de opinión consensuada o analizar la respuesta del grupo de forma estadística analizando el grado de acuerdo y no limitándose a la respuesta mayoritaria.

Así todo, cualquier instrumento de medición que se someta a un juicio de expertos debe someterse a los criterios de calidad mínimos exigibles de validez y fiabilidad, entendiéndose por validez como “el grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propósito para el que ha sido construido” (Martín, 2004) y por fiabilidad al “grado en el que el instrumento mide con precisión y descarta el error a través de la consistencia, la estabilidad temporal y el acuerdo entre los expertos” (Robles & del Carmen, 2015). Consideramos, por tanto, quela valoración de los expertos mediante el método Delphi es adecuada para juzgar la capacidad del instrumento de recolección de información verificando así la validez del contenido y asegurando la validez de constructo (Robles & del Carmen, 2015), gracias a la definición clara del objetivo a evaluar y de la adecuación de las cuestiones planteadas con él. Basándonos en lo anterior, podemos concluir indicando la idoneidad del método Delphi en la generación de herramientas de recogida de información en temáticas poco estudiadas, propiciando, de esta manera, la apertura de nuevas líneas de investigación.

4. BIBLIOGRAFÍA

AIKEN, L. R. (1980):“Content validity and reliability of single items or questionnaires”. Educational and Psychological Measurement, 40, 955–959.

AIKEN, L. R. (1985):“Three Coefficients for Analyzing the Reliability and Validity of Ratings". Educational and Psychological Measurement”. https://doi.org/10.1177/0013164485451012

AKKERMANS, H. A., Bogerd, P., Yüccesan, E., & Van Wassenhove, L. N. (2003):“The impact of ERP on supply chain management: Exploratory findings from a European Delphi study”. European Journal of Operational Research, 146(2), 284–301. https://doi.org/10.1016/S0377-2217(02)00550-7

ÁLVAREZ, N., GONZÁLEZ, F., & PUENTES, M. (2013): Contextualizando lo digital reflexiones del taller politics of Fabrication laboratory de la architectural association y la Universidad Católica de Valparaíso. Revista 180, 32, 30–35.

ASSELIN, M. E., & HARPER, M. (2014):“Revisiting the Delphi technique: Implications for Nursing professional development”. Journal for Nurses in Professional Development, 30(1), 11–15.

ASTIGARRAGA, E. (2006): "El método delphi”. Techniques, 1–14. https://doi.org/10.2139/ssrn.420040

BAINES, T. S., & Shi, V. G. (2015):“A Delphi study to explore the adoption of servitization in UK companies”. Production Planning & Control, (August), 1–17. https://doi.org/10.1080/09537287.2015.1033490

BETTS, B. (2010):“Bringing The Factory Home”. Engineering & Technology, (June), 56–58. https://doi.org/10.1049/et.2010.0813

BIANCHINI, M., MENICHINELLI, M., MAFFEI, S., BOMBARDI, F., CAROSI, A., & CARELLI, A. (2015): Maker´s Inquiry (Italia): Uníndagine sui maker italiani e sul ´make in Italy´. Milán: Libraccio Editore.

BLASCO, J. E., LÓPEZ, A., & MENGUAL, S. (2010):“Validación mediante método Delphi De un cuestionario para conocer las experiencias e interés hacia las actividades acuáticas con especial atención al windsurf”. Ágora para la EF y el deporte, 12(1), 75–96.

BLIND, K., CUHLS, K., & GRUPP, H. (2001): “Personal attitudes in the assessment of the future of science and technology: A factor analysis approach”. Technological Forecasting and Social Change, 68(2), 131–149. https://doi.org/10.1016/S0040-1625(00)00083-4

BREINER, S., CUHLS, K., & GRUPP, H. (1994):“Technology foresight using a Delphi approach: a Japanese‐German co‐operation”. R&D Management, 24(2), 141–153. https://doi.org/10.1111/j.1467-9310.1994.tb00866.x

BRICEÑO MARCANO, M., & ROMERO TENA, R. (2012): Aplicación del método Delphi para la validación de los instrumentos de evaluación del libro electrónico multimedia “Andrés quiere una mascota”; Anales de la Universidad Metropolitana, 12(1), 37–67.

CABERO, J., & BARROSO, J. (2013):“La Utilización del Juicio de Experto para la Evaluación de Tic: El Coeficiente De Competencia Experta”. Bordón, 65(2), 25–38.

CABERO, J., & INFANTE, A. (2014):“Empleo del Método Delphi y su empleo en Lya Investigación en Comunicación y Educación”. Revista Electrónica de Tecnología Educativa, 48, 1–16.

CABERO, J., & LLORENTE, M. (2013):“La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información y comunicación (TIC)”. Revista de Tecnología de Información y Comunicación en Educación, 7(2):

CALABUIG MORENO, F., & CRESPO HERVÀS, J. (2009):“Uso del método Delphi para la elaboración de una medida de la calidad percibida de los espectadores de eventos deportivos”. Retos. Nuevas Tendencias en Educación Física, Deporte y Recreación, 2041(2002), 21–25.

CAM, K. M., MCKNIGHT, P. E., & DOCTOR, J. N. (2002): "The Delphi Method Online: Medical Expert Consensus Via the Internet”. Proceedings of the AMIA Symposium, 990.

CAÑIBANO, L., & ALBERTO, F. (2008):“El control institucional de la información financiera: aplicación de un estudio DELPHI”. Revista Española de Financiación y Contabilidad, 37(140), 795–829.

CHARTER, R. a. (2003):"A breakdown of reliability coefficients by test type and reliability method, and the clinical implications of low reliability". The Journal of General Psychology, 130(3), 290–304. https://doi.org/10.1080/00221300309601160

CUESTA SANTOS, A. (2001): Gestión de Competencias. La Habana: Editorial Academia.

CURIEL LORENZO, S. L., & CURIEL LORENZO, L. D., CANTILLO GONZÁLEZ, J. B. (2007): “Fuentes de información para el diseño de un Sistema de Vigilancia e Inteligencia en el Registro Provincial de Bienes Culturales de Matanzas”. Revista de Arquitectura E Ingeniería, 1(2):

DALKEY, N., & HELMER, O. (1963):“An Experimental Application of the Delphi Method to the Use of Experts”. Management Science. https://doi.org/10.1287/mnsc.9.3.458

de VILLIERS, M. R., de VILLIERS, P. J. T., & Kent, A. P. (2005): “The Delphi technique in health sciences education research”. Medical Teacher, 27(7), 639–43. https://doi.org/10.1080/13611260500069947

DIEZ, T. (2012):“Personal Fabrication: Fab Labs as Platforms for Citizen-Based Innovation, from Microcontrollers to Cities”. Nexus Network Journal, 14(3), 457–468. https://doi.org/10.1007/s00004-012-0131-7

ESCOBAR-PÉREZ, J., & CUERVO-MARTÍNEZ, Á. (2008): “Validez De Contenido Y Juicio De Expertos: Una Aproximación a Su Utilización”. Avances En Medición, 6, 27–36.

EYCHENNE, F. (2012): Fab Labs overview. The Fing (Fondation internet nouvelle Generation):

FALZARANO, M., & PINTO ZIPP, G. (2013):“Seeking consensus through the use of the Delphi technique in health sciences research”. Journal of Allied Health, 42(2), 99–105.

FERRI, C. P., PRINCE, M., BRAYNE, C., BRODATY, H., FRATIGLIONI, L., GANGULI, M., … SCAZUFCA, M. (2005):“Global prevalence of dementia: A Delphi consensus study”. Lancet. https://doi.org/10.1016/S0140-6736(05)67889-0

GÓNGORA CASTILLO, C., HERNÁNDEZ DÍAZ, M., GARCÍA FARIÑAS, A., & SÁNCHEZ DELGADO, Z. (2009):“Propuesta de competencias laborales para médicos que brindan servicios de atención médica en hoteles cubanos”. Revista Cubana de Educacion Medica Superior, 23(3), 15–26.

GOODMAN, C. M. (1987):“The Delphi technique: a critique”. Journal of Advanced Nursing, 12(6), 729–34. https://doi.org/10.1111/j.1365-2648.1987.tb01376.x

GREEN, R. A. (2014): The Delphi Technique in Educational Research. SAGE Open, 4(2), 2158244014529773-. https://doi.org/10.1177/2158244014529773

HASSON, F., & KEENEY, S. (2011):“Enhancing rigour in the Delphi technique research.” Technological Forecasting and Social Change, 78(9), 1695–1704. https://doi.org/10.1016/j.techfore.2011.04.005

HELMER, O., & QUADE, E. S. (1963): An Approach to the Study of a Developing Economy by Operational Gaming. Santa Mónica, California.

HELMER, O., & RESCHER, N. H. (1959):“On the Epistemology of the Inexact Sciences”. Management Science, 6(1), 25–52. https://doi.org/10.1287/mnsc.6.1.25

HERNÁNDEZ DE FRUTOS, T. (1992). "La prospectiva de los grandes informes y la metodología Delphi". Eurídice (2), pag. 47-70.

HUNG, H.-L., ALTSCHULD, J. W., & LEE, Y.-F. (2008) :”Methodological and conceptual issues confronting a cross-country Delphi study of educational program evaluation”. Evaluation and Program Planning, 31(2), 191–198. https://doi.org/10.1016/j.evalprogplan.2008.02.005

JUDD, R. C. (1972):“Use of Delphi methods in higher education”. Technological Forecasting and Social Change, 4(2), 173–186. https://doi.org/10.1016/0040-1625(72)90013-3

KIZAWA, Y., TSUNETO, S., TAMBA, K., TAKAMIYA, Y., MORITA, T., BITO, S., & OTAKI, J. (2012): “Development of a nationwide consensus syllabus of palliative medicine for undergraduate medical education in Japan: A modified Delphi method”. Palliative Medicine, 26(5), 744–752. https://doi.org/10.1177/0269216311410346

KRAMER, B. S., WALKER, A. E., & BRILL, J. M. (2007):“The underutilization of information and communication technology-assisted collaborative project-based learning among international educators: A Delphi study”. Educational Technology Research and Development, 55(5), 527–543. https://doi.org/10.1007/s11423-007-9048-3

LANDETA, J. (1999): El método Delphi, una técnica de previsión del futuro. Barcelona Ariel.

LANDETA, J. (2002): El método Delphi: una técnica de previsión del futuro. 2ª Ed. Barcelona Ariel.

LANDETA, J. (2005):“Current validity of the Delphi method in social sciences”. Technological Forecasting & Social Change,73(5):467-482.

LENA-ACEBO, Mª E. y GARCÍA-RUIZ, F.J. (2017): Ecologías colaborativas: Análisis y Caracterización del Fenómeno FabLab. Tesis inédita. Universidad de Cantabria.

LINSTONE, H. A., & TUROFF, M. (2002): The Delphi Method - Techniques and applications. The Delphi Method - Techniques and Applications, 1–616. https://doi.org/10.2307/1268751

LOUGHLIN, K. G., & Moore, L. F. (1979): Using Delphi to achieve congruent objectives and activities in a pediatrics department. Journal of Medical Education, 54(2), 101–106. https://doi.org/10.1097/00001888-197902000-00006

LUNA-GIJÓN, G., & PORRAS-HERNÁNDEZ, L. H. (2014): “Validación de un modelo instruccional centrado en el diseño de materiales digitales de aprendizaje”. Investigación en Educación Médica, 3(11), 123–130. https://doi.org/10.1016/S2007-5057(14)72738-3

LUNA, P., INFANTE, A., & MARTÍNEZ, F. J. (2006):“Los Delphi como fundamento metodológico predictivo para la investigación en sistemas de información y tecnologías de la información”. Pixel-Bit. Revista de Medios Y Educación, 26, 89–112.

MÄÄTTÄ, A., & TROXLER, P. (2011): Developing open & distributed tools for Fablab project documentation. CEUR Workshop Proceedings, 739.

MALDINI, I., VAN ABEL, B., Schaub, A., Kresin, F., & GIMENO-MARTINEZ, J. (2013): The FabLab Amsterdam users : a survey on their profile and activity , (February), 1–16.

MALLA, F., & ZABALA, I. (1978):“La previsión de futuro en la empresa (III): el método Delphi”. Estudios Empresariales, 39, 13–24.

MARTÍN, M. C. (2004):“Diseño y validación de cuestionarios”. Matronas Profesión, 5(17), 23–29.

MARTINO, J. P. (1993): “Technological Forecasting for Decision Making”. Interfaces (Vol. 25):

MARTINO, J. P. (2003):“A review of selected recent advances in technological forecasting”. Technological Forecasting and Social Change, 70(8), 719–733. https://doi.org/10.1016/S0040-1625(02)00375-X

MEAD, A. (1992):“Review of the Development of Multidimensional Scaling Methods”. Journal of the Royal Statistical Society. Series D (The Statistician), 41(1), 27–39. https://doi.org/10.2307/2348634

MEDINA, A., PILOTO-FLEITAS, N., NOGUEIRA, D., HERNÁNDEZ, A., RICARDO, A., & VITERI, J. (2011):“Estudio de la construcción de Índices Integrales para el apoyo al Control de Gestión Empresarial”. Revista Eidos, 3.

MÉRIDA, R., SERRANO, A., & TABERNERO, C. (2015):”Diseño y validación de un cuestionario para la evaluación de la autoestima en la infancia”. Revista de Investigación Educativa, 33(1), 149. https://doi.org/10.6018/rie.33.1.182391

MERINO SOTO, C., & LIVIA SEGOVIA, J. (2009):” Intervalos de confianza asimétricos para el índice la validez de contenido: Un programa Visual Basic para la V de Aiken”. Anales de Psicología, 25(1), 169–171. https://doi.org/10.6018/71631

MIKHAK, B., LYON, C., GORTON, T., GERSHENFELD, N., MCENNIS, C., & TAYLOR, J. (2002):”Fab Lab : an Alternate Model of ICT for Development”. Development by Design (DYD02), 1–7.

MINGHAT, A. D., YASIN, R. M., & UDIN, A. (2012): The Application of the Delphi Technique in Technical and Vocational Education in Malaysia. In International Conference on Education and Management Innovation (Vol. 30, pp. 259–264):

MURUA ANZOLA, I., CACHEIRO GONZÁLEZ, M. L., & Gallego Gil, D. J. (2014):”Las cibercomunidades de aprendizaje (cCA) en la formación del profesorado”. RED. Revista de Educación a Distancia, 43(octubre-noviembre), 52–80. https://doi.org/10.13140/RG.2.1.3542.3848

ORTEGA, F. (2008):“El método Delphi, prospectiva en ciencias sociales“. Revista EAN, (64), 31–54.

PAWLOWSKI, S. D., & OKOLI, C. (2004):“The Delphi method as a research tool: an example, design considerations and applications“. Information & Management, 42, 15–29. https://doi.org/10.1016/j.im.2003.11.002

PENCINER, R., LANGHAN, T., LEE, R., MCEWEN, J., WOODS, R. A, & BANDIERA, G. (2011):“Using a Delphi process to establish consensus on emergency medicine clerkship competencies“. Medical Teacher, 33(6), e333–e339. https://doi.org/10.3109/0142159X.2011.575903

PENFIELD, R., & GIACOBBI, P. (2004): “Applying a Score Confidence Interval to Aiken’s Item Content-Relevance Index“. Measurement in Physical Education and Exercise Science, 8(4), 213–225. https://doi.org/10.1207/s15327841mpee0804_3

PENFIELD, R., & MILLER, J. (2004):“Improving content validation studies using an asymmetric confidence interval for the mean of expert ratings”. Applied Measurement in Education, 17(4), 359–370. https://doi.org/10.1207/ s15324818ame1704_2

POSCH, I., & FITZPATRICK, G. (2012): First steps in the FabLab. Proceedings of the 24th Australian Computer-Human Interaction Conference on - OzCHI ’12, 497–500. https://doi.org/10.1145/2414536.2414612

POWELL, C. (2003):”The Delphi technique: Myths and realities”. Journal of Advanced Nursing. https://doi.org/10.1046/j.1365-2648.2003.02537.x

ROBLES, P., & del CARMEN, M. (2015):”La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada”. Revista Nebrija de Lingüística Aplicada a La Enseñanza de Lenguas, (18), 103.

ROWE, G., & WRIGHT, G. (1999):“The Delphi technique as a forecasting tool: issues and analysis”. International Journal of Forecasting, 15, 353–375. https://doi.org/10.1016/S0169-2070(99)00018-7

SALGADO, M. T. C., LARENAS, C. D., AGUILERA, A. R., & MARTÍNEZ-GEIJO, P. (2013): “Validación del cuestionario estilos de enseñanza (CEE): Un instrumento para el docente de educación superior”. Journal of Learning Styles, 6(12), 1–16.

SALO, A., & CUHLS, K. (2003): "Technology foresight-past and future”. Journal of Forecasting, 22(2–3), 79–82. https://doi.org/10.1002/for.846

SCHMITZ, C. (2012): Limesurvey: an open source survey tool. Limesurvey Project, Hamburg, Germany.

SKULMOSKI, G. J., & HARTMAN, F. T. (2007):“The Delphi Method for Graduate Research”. Journal of Information Technology Education, 6(1), 1–21. https://doi.org/10.1.1.151.8144

SPIBY, J. (1988):“Advances in medical technology over the next 20 years”. Community Medicine, 10(4), 273–278.

STABLE RODRÍGUEZ, Y., PEÑA OSORIO, L., & BERNAL PÉREZ, L. (2008):“Aprendizaje Organizacional y Trabajo en equipos a partir de los proyectos de Ciencia e Innovación Tecnológica”. In De Boeck Supérieur (Ed.), Projectics / Proyéctica / Projectique (pp. 93–109):

TEZANOS TORTAJADA J. F. (2016): Tendencias científico-tecnológicas. Retos, potencialidades y problemas sociales. UNED. Editorial Sistema, ISBN: 978-84-36271-29-4

TEZANOS TORTAJADA J. F. y VILLALÓN, J. J. (2001): Estudio Delphi sobre tendencias económicas, políticas y sociales ISBN: 978-84-86497-55-8. Madrid: Sistema D.L.

TEZANOS TORTAJADA J. F. y VILLALÓN, J. J. y QUIÑONES, A. (2008): Estudios Delphi sobre tendencias económicas, sociales y políticas, ISBN: 978-84-86497-81-1. Madrid: Sistema D.L.

TEZANOS TORTAJADA J. F., BORDAS, J.; LÓPEZ, A. y SÁNCHEZ MORALES, Mª R. (2002): Estudio Delphi sobre tendencias científico-tecnológicas, ISBN:978- 84-86497-58-2. Madrid: Sistema D.L.

TEZANOS TORTAJADA J. F., DÍAZ, J. A., SÁNCHEZ MORALES, Mª R. y LÓPEZ, A. (1997): Estudio Delphi sobre tendencias científico tecnológicas en España, ISBN:978-84-86497-36-1 Madrid: Sistema D.L.

TORGERSON, W. S. (1952):“Multidimensional scaling: I. Theory and method”. Psychometrika, 17(4), 401–419. https://doi.org/10.1007/BF02288916

TORGERSON, W. S. (1958): Theory and Methods of Scaling. New York, New York, USA: Wiley.

TROXLER, P. (2010): Commons-based Peer-Production of Physical Goods Is there Room for a Hybrid Innovation Ecology ? Third Free Culture Research Conference (Berlin, 8–9 October), 1–23. https://doi.org/10.2139/ssrn.1692617

TROXLER, P., & SCHWEIKERT, S. (2010): Developing a Business Model for Concurrent Enterprising at the Fab Lab. Proceedings of the 16th International Conference on Concurrent Enterprising, Lugano, Switzerland, 21–23.

TROXLER, P., & WOLF, P. (2010):“Bending the Rules: The Fab Lab Innovation Ecology”. Square-1.Eu, (September), 5–7.

TUROFF, M., & LINSTONE, H. (1976):“The Delphi Method: Techniques and applications”. Journal of Marketing Research, 13(3), 618.

VAN ZOLINGEN, S. J., & KLAASSEN, C. A. (2003):”Selection processes in a Delphi study about key qualifications in Senior Secondary Vocational Education”. Technological Forecasting and Social Change, 70(4), 317–340. https://doi.org/10.1016/S0040-1625(02)00202-0

VARELA-RUIZ, M., DÍAZ-BRAVO, L., & GARCÍA-DURÁN, R. (2012): “Descripción y usos del método Delphi en investigaciones del área de la salud". Revista Investigación En Educación Médica, 1(2), 90–95. https://doi.org/ISSN: 2007-5057

WALTER-HERRMANN, J., & BÜCHING, C. (2013): FabLab: Of Machines, Makers and Inventors. FabLab: of Machines, Makers and Inventors. Wetzlar: [Transcript] Cultural and Media Studies.

WEBLER, T., LEVINE, D., RAKEL, H., & RENN, O. (1991):“A novel approach to reducing uncertainty: The group Delphi”. Technological Forecasting and Social Change, 39(3), 253–263. https://doi.org/10.1016/0040-1625(91)90040-M

WILLIAMS, P. L., & WEBB, C. (1994):“The Delphi technique: a methodological discussion”. Journal of Advanced Nursing, 19(1), 180–186. https://doi.org/10.1111/j.1365-2648.1994.tb01066.x

WILSON, E. (1927):“Probable inference, the law of succession, and statistical inference”. Journal of the American Statistical Association, 22(158), 209–212. https://doi.org/10.2307/2276774

WITKIN, B. R., & ALTSCHULD, J. W. (1995): Planning and conducting needs assessment: A practica guide. (T. Oaks, Ed.): Sage.

WITTMAN, H., BECKIE, M., & HERGESHEIMER, C. (2012):“Linking Local Food Systems and the Social Economy? Future Roles for Farmers’ Markets in Alberta and British Columbia”. Rural Sociology, 77(1), 36–61. https://doi.org/10.1111/j.1549-0831.2011.00068.x

WRIGHT, G., LAWRENCE, M. J., & COLLOPY, F. (1996):“The role and validity of judgment in forecasting”. International Journal of Forecasting. https://doi.org/10.1016/0169-2070(96)00674-7

YOUSUF, M. I. (2007):“Using experts’ opinions through Delphi technique”. Practical Assessment, Research & Evaluation, 12(4),http://pareonline.net/getvn.asp? https://doi.org/May 2007

ZAWACKI-RICHTER, O. (2009):“Research Areas in Distance Education: A Delphi Study”. International Review of Research in Open and Distance Learning, 10, 1–17.

ZAYAS AGÜERO, P. M. (2011): “El proceso del análisis y la descripción con las especificaciones para confeccionar la matriz de las competencias y construir el perfil del cargo o de ocupación. Ejemplo de dependiente gastronómico en la rama turística”. Revista de Investigación en Turismo y Desarrollo Local, 4(9)

Notas