Introducción

En la actualidad es incuestionable la relevancia del servicio público de transporte urbano de viajeros: los ciudadanos demandan un servicio de calidad que precisa, para su cobertura, de un notable esfuerzo financiero por parte de las administraciones públicas, el cual debe compatibilizarse con entornos presupuestarios de austeridad, lo que hace que las fórmulas de financiación deban optimizarse a fin de lograr la mayor eficiencia posible.

Bajo este contexto, y con el objeto de definir de forma adecuada dicha fórmula, surge el proyecto “Análisis de la financiación del transporte público en España” (junio de 2016) entre la Asociación española de empresas gestoras del transporte urbano colectivo (en adelante ATUC) y un grupo de investigadores de la Universidad Rey Juan Carlos. El proyecto se divide en dos fases: en la primera se realiza un estudio del sistema de financiación del transporte urbano colectivo existente en España, en la cual se analiza la evolución y la pertinencia del actual sistema de concesión y reparto de subvenciones, y para ello se realiza una revisión exhaustiva del marco regulatorio e institucional vigente y, al mismo tiempo, se lleva a cabo un análisis evolutivo de los parámetros básicos de financiación y gestión del servicio de transporte urbano colectivo en España. Los resultados obtenidos en esta fase dieron lugar a la segunda fase del proyecto, donde, a través de la técnica Delphi, se define una propuesta de los parámetros necesarios que tendrían que tenerse en cuenta al modelizar de forma más eficiente la financiación del transporte por grupos de ciudades.

El presente trabajo aborda el proceso de revisión del modelo de financiación del transporte urbano de viajeros para el caso de España utilizando como metodología de trabajo el método Delphi. Esta técnica resulta especialmente apropiada para la elaboración de propuestas que resuelvan problemas complejos en el ámbito de las ciencias sociales y que requieran del enfoque de expertos en la materia.

Tras justificar, a partir de la literatura existente, la conveniencia de la técnica Delphi para el problema planteado, pasaremos a describir el proceso seguido en el caso español; para concluir se expone la propuesta resultante. La conclusión del trabajo pretende exponer criterios válidos y expertos para la asignación y la distribución de los recursos aportados por las diferentes administraciones públicas implicadas en la financiación del transporte público de viajeros.

1. La técnica Delphi en la determinación de un modelo de financiación del transporte urbano de viajeros en España

La financiación del sistema de transporte público español es bastante compleja, puesto que son varias las administraciones que intervienen y muchas las empresas operadoras de los servicios. Además, el complejo sistema tarifario da lugar a subvenciones cruzadas entre diferentes tipos de usuarios. Esta ambigua situación, unida a la crisis, supone un reto para tratar de diseñar un modelo de transporte público eficiente y sostenible en el tiempo, tanto desde el punto de vista social, ambiental, económico y financiero.

El análisis del modelo de financiación del transporte público vigente en España, hasta 2017, puso de manifiesto desequilibrios relevantes, tales como la inexistencia de un marco legal estable que ajustara el sistema de las aportaciones no sistemáticas de administraciones territoriales y estatales, ya que la mayor parte del peso de la financiación recaía en los municipios, quienes, por su parte, no contaban con figuras impositivas específicas y, en consecuencia, sometían las cantidades a aportar a un mecanismo de distribución en el que entraban en competencia con la financiación del resto de los servicios públicos. Por lo tanto, se hacía necesario replantear el modelo haciendo una revisión en profundidad que incluyese la valoración de los actuales criterios de reparto en las subvenciones recibidas por los ayuntamientos de las demás administraciones públicas, particularmente, de la administración estatal.

La determinación de un modelo de financiación del transporte urbano de viajeros constituye un problema de gran complejidad, dado que supone trabajar con una amplia gama de variables. Por una parte, deben examinarse las variables actualmente empleadas en el sistema de asignación y distribución de los fondos públicos, y por otra, supone plantear una reflexión sobre la necesidad, o no, de introducir variables no contempladas hasta la fecha, pero que desde una perspectiva experta puedan considerarse necesarias para dotar al sistema de una mayor eficiencia. El elevado número de variables a considerar, así como la conveniencia de adoptar un enfoque multidisciplinar del problema (perspectiva presupuestaria -financiera, perspectiva social, perspectiva urbanística y de movilidad…) hacen de la opción del método Delphi, una buena metodología de trabajo.

Conceptualmente la técnica Delphi trata de resolver un problema complejo sobre cuestiones previamente identificadas, a través de un proceso de comunicación grupal de un conjunto de expertos (Linstone y Turoff, 1975; Astigarraga, 2003; Landeta, 2006), y permite contrastar y combinar opiniones individuales para llegar a decisiones que no podrían asumirse unilateralmente (Rowe y Wright, 2001; Campos et al., 2014). Tal y como sucede en el caso que nos ocupa.

Académicamente, es una técnica cualitativa ampliamente utilizada en la investigación de las ciencias sociales (Corbetta, 2003, Landeta, 2006, Campos et al., 2014), ya que permite “estructurar un proceso comunicativo de diversos expertos organizados en grupo-panel con vistas a aportar luz en torno a un problema de investigación” (López-Gómez, 2018: 4).

Una de sus principales ventajas (Linstone y Turoff, 1975) es la posibilidad de ser empleada, a un tiempo, como herramienta de aprendizaje y de investigación. Es aprendizaje en la medida en que los cuestionarios intensivos a los que se someten los expertos introducen una retroalimentación controlada que refuerza el aprendizaje de forma anónima. A su vez, es una herramienta de investigación que permite captar el conocimiento colectivo de un grupo de expertos para hacer proyecciones a futuro.

La primera aplicación del método Delphi parece remontarse al ámbito de la empresa privada, concretamente la Rand Corporation en los años 1950 a 1963 (Linstone y Turoff, 1975). Desde entonces se ha aplicado con frecuencia en estudios de contenido médico-científico y en investigaciones sobre tecnología (Gupta y Clarke, 1996), también desde las ciencias sociales son muchas las aplicaciones que se le han dado a este método.

La revisión de la literatura permite identificar una gran cantidad de investigaciones planteadas a partir del método Delphi. En el presente trabajo nos hemos centrado exclusivamente en las investigaciones relativas a las ciencias sociales y, dentro de éstas, en trabajos relacionados con servicios públicos, en torno al que se refiere nuestra investigación. La Tabla 1 muestra la bibliografía más representativa hallada, entre la cual destacamos un estudio específico realizado para valorar las tendencias del servicio público de transporte (Angelidou et al., 2017) por la cercanía con la investigación planteada en el caso español.

2. Aplicación de la metodología Delphi a la financiación del transporte urbano de viajeros, el caso español

La complejidad del sistema actual de financiación del transporte público urbano colectivo y los problemas que éste presenta -con unas tarifas insuficientes y unos criterios de reparto de ayudas públicas (vía contrato programa o fondo de reparto) con grandes desigualdades entre las operadoras- establece la necesidad de analizar las alternativas existentes en materia de financiación que permita definir una hoja de ruta como solución a las carencias y las dificultades del sistema actual.

Para ello, se plantea la técnica Delphi, donde los propios expertos en la materia serán los encargados de definir la necesidad, o no; de introducir variables no consideradas hasta la fecha en el sistema de asignación y distribución de fondos públicos.

El desarrollo metodológico seguido para la realización del estudio Delphi se basa en las siguientes etapas:

• Etapa uno: identificación del problema. La formulación teórica de Delphi comienza con un análisis previo donde se identifican los problemas en el caso: la financiación del transporte público urbano colectivo en España. Dicho análisis se realizó a partir del estudio del marco regulatorio e institucional vigente del análisis evolutivo de los parámetros básicos de financiación y gestión del servicio de transporte urbano colectivo en España, y del análisis y justificación del nivel de idoneidad del sistema de reparto actual de las subvenciones del sistema de transporte público.

  Una vez que se presentaron los resultados de esta primera etapa a los responsables de los servicios de transporte público urbano, operadores y administraciones públicas surgió la necesidad de elaborar un catálogo de las posibles alternativas y soluciones para paliar las deficiencias del sistema de financiación actual, dando lugar a la segunda etapa de trabajo.

• Etapa dos: elaboración de un cuestionario. Para la elaboración del catálogo planteado se partió de un cuestionario. La composición de éste, que debía recoger las opiniones cualitativas de los participantes mediante criterios de carácter cuantitativo (Landeta, 1999, Campos et al., 2014), se estructuró teniendo en cuenta las alternativas y las soluciones -que expertos en la materia, profesionales del sector y personal académico con amplia experiencia en la investigación del transporte- propusieron una vez presentada la primera fase de la investigación.

  Las variables, objeto de análisis, que los expertos consensuaron como parámetros a tener en cuenta a la hora de definir el sistema de financiación actual del transporte público en España estaban relacionadas con:

  1. • Estabilidad de las aportaciones: criterios de reparto.

  2. • Modelos de financiación: análisis de las distintas fuentes de ingresos.

  Dado que el enfoque adoptado por el estudio siempre fue eminentemente práctico, esto es, diseñar un modelo de financiación, cuyos criterios fuesen fácilmente cuantificables y valorables y, en última instancia, asumibles en el marco legal español, fue necesario delimitar los parámetros a introducir en la encuesta.

  La encuesta completa puede verse en el Anexo 1. Las preguntas realizadas son precisas y cuantificables, de tipo cerrado o semicerrado o de evaluación y jerarquización (utilizando la escala Likert), aunque también se ha optado por preguntas abiertas. Con el objeto de dar fiabilidad a la metodología utilizada se contó con expertos en técnica Delphi para su elaboración.

• Etapa tres: selección de expertos. La calidad del proceso y los resultados están condicionados por la adecuada selección del panel de expertos. En este caso, es importante tanto la calidad del experto como el número de los participantes (Landeta, 1999; Blasco et al., 2010; Campos et al., 2014 y López-Gómez, 2018).

  La calidad del experto se mide por los conocimientos de éste sobre el tema, objeto de estudio, ya sea por desempeñar puestos relacionados con éste o por las investigaciones realizadas, es decir, todas aquellas personas que aporten inputs relevantes (Pill, 1971).

  El número de expertos, a pesar de que en el método Delphi no exige una muestra concreta, es recomendable que ésta no sea inferior a diez, número que garantiza el compromiso entre la fiabilidad de los resultados y el coste de tiempo de los expertos (Delbecq et al., 1975; Powell, 2003; Akins et al., 2005).

  En este trabajo, el conjunto de expertos seleccionados ascendió a 42, que se dividieron en distintas categorías. En el campo de especialistas, participaron profesionales de la administración local, responsables del área de transporte y gestores de las empresas de transporte urbano de ámbito nacional. En la categoría de expertos académicos, se contó con profesores de universidad e investigadores consultores externos, sólo se pudo contar con dos consultores del ámbito privado.

  A pesar de ser numerosos los estudios que no tienen en cuenta las empresas, objeto de estudio, como parte de la muestra por posibles sesgos (Juliá y Polo, 2006; Camisón y Cruz, 2008; Palacios y Vinuesa, 2010; Campos et al., 2014). En el presente trabajo, se consideró conveniente la incorporación de los gestores del transporte por su aportación a la realidad del problema, y porque a pesar de ser miembros afectados por éste, no tienen ningún poder de decisión sobre el tema que se plantea en el trabajo, siendo la administración general la encargada de establecer dichos criterios.

• Etapa cuatro: proceso iterativo en rondas. La participación de los expertos en el panel fue previa aceptación vía contacto electrónico.

  De los 42 contactados, fueron 30 los que decidieron participar, representando éstos, aproximadamente, 71% de la muestra, porcentaje estadísticamente significativo según Campos et al. (2014: 4). La composición de los encuestados se representa en la Tabla 2.

  Tabla 2

  Número y área de conocimientos de los expertos que participaron en el panel

  Categoría	Actividad del experto	Número (N°)	Porcentaje (%)
  Especialistas	Gestor	14	46.67
  	Administración Pública	4	13.33
  Expertos académicos	Académico e investigadores	10	33.33
  Consultores externos	Consultor	2	6.67
  	Total general	30	100.00

  El proceso contó con dos rondas realizadas vía cuestionario electrónico, siendo lo normal no más de tres (Ludwing, 1997), debido a que éstas fueron suficientes para encontrar un nivel suficiente de consenso. La primera ronda de envío fue realizada en marzo del 2016 una vez que se pudieron extraer conclusiones del primer informe y, el segundo cuestionario, fue enviado en mayo del 2017.

  Los expertos consultados pertenecen tanto al ámbito estatal como a aquellos municipios donde la prestación del servicio de transporte urbano es obligatoria (más de 50,000 habitantes) siendo, por tanto, sus conclusiones representativas de todo el territorio nacional.

• Etapa 5: elaboración del informe con el análisis y la valoración de los resultados obtenidos. La valoración de resultados se trató según las rondas de envío. Al recibir la primera ronda se realizó un estudio descriptivo de las respuestas, con el objetivo de conocer las más representativas. Tratados los datos, se envió de nuevo el cuestionario con el análisis realizado, donde se identificó la respuesta individual de cada experto y la respuesta grupal. Con la recepción del segundo envío finalizó un estudio, debido a que las opiniones de los expertos no sufrieron variación con respecto a sus primeras respuestas. Alcanzándose en ambos casos un alto nivel de consenso. El análisis descriptivo de dichas respuestas se especifica en el siguiente apartado.

3. Análisis de los resultados

El análisis de los resultados obtenidos en el cuestionario de investigación -con el objeto de definir las posibles alternativas y soluciones del sistema de financiación actual del transporte público en España- se fundamentará utilizando la estructura indicada en el objeto del análisis:

• Estabilidad de las aportaciones: criterios de reparto

• Modelos de financiación: análisis de las distintas fuentes de ingresos

Como punto de partida, la necesidad de establecer un marco estable que regulará el modelo de financiación del transporte urbano fue secundada por 100% de los expertos considerados. Con respecto a la temporalidad necesaria, 80% de los encuestados manifestó la trascendencia de un largo plazo: entre cuatro años (50%) y ocho años (30%).

En lo correspondiente a la estabilidad de las aportaciones, es decir, criterios de reparto de las transferencias públicas. De las principales dificultades planteadas para la financiación del servicio público de transporte de viajero, la mayoría de los expertos, con 20.75%, respectivamente, consideró como principales: la falta de recursos públicos y la falta de regulación y restricciones legales. Seguido por los criterios de asignación de recursos, la inestabilidad de los presupuestos y la falta de implicación de las administraciones con 9.43%, cada uno de ellos. En último lugar, con 1.89% la falta de transparencia y la clarificación del entorno, tal como puede comprobarse en la Tabla 3:

En lo que respecta a los criterios de reparto actuales correspondientes a las ayudas finalistas del Estado para el sostenimiento del servicio, fueron muy pocos los expertos los que consideraron que el reparto actual se ajustaba a las necesidades del servicio. Únicamente a 26.67% y 20% de los encuestados les parecía adecuado considerar los criterios medioambientales y la longitud de red, respectivamente, entre 5 y 6.67% valoraron dicho porcentaje como positivo con respecto a la relación de viajeros/habitante y déficit tarifario. Estableciéndose un nuevo porcentaje, donde, aunque el déficit se sigue considerando uno de los criterios más importantes, situándose su peso entre un mínimo de 30% y un máximo de 60% del total de las ayudas, frente a 85% existente en la actualidad.

Con respecto al resto de los criterios, la opinión mayoritaria se decanta por 10%, aunque en este caso hay más dispersión, ya que muchos apuestan por otorgar un mayor peso a la relación viajero/habitante (más de 50% de los encuestados) y a los criterios medioambientales (más de 26%), tal y cómo puede verse en la Tabla 4.

Junto con la necesidad de cambiar la importancia de cada uno de los criterios a la hora de recibir las subvenciones finalistas del Estado, casi por unanimidad, los expertos creen necesario incluir nuevos criterios para justificar dichos repartos. Cabe resaltar que la eficiencia es el criterio identificado por 29 de los 30 encuestados. En alto porcentaje también se manifiestan por tener en cuenta las características geográficas y demográficas del municipio, así como la existencia o no de otros modos de transporte. Las medidas de calidad y sostenibilidad son también mencionadas en muchas ocasiones, tal y como se puede ver en la Tabla 5.

Los expertos consultados propusieron una serie de herramientas para la medición de la eficiencia. Es importante señalar que los indicadores de eficiencia que se aportan tienen como input principal el coste del servicio y los diferentes datos operacionales que marcan la prestación del mismo, como se resume en la Tabla 6.

De los medidores propuestos, el mejor indicador para medir la eficiencia, según los encuestados, es el coste por viajero, seguido por otros medidores del coste del servicio, ya sea en kilómetros, viajeros o en autobús. Junto con éstos, se pueden mencionar indicadores que se relacionan con los medidores de limpieza en el servicio, otro tipo de costes, pero con un resultado más residual, valorado con dos o un voto en la mayoría de los casos.

De forma general, la mayoría de los expertos señalan que es necesaria una combinación apropiada de criterios que de forma conjunta midan la eficiencia, no únicamente una sola magnitud. Para finalizar este apartado, los criterios que según los expertos se tendrían que tener en cuenta a la hora del reparto de los fondos sería por orden de importancia: déficit tarifario, relación viajeros/habitantes, eficiencia, criterios medioambientales, longitud de red, número de habitantes y de forma desigual, otros criterios como extensión territorial y densidad de la población.

3.1. Modelos de financiación: análisis de las distintas fuentes de ingresos

De los modelos de financiación planteados, 60% de los encuestados consideran que deben existir marcos separados para la financiación de inversiones y gasto corriente, mientras que 30% plantea que debe considerarse de forma conjunta. De los actores que deben aportar las ayudas, los expertos se decantan a favor de que sea la administración local, donde se presta el servicio, la que tenga que tener mayor protagonismo, con una participación cercana a 40%. Los demás protagonistas se reparten los porcentajes a partes iguales. Todos coinciden en que la administración autonómica (en adelante adm.), junto con el Estado, debe ser también protagonista de esta financiación, tal como se expone en la Tabla 7.

De las diversas fuentes de ingresos otorgadas para la financiación del servicio de transporte urbano, 23 de los 30 encuestados conceden una importancia alta y muy alta a las subvenciones, como fuente de ingresos al igual que los ingresos por recaudación. Respecto a los impuestos o tasas finalistas, la opinión es positiva, aunque con una importancia menor que las anteriores (10 de los 30 encuestados lo consideran alta o muy alta).

La menor importancia de los impuestos/tasas finalistas por parte de los expertos es debida a que la actual regulación española no permite este tipo de impuestos o tasas finalistas. Si ésta pudiera incorporarse, 22 de los 30 expertos consultados optaría por la filosofía impositiva de “quien contamina paga”.

De las posibles tasas o impuestos que hipotéticamente pudieran implantarse, aquellas tasas afectadas al servicio como la tasa sobre hidrocarburos o la vinculación de una parte de lo cobrado por el IBI sólo es aceptado por 53.33% de los encuestados, optando la mayor parte de ellos por la Tasa hidrocarburos (Figura 1).

Figura 1
Figuras impositivas o tasas propuestas
Fuente: elaboración propia con base en la interpretación de los resultados obtenidos en la técnica Delphi.

Las subvenciones son la fuente de financiación más valorada por los expertos para la financiación del servicio, y dentro de ésta, 53.34% consideran que las subvenciones no finalistas para gasto corriente deberían tener un peso en la financiación de 60 a 80%, y 60% de los encuestados consideran que las subvenciones finalistas, destinadas a la inversión, deberían ponderar entre 20 y 60 por ciento.

De las distintas formas de financiación por parte de las administraciones públicas, el modelo del contrato programa es valorado muy positivamente por 85% de los expertos. En la actualidad, este modelo únicamente existe en Madrid, Barcelona y Canarias, el resto de municipios tienen afectada su financiación a las subvenciones finalistas otorgadas por la administración, previo cumplimiento de una serie de criterios.

Asimismo, más de la mitad de los encuestados (30%) abogan por la implantación de este sistema para los municipios cuya población sea mayor de 100,000 personas; mientras que 23% apoyan la implantación de dicho sistema a partir de 200,000 habitantes. Ninguno de los encuestados opina que es un modelo único para poblaciones de más de un millón de habitantes.

Por último, en lo que respecta a la fuente de financiación vía tarifas, debido a sus limitaciones para plantear subidas, 86.67% de los encuestados coinciden en la posibilidad de utilizar una tarifa multimodal que permita el uso simultáneo de los diferentes medios de transporte en los billetes sencillos para fomentar el uso del transporte. No obstante, 10% no está de acuerdo con esta posibilidad debido a que no ven la utilidad de éste en el caso de billetes sencillos.

En los elementos que debe primar en el diseño tarifario: la política social, la política medioambiental o la política de movilidad, a nivel general, 33.33% de los expertos, están a favor de una combinación de las tres políticas: movilidad, social y medioambiental, y entre las tres parece imperar la movilidad sobre las restantes.

Conclusiones

La aplicación de la metodología Delphi en el diseño de un modelo de financiación del transporte urbano de viajeros en España ha permitido obtener opiniones expertas coincidentes en aspectos muy significativos. No obstante, conviene destacar como las respuestas aportadas por los expertos están influidas por el propio modelo preexistente que los encuestados conocían perfectamente. No se trata pues de un modelo ideal o teórico al que se llega a partir de opiniones expertas, expuestas en un marco donde todas las opciones son posibles, sino de opiniones formadas a partir de la realidad. Este aspecto, que puede restar relevancia a las respuestas obtenidas desde una perspectiva teórica-conceptual, la dota de un mayor grado de utilidad. Las principales recomendaciones de los expertos, así como el grado de consenso sobre las mismas pueden resumirse en los siguientes aspectos:

• El establecimiento de un marco legal que regule la financiación del transporte urbano de viajeros de forma estable fue una de las propuestas, pues 100% de los expertos votó por ello.

• Dotar al marco regulador de una temporalidad de largo plazo, entre los cuatro y los ocho años, fue la opción votada por 80% de los expertos.

• Los expertos recomiendan regular de forma separada la financiación del gasto en inversión respecto de la financiación del gasto corriente, dicha moción fue apoyada por 60 por ciento.

• Los criterios más relevantes a considerar para el reparto de fondos públicos deben ser: longitud de la red, relación viajeros/habitantes, criterios medioambientales y la introducción de nuevas pautas relacionadas con la eficiencia. El voto a favor al respecto fue de 50 por ciento.

• Con respecto a reducir el actual peso relativo en el sistema de reparto de fondos públicos del criterio “déficit tarifario”, 90% de los expertos votó favorablemente.

• En lo correspondiente a las subvenciones públicas procedentes de las distintas administraciones, 76.7% refiere que deben constituir la principal fuente de ingresos del sistema.

• Un modelo de financiación basado en los “contrato programa” es apoyado por 86.7 por ciento.

Los elevados niveles de consenso obtenidos en los aspectos enumerados reflejan el éxito de la técnica adoptada.

Agradecimientos

Esta investigación se llevó a cabo en el marco del proyecto realizado por la Universidad Rey Juan Carlos y la Asociación del Transporte Urbano Colectivo (ATUC) sobre la identificación de alternativas para la financiación del transporte urbano.

Fuentes consultadas

Adler, Michael y Ziglio, Erio (1996), Gazing into the oracle: the Delphi method and its application to social policy and public health, Londres, Inglaterra, Jessica Kingsley Publishers.

Akins, Ralitsa; Tolson, Homer y Cole, Bryan (2005), “Stability of response characteristics of a Delphi panel: application of bootstrap data expansion”, BMC Medical Research Methodology, 5 (37), Texas, Estados Unidos de América, Bio Med Central, <http://goo.gl/nihfGc>, 3 de octubre de 2012.

Angelidou, Margarita; Genitsaris, Evangelo; El Aissati, Hafieda y Naniopoulos, Aristotelis (2017), “The effect of major market and spcietal trends on public transport in European cities”, Transportation Research Procedia, vol. 24, Ámsterdam, Holanda, Elsevier, pp. 105-112.

Astigarraga, Eneko (2003), El método Delphi, San Sebastián, España, Universidad de Deusto.

Bettcher, Douglas; Goon, Eric y Sapirie, Steve (1998), “Essential public health functions: results of the international Delphi Study”, World Health Statistics Quarterly, 51 (1), Ginebra, Suiza, World Healt Organization, pp. 44-54.

Blasco, Josefa Eugenia; López, Alexandre y Mengual-Andrés, Santiago (2010), “Validación mediante método Delphi de un cuestionario para conocer las experiencias e interés hacia las actividades acuáticas con especial atención al windsurf”, Ágora para la Educación Física y el Deporte, 1 (12), Valladolid, España, Universidad de Valladolid, pp. 75-96.

Camisón, César y Cruz, Sonia (2008), “La medición del desempeño organizativo desde una perspectiva estratégica: creación de un instrumento de medida”, Revista Europea de Dirección y Economía de la Empresa, 1 (17), Ámsterdam, Holanda, Elsevier, pp. 79-102.

Campos, Vanessa; Melián, Amparo y Sanchis, Joan Ramón (2014), “El método Delphi como técnica de diagnóstico estratégico. Estudio empírico aplicado a las empresas de inserción en España”, Revista Europea de Dirección y Economía de la Empresa, 2 (23), Ámsterdam, Holanda, Elsevier, pp. 72-81.

Chen, Luan; Ng, Eric; Huang, Shyh-Chang y Wei-Ta, Fang (2017), “A Self-Evaluation System of Quality Planning for Tourist Attractions in Taiwan: An Integrated AHP-Delphi Approach from Career Professionals”, Sustainability, 9 (10), Basel, Suiza, MDPI, pp. 1-18.

Corbetta, Piergiorgio (2003), Metodología y técnicas de investigación social, Madrid, España, Mcgraw-Hill.

Crowley, Kenyon; Gold, Robert; Bandi, Sruthi y Agarwal, Ritu (2016), “The public health information technology maturity index: an approach to evaluating the adoption and use of public health information technology”, Frontiers in Public Health Services & Systems Research, 2 (5), Kentucky, Estados Unidos de América, University of Kentucky, pp. 26-33, doi. https://10.13023/FPHSSR.0502.05

Delbecq, André; Van de Ven, Andrew y Gustafson, David (1975),Group techniques for program planning, Minnesota, Estados Unidos de América, University of Minnesota.

Dos Santos, Claudete Bezerra y Mariottoni, Carlos Alberto (2016), “Analysis of multicriteria in the practice of environmental services in areas of watersheds”, Journal of Sustainable Forestry, 7 (35), Didcot, Inglaterra, Taylor and Francis, pp. 1-15.

Gupta, Uma y Clarke, Robert (1996), “Theory and applications of the Delphi technique: A bibliography (1975-1994)”, Technological Forecasting and Social Change, 2 (53), Ámsterdam, Holanda, Elsevier, pp. 185-211.

Juliá, Juan Francisco y Polo, Fernando (2006), “La adaptación de las normas contables a las sociedades cooperativas con especial referencia a los fondos propios. Una aplicación del método Delphi”, Revista Española de Financiación y Contabilidad, 35 (132), Madrid, España, AECA, pp. 789-816.

Kamalian, Aminreza; Shahmehr, Fatemeh; Ajdari, Peyman y Khaksar, Seyed Mohammad Sadegh (2017), “ Empirical study on electronic government in developing countries by using fuzzy Delphi and TOPSIS techniques”, International Journal of Electronic Business, 13 (4), Olney, Bucks, Reino Unido, Indersciennce Enterpises Ltd, <https://www.inderscience.com/mobile/ingeneral/index.php?pid=8>, 8 de diciembre de 2018.

Kwak, Mi Young; Lee, Tae Ho; Hong, Hyeon Seok; Na, Baeg Ju; Kim, Yoon (2016), “Development and adjustment of indicators for underserved area”, documento 10.4332/KJHPA. 2016.26.4.315, Seul, Corea del Sur, Universidad Nacional de Seul.

Landeta, Jon (2006), “Current validity of the Delphi method in social sciences”, Technological Forecasting Social Change Journal, vol.73, Ámsterdam, Holanda, Elsevier, pp. 467-482.

Landeta, Jon (1999), El método Delphi. Una técnica de previsión para la incertidumbre, Barcelona, España, Ariel.

Li, Juan; Zhou, Lihui y Jing, Lixian (2017), “Research on public service evaluation and equalization based on fuzzy comprehensive evaluation”, Technical Bulletin, 7 (55), Coventry, Inglaterra, University of Warwick, pp. 738-746.

Linstone, Harold A. y Turoff, Murray (1975), The Delphi method. Techniques and applications, Massachusetts, Estados Unidos de América, Addison-Wesley.

Lobera, Josep y Secretariado GUNI (Global University Network for Innovation) (2008), “Encuesta Delphi: la educación superior para el desarrollo humano y social”, en La educación superior en el mundo, 3, Educación superior, nuevos retos y roles emergentes para el desarrollo humano y social, Madrid, España, GUBI y Mundi-Prensa, pp. 307-331.

López-Gómez, Ernesto (2018), “El método Delphi en la investigación actual en educación: una revisión teórica y metodológica”, Educación XXI, 1 (21), Madrid, España, Facultad de Educación de la Universidad Nacional de Educación a Distancia, pp. 1-21, http://doi:10.5944/educXX1.15536.

Ludwing Barbara (1997), “Predicting the future. Have you considered using the Delphi methodology?, Journal of Extension , 5 (35), Ohio, Estados Unidos de América, Extension Journal, Inc., pp. 1-4.

Manyazewal, Tsegahun; Oosthuizen, Martha y Matlakala, Mokgadi (2016), “Proposing evidence-based strategies to strengthen implementation of healthcare reform in resource-limited settings: a summative analysis”, BMJ Open, 6 (9), Londres, Inglaterra, BMJ Journals, <https://www.ncbi.nlm.nih.gov/pubmed/27650769>, pp. 1-15, doi: 10.1136/bmjopen-2016-012582

Palacios, Antonio Jesús y Vinuesa, Julio (2010), “Un análisis cualitativo sobre la política de vivienda en España. La opinión de los expertos”, Anales de Geografía, 1 (30), Madrid, España, Ediciones Complutense, pp. 101-118.

Pill, Juri (1971), “The Delphi method: Substance, context, a critique and an annotated bibliography”, Socio-Economic Planning Science, 5 (1), Ámsterdam, Holanda, Elsevier, pp. 57-71.

Powell, Catherine (2003), “The Delphi technique: Myths and realities”, Journal of Advanced Nursing, 4 (41), Nueva Jersey, Estados Unidos de América, Blackwell Publishing Inc., pp. 376-382.

Putman, Joanne; Spiegel, Amy y Bruininkis, Roert (1995),”Future directions in education and inclusion of students with disabilities: a Delphi investigation”,Council for Exceptional Children, 61 (6), Los Ángeles California, Estados Unidos de América, Sage Publications Inc., pp. 553-576.

Robertson, Margaret; Martin, Line; Jones, Susan y Thomas, Sharon (2010), “International Students. Learning Environments and Perceptions: a case study using the Delphi technique”, Journal Higher Educacion Research and Development, 9 (1), Didcot, Londres, Taylor and Francis, pp. 89-102.

Rowe, Gene y Wright, George (2001), “Expert Opinions in Forecasting: The Role of the Delphi Technique”, en Armstrong J. S. (ed.), International Series in Operations Research & Management Science, Massachusetts, Estados Unidos de América, Springer, pp. 125-129.

Thomas, Susan; Wakerman, John y Humphreys, John (2015), “Ensuring equity of Access to primary health care in rural and remote Australia-what core services should be locally available?”, International Journal for Equity in Health, 1 (14), Londres, Inglaterra, Bio Med Central, pp. 14-111.

Uthes, Sandra y Matzdorf, Bettina (2016), “Budgeting for government-financed PES: Does ecosystem service demand equal ecosystem service supply?”, Ecosystem Services, vol. 17, Ámsterdam, Holanda, Elsevier, doi: 10.1016/j.ecoser.2016.01.001

Vardoulakis, Sotiris; Mitsakou, Christina; Dimitroulopoulou, C. y Santana, Paula (2016), “Developing environmental public health indicators for European metropolitan areas”, International Conference on Urban Risks, junio-julio, Lisboa, Portugal, ICUR.

Vinod-Kumar, T. M; Bimal, Puthuvayi y Sri Reddi, Aruna (2017), “Outline development plan for foroke municipality in execution framework of internet of people. Internet of government and internet of things”, en T. M. Vinod Kumar (ed.), E-Democracy for smart cities, Singapore, Asia, Springer Nature, pp. 71-119, doi: 10.1007/978-981-10-4035-1_3

Walther, Falko; Vogt, Sebastian y Kabst, Rüdiger (2016), “A Strategic Foresight about Future Public Service Developments from the Citizans’ Perspective”, International Journal of Public Administration in the Digital Age, vol. 3, Pensilvania, Estados Unidos de América, IGI Global, pp. 21-46.

Wiewiora, Anna; Keast, Robyn y Brown, Kerry (2015), “Opportunities and Challenges in Engaging Citizens in the Co-Production of Infraestructure-Based Public Services in Australia”, Public Management Review, 18 (4), Didcot, Inglaterra, Taylor and Francis, pp. 483-507.

Notas de autor