Introducción

El creciente interés en la búsqueda de la calidad en la educación superior ha llevado a la creación de las distintas agencias de evaluación a nivel internacional (ENQUA, INQAAHE, EQAC etc.) como a nivel nacional (ANEP, ANECA, agencias regionales, etc.). Estas agencias evalúan tanto titulaciones, procedimientos, como profesorado e investigadores. En su evaluación, estas agencias siguen unos principios comunes que Delgado (2011) resume en que la evaluación descansa sobre los resultados de la investigación, la evaluación es de carácter formal y el mecanismo de evaluación se inspira en la tradición académica de la evaluación por pares.

Cada agencia tiene diferentes programas para evaluar equipos de investigación y profesorado. Así la ANECA se dedica a evaluar la actividad docente e investigadora y la formación académica de los aspirantes a una plaza de profesorado universitario contratado (PEP), así como acreditar a los profesores que deseen acceder a los cuerpos de funcionarios docentes ­(ACADEMICA). También la ANECA, a través de su programa de CNEAI es la encargada de evaluar la actividad investigadora de los profesores universitarios y del personal de las escalas científicas del Consejo Superior de Investigaciones Científicas. Por último, la ANEP se encarga de la evaluación de proyectos I+D+i.

Estos proyectos son unos de los aspectos más importantes a la hora de evaluar tanto la calidad de las universidades, como la de los profesores e investigadores. En este sentido la mayoría de rankings de universidades los incluyen como uno de los aspectos principales a evaluar dentro del apartado de investigación. Así en el ranking en investigación de las universidades públicas españolas (Buela-Casal, Quevedo-Blasco, & Guillén-Riquelme, 2015) aparece como uno de los siete indicadores utilizados para elaborar el ranking los proyectos I+D, en el que se evalúa el número de estos que se concede a cada universidad y la proporción de proyectos por el número de funcionarios.

Por otro lado, en la evaluación de profesores e investigadores, también los proyectos son uno de los aspectos más valorados a la hora de conseguir una acreditación (Buela-Casal & Sierra, 2007; Sierra, Buela-Casal, De la Paz Bermúdez, & Santos-Iglesias, 2009). En este sentido Sierra et al. (2009) en su trabajo obtuvieron que tanto los profesores titula­res de universidad como los catedráticos de universidad valoran como segundo y tercer aspecto, respectivamente, la dirección de proyectos de investigación con financiación externa. En este mismo sentido, Buela y Sierra (2007) obtie­nen como resultado de su trabajo que la dirección de proyectos de investigación fue elegida como segundo indicador más importante en las evaluaciones del profesorado.

En el área de ciencias de la actividad física y del deporte, De Bosscher, Shibli, Westerbeek y Van Bottenburg (2015) ponen a la investigación en deportes como uno de los nueve pilares para una política efectiva y eficiente en el deporte de élite. Obtienen como conclusiones de su estudio que la inversión que un país realiza en investigación en ciencias del deporte está directamente relacionada con el éxito deportivo (medallas en olimpiadas, campeonatos del mundo, etc.). Datos semejantes encontraron Bredtmann, Crede y Otten (2016), al diseñar un modelo para predecir posibles medallas olímpicas que conseguiría cada país en los juegos de Rio 2016.

En España, Ferro (2009) expone que los proyectos de I+D+i específicos de ciencias de la actividad física y el deporte por primera vez se instauraron dentro del plan nacional I+D (1992-1995), como consecuencia de los JO de Barcelona. Después de este plan se dejó de apostar por políticas de investigación en el deporte y no es hasta el año 2004, a través de la Acción estratégi­ca sobre deporte y actividad física (2005-2008) dentro del V plan nacional de I+D+i cuando se volvió a apostar por una nueva política de investigación en el ámbito de la actividad física y el deporte. A partir del año 2008, las ciencias del deporte tienen un área específica del plan nacional, que sigue igual hoy día. En este sentido, Ortega et al. (2013), analizaron el total de proyectos concedidos del plan nacional en el área de las Ciencias del Deporte, desde el año 2008 hasta el año 2012. Apreciaron que tanto el número de proyectos (media de 19 al año), como la cuantía destinada se estaban reduciendo con el tiempo. Observaron datos similares al analizar los proyectos concedidos por el CSD (Ortega, Valdivia-Moral, Hernán-Villarejo, & Olmedilla, 2014), proyectos que dejaron de subvencionarse en el año 2013. Por lo tanto, son pocos y con menguada financiación los que se conceden (en el año 2016 únicamente 4 proyectos en la convocato­ria de Excelencia y 12 en la de Retos), siendo mucha la competitividad en el área de las ciencias de la actividad física y el deporte, por lo que es necesario diseñar muy buenos proyectos para llegar a ser seleccionados.

En cuanto al diseño y explicación de un proyec­to de investigación, en la bibliografía se encuentran muchas recomendaciones; se encuentran guías orientativas para realizar un proyecto de investigación, aunque no se han encontrado propuestas concretas dentro de las ciencias de la acti­vidad física y el deporte (Eg. Lucas, Vidal-Infer, González de Dios, & Aleixandre-Benavent, 2016; Ló­pez, Fraga, Rosas, Castro, & Thompson, 2013). Con respecto a la evaluación de los proyectos el Consejo Europeo de Investigación (ERC) expone en el programa de trabajo de 2017, los aspectos evaluados, y los divide en dos grandes grupos: a) el primero tiene en cuenta aspectos del investigador principal (IP), y b) el segundo aspectos del proyecto. Dentro de los aspectos evaluados sobre el investigador principal se encuentran: capacidad del investigador para llevar a cabo el proyecto, liderazgo y formación de jóvenes investigadores, pensamiento creativo independiente y compromiso para llevar a cabo el proyecto. Por otro lado, dentro de los aspectos del proyecto se evalúan los siguientes aspectos: impacto potencial, metodología adecuada y factibilidad del planteamiento.

En España, en el Plan nacional de investigación cien­tífica, desarrollo e innovación tecnológica se evalúan tres criterios: a) Calidad científico-técnica, relevancia y viabilidad de la propuesta (definición, contenido, calidad, originalidad, y adecuación de las actividades a desarrollar para la consecución de los objetivos, planificación, etc.); b) Calidad, trayectoria y adecuación del equipo investigador (la trayectoria científico-técnica del equipo investigador, y los resultados previos obtenidos por el equipo de investigación en actuaciones finalizadas y/o en curso que se encuadren las mismas líneas de actuación, etc.); y c) Impacto científico-técnico o internacional de la propuesta (resultados previstos del proyecto sobre el reto social al que concurre; su posible contribución al avance de conocimientos y especialmente la aportación de soluciones al mismo; su posible impacto en el ámbito socioeconómico o industrial con el que se relaciona; los planes de difusión, etc.). Cada uno de los criterios se valora con una puntuación de 0-5, si bien el primer criterio tiene una ponderación de 50%, el segundo del 30% y el tercero del 20%.

Teniendo en cuenta la importancia de la evaluación de los proyectos de investigación, y que gracias a esto se puede diagnosticar el estado actual de un área (Olmedilla, Ortega, González, & Hernán-Villarejo, 2013), y a la importancia que le da el profesorado universitario a la dirección de proyectos de investigación en sus evaluaciones (Buela-Casal & Sierra, 2007, Sierra et al., 2009) los objetivos del presente estudio son:

• Conocer la opinión del PDI en CAFD sobre el valor académico de los distintos tipos de proyectos/contratos de investigación.

• Conocer la opinión del PDI en CAFD sobre los criterios más importantes que se deben tener en cuenta a la hora de diseñar y evaluar un proyecto/contrato de investigación.

• Comparar las opiniones de los PDI de CAFD con los criterios de evaluación existentes.

Metodología

Muestra

Los participantes fueron 149 profesores universitarios que impartían docencia en el grado de CAFD en el curso 2013-2014, de los cuales 92 no han sido IP en ningún proyecto y 57 lo han sido en al menos un proyecto. Los participantes perte­necían a 19 universidades españolas, con una experiencia docente de 12.71±8.21 años.

Instrumento

Con el fin del registrar los datos se usó el Cuestionario sobre criterios de calidad del personal docente e investigador universitario en ciencias de la actividad física y deporte (Salado, 2017). Para el diseño y validación del instrumento se siguieron los mismos pasos que en estudios semejantes (Ortega, Jiménez, Palao, & Sáinz de Baranda, 2008). En primer lugar, tras un análisis de la bibliografía se encontraron aquellos instrumentos de evaluación del PDI semejantes al objeto de estudio (Buela-Casal y Sierra, 2007; Larrán-Jorge, Escobar-Pérez, & García-Meca, 2013). Posteriormente, el grupo de investigación adaptó dichos instrumentos a las características propias. Tras la primera propuesta, y a través de una metodología Delphi (Astigarriaga, 2003; Cabero & Infante, 2014; Gil-Gómez & Pascual-Ezama, 2012), se generó un panel de seis expertos. Se definió experto como doctor en CAFD y personal docente e investigador con al menos 10 años de experiencia universitaria. Tras un total de tres grupos de discusión, se planteó una propuesta definitiva. Finalmente, para el adecuado proceso de validez de contenido, la propuesta de CPDI-CAFD, fue enviada por correo electrónico a un total de 11 expertos (doctor en Ciencias de la Actividad Física y el Deporte, con una experiencia mínima de 8 años en docencia universitaria en ciencias del deporte). Para el cálculo de la validez de contenido se utilizó la V de Aiken, obteniendo valores mínimos de 0.81, por lo que no hubo que realizar ninguna otra modificación. Para el control de la fiabilidad, se utilizó la técnica test-retest, aplicando el instrumento en un estudio piloto a 11 sujetos de características semejantes a la muestra. Se obtuvieron unos valores mínimos en el coeficiente de correlación intra-clase O Coeficiente Kappa de 0.93 (Baumgartner, 2000; Weir, 2005).

Del total de ocho bloques que componen el CPDI-CAFD, para el presente estudio se utilizó el apartado de Proyectos y contratos, en el cual se les solicitó que valorasen la importancia en una escala de 0-5 de diferentes tipos de proyectos/contratos, y que valorasen de 0-5 la importancia sobre once criterios para la realización de un buen proyecto de investigación.

Procedimiento

Los cuestionarios fueron enviados en primer lugar por correo electrónico a todos los profesores del grado de CAFD de las universidades públicas. Las direcciones electrónicas se obtuvieron de la web de cada universidad. Después de 15 días del primer envío se volvieron a mandar los cuestionarios y se pidió que no se rellenaran de nuevo, si ya se había hecho. También se enviaron algunos ejemplares en papel a las universidades. Una vez conseguidos todos los datos, estos se volcaron en el programa estadístico SPSS.

Análisis estadístico

En primer lugar, se realizó un análisis descriptivo de la opinión de los PDI calculando la media y desviación típica. Posteriormente, para analizar las posibles diferencias entre los diferentes grupos objeto de estudio, se realizó una comparación de medias mediante la prueba T para muestras independiente. En todos los casos se utilizó un nivel de significación de p<.05. Los resultados fueron analizados mediante el paquete estadístico SPSS 17.0.

Resultados

En la tabla 1 se recoge la importancia media que otorga el profesorado de CAFD a los distintos tipos de proyectos de investigación.

Con relación al profesorado que ha sido IP en algún proyecto de investigación, este considera que los que más importancia deberían tener en las evaluaciones de proyectos serían los internacionales, seguidos de los incluidos en el Plan nacional de I+D+i. Así mismo, el profesorado que no ha sido IP en ningún proyecto opina igual: los más importantes son los internacionales seguidos de los del Plan nacional, aunque existen diferencias estadísticas significativas entre las valoraciones de ambos grupos.

En la tabla 2 se aprecian las opiniones de los PDI de CAFD sobre los diferentes criterios para la valoración de un proyecto/contrato de investigación. Se aprecia que para los que han sido al menos una vez investigador principal, los aspectos más importantes son la viabilidad y la transferencia de conocimientos, existiendo diferencias estadísticamente significativas con el grupo de los profesores que no han sido IP en el ítem de transferencia del conocimiento. El profesorado que no ha sido IP ha valorado como aspecto más importante el hecho que la metodología sea la adecuada. En cuanto a los ítems menos valorados en ambos grupos, estos han sido la aparición de la mujer y la de jóvenes investigadores. Cabe destacar la baja valoración que todos han dado a los currículos tanto del IP como del grupo.

Discusión

El objetivo de este trabajo es conocer la opinión del profesorado de CAFD sobre aspectos de los proyectos/contratos con la finalidad de mejorar la evaluación de la actividad investigadora de dicho profesorado.

Con respecto a los distintos tipos de proyectos destaca la importancia de la internacionalización; en este sentido dirigir un proyecto internacional para los profesores encuestados es más importante que dirigir un proyecto nacional, si bien siguen siendo escasos los proyectos que los investigadores solicitan en la convocatoria específica de ciencias del deporte de la convocatoria europea de Horizonte 2020 (Horizonte 2020, Sport). Posteriormente los proyectos más valorados son los del Plan nacional, si bien, en los últimos años se está apreciando un descenso tanto en número como en subvención concedida, además de que la mayoría de los proyectos concedidos se encontraban en áreas muy específicas, fundamentalmente relacionados con la actividad física y la salud (Ortega, Olmedilla, Salado, & Villarejo, 2013). A estos datos hay que añadir, que desde el año 2013, el CSD decidió eliminar la partida presupuestaria destinada a la investigación. Estos datos reflejan un desinterés por parte de las entidades públicas por la investigación en el área de las ciencias de la actividad física y el deporte en general, y más aun con las áreas del deporte que no estén totalmente relacionados con la actividad física y la salud. Si bien estos datos, van en la línea del desinterés general que el gobierno español está haciendo en su inversión en la política investigadora en general (Santamaría, Díaz, & Valladares, 2013), son totalmente contradictorios con la inversión que la inmensa mayoría de países están haciendo en investigación en ciencias de la actividad física y el deporte, como se puede ver en países como Australia, EEUU, Francia, Italia, Reino Unido (Grix & Carmichael, 2012; Gratton & Taylor, 2005), o países de Latinoamérica como Brasil, Chile, Colombia, Ecuador, México, etc. (Forbes, 2014; Schausteck de Almeida, Barboza Eiras de Castro, Mezzadri, & Lange de Souza, 2016). Este desinterés por la inversión en Ciencias de la Actividad Física y el Deporte se aprecia de nuevo en las convocatorias regionales, de manera que los investigadores de este área apenas las valoran, y es muy probable que esa baja valoración se deba a que en estas convocatorias regionales no existe áreas específicas de ciencias del deporte, por lo que tienen que competir con áreas mucho más grandes y con mayor tradición investiga­dora.

Este desinterés general conlleva que los inves­tigadores españoles en ciencias de la actividad física y el deporte valoren con bajo interés y apenas busquen financiación a través de otras vías, como se puede ver al analizar las bajas solicitudes en otros programas nacionales como son la solicitud de congresos, la convocatoria Explora, la convocatoria Redes de Excelencia, etc., donde apenas en el último año se han apreciado un decena de solicitudes y ninguna concesión (http://www.idi.mineco.gob.es/portal/site/micinn/).

Finalmente, cabe señalar la baja valoración que los PDI de CAFD otorgan a los contratos de investigación, o contratos con empresas, aunque este tipo de contratos sea uno de los principales agentes que tiene la universidad para poder acercar el conocimiento científico a la empresa (González, Clemenza, & Ferrer, 2014). De hecho, han sido muchos los intentos de la universidad para potenciar estas herramientas. Con dicho objetivo se han llevado a cabo diferentes actuaciones y entre estas aparece la creación y fortalecimiento de sus oficinas de transferencia (Olaya, Berbegal-Mirabent, & Duarte, 2014; Red OTRI, 2014) y de sus empresas de base tecnológica (Rodeiro, Rodríguez, Fernández, & Vivel, 2016). Sin embargo, en el ámbito de las ciencias de la actividad física y el deporte no se aprecia una elevada actividad por lo que son escasas las nuevas empresas de base tecnológica relacionadas con dicho ámbito (FECYT, 2017).

Por otro lado, al analizar los criterios que los PDI de CAFD consideran claves para el diseño y valoración de los proyectos de investigación, en primer lugar, se aprecia que los indicadores que más valoran son la viabilidad del proyecto, una metodología adecuada, que permita y obtenga unos altos niveles de transferencia, y que exista internacionalización. En este sentido, en primer lugar, no se aprecia una correlación absoluta con los propios criterios de evaluación que indica el ministerio en los proyectos del plan nacional. Las respuestas de los PDI de CAFD estarían relacionadas con el criterio de “Calidad científico-técnica, relevancia y viabilidad de la propuesta” (relacionado con la respuesta de viabilidad del proyecto y metodología) que tiene una valoración total del 50% y con el tercer criterio “Impacto científico-técnico o internacional de la propuesta” (relacionado con la respuesta de transferencia e internacionalización), que tiene un valor del 20%.

Estos datos coindicen parcialmente con las propuestas teóricas señaladas por multitud de autores y asociaciones científicas (Gómez, 2015; McNiff, 2016; Rodríguez, Arribas, Corbí, Lamas, & Rodríguez, 2010), si bien los PDI de CAFD sitúan por encima de la media de otros autores el criterio de transferencia. Esta tendencia a valorar de manera muy elevada el criterio de transferencia es señalado por multitud de autores, sin embargo, no se aprecian políticas que fomente realmente este aspecto, siendo necesarias nuevas políticas universitarias (Boh, De-Haan, & Strom, 2016; Breznitz & Etzkowitz, 2016; García-Peñalvo, 2016; Rivas-Echeverría, Pérez, Rubio-Gómez, & Aguilera-Bravo, 2016)

Además de la transferencia, los PDI de CAFD valoran especialmente la internacionalización de los proyectos, aspecto que difiere de los resultados actuales de internacionalización de la ciencia en España. Así, al ana­lizar la producción científica con coautores internacio­nales, en los datos del último informe de la FECYT sobre indicadores bibliométricos de la actividad investigadora española 2005-2016 (Huggett, Gurney & Jumelet, 2016) se aprecian escasos valores en la ciencia española en general, menores aún en las áreas de ciencias sociales y profesiones de la salud (donde se encuentran el ámbito de las cien­cias de la actividad física y el deporte), y aún menores dentro de las ciencias de la actividad física y el deporte (Devís-Devís, Villamón, & Valcárcel, 2014), si bien no se aprecian datos exactos precisos en este último sentido. Es obvio que es mucho lo que los PDI de CAFD deben mejorar en este aspecto, de manera que no solo deben fomentar la participación de equipos de investigación de otros países en los proyectos, sino que deben hacerles partícipes en sus estancias, publicaciones, congresos etc., en aras de lo ya comentado por Ramón y Cajal hace más de un siglo (1899), cuando señalaba que el estado debía de “cultivar, mediante el pensionado en el extranjero..., un plantel de profesores eméritos, capacitados para descubrir nuevas verdades y para transmitir a la juventud el gusto y la pasión por la investigación original.”

Por el contrario, los datos del presente estudio denotan que tanto el currículo del IP, como el currículo del grupo, no son los ítems más valorados, y si bien su va­loración es alta no se sitúa por encima de cuatro sobre cinco puntos. Además, cabe señalar que en ambos casos, los PDI que han sido investigadores principales valoran este criterio en menor medida que aquellos que no lo han sido. Estos datos demuestran que para los PDI de CAFD, el currículo es muy importante pero no lo más, y especialmente así opinan los que han sido IP. Posiblemente, los que no han sido IP valoren más el currículo por pensar que ha sido decisivo para alcanzar la posibilidad de ser IP. Sin embargo, los estudios de Ortega et al. (2014), y Olmedilla et al. (2013), señalan que, en un periodo de ocho años, sumando los proyectos del Ministerio con los del CSD, es muy poco habitual que un mismo IP consiga tener más de 3 proyectos, y en la mayoría de los casos los IP son solo de un proyecto.

También se debe señalar la poca importancia que obtiene el ítem de la aparición de la mujer en proyectos de investigación. En este sentido en el trabajo de Olmedilla et al. (2013) se obtiene como resultado que sólo en el 36% de los proyectos de psicología fue una mujer la investigadora principal, un 28.6% en psicología del deporte y un 22.3% en deporte, mientras que en el estudio de Ortega et al. (2014), el porcentaje de mujeres IP que obtienen un proyecto del CSD es de apenas el 21.08%, y que la cuantía que reciben esos proyectos es menor a la que reciben los proyectos donde el IP es hombre. A pesar de estas diferencias y de multitud de aportaciones y evidencias científicas donde se aprecia un claro “techo de cristal” en el ámbito de la mujer y la ciencia en general a nivel nacional (Puy-Rodríguez, 2016) como a nivel internacional (Shen, 2013), los PDI de CAFD consideran que el hecho de ser mujer no debe suponer un aliciente para mejorar la evaluación de un proyecto. Cabe recordar que esta medida ha sido propuesta por el ministerio (Ley 14/2011, de 1 de junio, de la ciencia, la tecnología y la innovación, BOE núm. 131, de 2.6.2011; Plan estratégico de igualdad de oportunidades 2014-2016) y por la Unión Europea (Reglamento del programa Horizonte, 2020), como medida para luchar contra este techo de cristal, medida que ha sido ampliamente cuestionada.

En este mismo sentido, los PDI de CAFD tampoco consideran que la incorporación de jóvenes investigadores deba suponer un aliciente para lograr un proyecto. En concreto, el ministerio desde el año 2014, diseño la convocatoria de Proyectos de I+D+i para jóvenes investigadores sin vinculación o con vinculación temporal para jóvenes investigadores (doctores con antigüedad de doctor con menos de 10 años y sin ninguna vinculación laboral), con el objetivo de facilitar la consecución de los primeros proyectos de investigación. Además, que, en la convocatoria de Excelencia y Retos del Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia, Subprograma Estatal de Generación de Conocimiento, de nuevo se aprecia una diferenciación entre los proyectos tipo A (donde concursan únicamente los jóvenes investigadores: doctores con antigüedad de doctor con menos de 10 años y sin ningún a proyecto como IP del Plan nacional frente a la convocatoria B, donde concursa el resto de investigadores. A pesar de estos esfuerzos realizados por el ministerio, es elevado el número de autorías e instituciones que observan alta precariedad en este ámbito, lo que dificulta el desarrollo de una ade­cuada carrera investigadora de la juventud española (Oruezabal, 2016).

Conclusiones

• Los PDI de CAFD valoran especialmente los proyectos de carácter internacional, pero sin embargo realizan pocas solicitudes.

• Los PDI de CAFD valoran de manera destacada los proyectos del plan nacional, pero apenas realizan solicitudes a las convocatorias de Excelencia y Retos, y en mucha menor medida participan en otras convocatorias (redes temáticas, etc.)

• Los PDI de CAFD valoran prioritariamente que los proyectos sean viables, con una metodología adecuada, y que exista internacionalización, sin embargo los niveles de coautoría internacional es muy baja.

• Los PDI de CAFD hacen especial alusión a la necesidad de que se obtenga unos altos niveles de transferencia, pero sin embargo esa transferencia apenas se ve reflejada en contratos, patentes y en menor medida en empresas de base tecnológica.

Los datos del presente estudio persiguen arrojar luz sobre el conocimiento, desarrollo, diseño y evaluación que los PDI de CAFD pueden y deben elaborar en cuanto a los proyectos de investigación. Al mismo tiempo, se observa la necesidad de profundizar más en este campo.

Conflicto de intereses

Las autorías no han declarado ningún conflicto de intereses.

Referencias

Astigarraga, E. (2003). El método delphi. San Sebastián, España: Universidad de Deusto.

Baumgartner, T. A. (2000). Estimating the stability reliability of a score. Measurement in Physical Education and Exercise Science, 4(3), 175-178. doi:10.1207/S15327841Mpee0403_3

Boh, W. F., De-Haan, U., & Strom, R. (2016). University technology transfer through entrepreneurship: faculty and students in spinoffs. The Journal of Technology Transfer, 41(4), 661-669. doi:10.1007/s10961-015-9399-6

Buela-Casal, G., Quevedo-Blasco, R., & Guillén-Riquelme, A. (2015). Ranking 2013 de investigación de las universidades públicas españolas. Psicothema, 27(4), 317-326.

Buela-Casal, G., & Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad. Psicothema, 19(4), 537-551.

Bredtmann, J., Crede, C. J., & Otten, S. (2016). Olympic medals: Does the past predict the future?. Significance, 13(3), 22-25. doi:10.1111/j.1740-9713.2016.00915.x

Breznitz, S. M., & Etzkowitz, H. (2016). University technology transfer: the globalization of academic innovation. London: Routledge.

Cabero-Almenara, J., & Infante-Moro, A. (2014). Empleo del método Delphi y su empleo en la investigación en comunicación y educación. Edutec, 48, 1-16.

De Bosscher, V., Shibli, S., Westerbeek, H., & Van Bottenburg, M. (2015). Successful elite sport policies. An international comparison of the Sports Policy factors Leading to International Sporting Success (SPLISS 2.0) in 15 nations. Recuperado de http://www.vub.ac.be/SBMA/sites/default/files/SPLISS%20%202.0%20brochure-final.pdf

Delgado-López-Cózar, E. (2011). La evaluación de la actividad investigadora en Ciencias Humanidades y en Ciencias Sociales en España: principios y procedimientos. En Mª. P. Nuñez & T. Rieda (Coords.) La investigación en Didáctica de la Lengua y la Literatura: situación y perspectivas de futuro. XII Congreso Internacional de la Sociedad Española de Didáctica de la Lengua y la Literatura (pp. 67-95).

Devís-Devís, J., Villamón, M., & Valcárcel, J. V. (2014). Revistas iberoamericanas de Educación Física/Ciencias del Deporte presentes en Web of Science: evaluación y desafíos. Revista Brasileira de Ciências do Esporte, 36(4), 723-732. doi:10.1016/j.rbce.2014.11.004

FECYT (2017). Base de datos de empresas Españolas. Recuperado de https://icono.fecyt.es/PITEC/Paginas/SolicitudDescargaBD.aspx

Forbes (2014). Las naciones que más invierten en deporte en América Latina. Recuperado de https://www.forbes.com.mx/las-naciones-que-mas-invierten-en-deporte-en-america-latina/

García-Peñalvo, F. J. (2016). La tercera misión/The third mission. Education in the Knowledge Society, 17(1), 7.

Gil-Gómez, B., & Pascual-Ezama, D. (2012). The Delphi Method as a technique to study Validity of Content. Anales de Psicología/Annals of Psychology, 28(3), 1011-1020.

Gómez, M. (2015). Criterios de evaluación de los proyectos de investigación retos y excelencia a través de los informes de los evaluadores. Granada: Universidad de Granada. Recuperado de http://investigacion.ugr.es/ugrinvestiga/pages/doc_ugrcifras/criteriosdevaloracion21docx/!

González, V., Clemenza, C., & Ferrer, J. (2014). Vinculación universidad-sector productivo a través del proceso de transferencia tecnológica. Telos, 1(18), 267-288.

Gratton, C., & Taylor, P., (2005). The economics of sport and recreation. London: Routledge

Grix, J., & Carmichael, F. (2012). Why do governments invest in elite sport? A polemic. International journal of sport policy and politics, 4(1), 73-90. doi:10.1080/19406940.2011.627358

Horizonte 2020. Sport. Recuperado de http://ec.europa.eu/sport/

http://www.idi.mineco.gob.es/portal/site/MICINN/).

Huggett, S., Gurney, T., & Jumelet, A. (2016) Indicadores bibliométricos de la Actividad investigadora española 2005-2016. Madrid: FECYT (Fundación Española para la Ciencia y la Tecnología). Recuperado de https://icono.fecyt.es/sites/default/files/filepublicaciones/indicadores_bibliometricos_2016_0.pdf

Larrán-Jorge, M., Escobar-Pérez, B., & García-Meca, E. (2013). El sistema de acreditación nacional: la opinión de los profesores universitarios de Contabilidad. Revista Española de Documentación Científica, 36(3), 015. doi:10.3989/redc.2013.3.947

López, D., Fraga, V. A., Rosas, M. C., Castro, G. A., & Thompson, M. D. R (2013). Cómo redactar proyectos de investigación. Revista de Especialidades Médico Quirúrgicas, 18(4), 332.

Lucas R., Vidal-Infer, A., Gonzalez de Dios, J., & Aleixandre-Benavent, R. (2016). Comunicación científica. Cómo hacer un protocolo de investigación/Scientific communication. Acta Pediátrica Española, 74(1), 35.

McNiff, J. (2016). You and your action research project. London: Routledge.

Olaya, E. S., Berbegal-Mirabent, J., & Duarte, O. G. (2014). Desempeño de las oficinas de transferencia universitarias como intermediarias para la potencialización del mercado de conocimiento. Intangible capital, 10(1), 155-188. doi:10.3926/ic.497

Olmedilla, A., Ortega, E., González, J., & Hernán-Villarejo, D. (2013). Análisis de los proyectos de investigación de financiación pública en Psicología del Deporte. Anales de psicología, 29(3), 714-723. doi:10.6018/analesps.29.3.175851

Ortega, E., Jiménez, J. M., Palao, J. M., & Sáinz de Baranda, P. (2008). Design and validation of a questionnaire to value the preferences and satisfaction for young players of basketball. Cuadernos de Psicología del Deporte, 8(2), 39-58.

Ortega, E., Olmedilla, A., Salado, J., & Villarejo, D. (2013). Análisis de los proyectos de investigación concedidos en el plan nacional I+D+I en Ciencias del Deporte. En T. Ramiro & M. T. Ramiro (Com.). X Foro internacional sobre la evaluación de la calidad de la investigación y de la educación superior (FECIES) (pp.151) Granada: Asociación Española de Psicología Conductual

Ortega, E., Valdivia-Moral, P., Hernán-Villarejo, D., & Olmedilla, A. (2014). Análisis de los proyectos de investigación concedidos por el Consejo Superior de Deportes (2006-2012), desde una perspectiva de género. Revista de Psicología del Deporte, 23(1), 95-100.

Oruezabal, R. I. (2016). Investigadores sin carrera. La Cuestión Universitaria, 4, 78-88.

Puy-Rodríguez, A. (2016). Estadísticas e indicadores de la (des)igualdad de género en la formación y profesión científica, 2015. Madrid: Ministerio de Economía, Industria y Competitividad. Recuperado de http://www.idi.mineco.gob.es/stfls/MICINN/Ministerio/FICHEROS/Informe_Cientificas_en_Cifras_2015_con_Anexo.pdf

Ramón y Cajal, S. (1899). (Reed., 2016). Reglas y consejos sobre investigación científica: los tónicos de la voluntad. Madrid: Gadir.

Red OTRI de Universidades (2014). Informe de la encuesta de Investigación y Transferencia de Conocimiento 2014 de las Universidades Españolas, Conferencia de Rectores de las Universidades Españolas, CRUE, Madrid.

Rivas-Echeverría, F. I., Pérez, A. G., Rubio-Gómez, M. J., & Aguilera-Bravo, T. P. (2016). Papel y trascendencia de las universidades en el proceso de transferencia tecnológica Francklin Iván Rivas-Echeverría. Visión Gerencial 2, 375-398.

Rodeiro, D., Rodríguez, M. J., Fernández, S., & Vivel, M. M. (2016). Análisis de la supervivencia de las spin-offs universitarias creadas en España: Factores diferenciales respecto a empresas similares. Investigaciones de Economía de la Educación 11, 435-450.

Rodríguez, D., Arribas, I., Corbí, A., Lamas, S., & Rodríguez, L. (2010). Evaluación de proyectos de investigación en ciencias de la salud El punto de vista de la Agencia Nacional de Evaluación y Prospectiva. Recuperado de http://www.idi.mineco.gob.es/stfls/MICINN/Investigacion/FICHEROS/Cvn_Anep/criterios_de_evaluacion_en_cc_de_la_salud.pdf

Salado, J. (2017). Criterios para la evaluación de la calidad del personal docente e investigador universitario en ciencias de la actividad física y el deporte (Tesis doctoral, Universidad de Murcia, Murcia, España).

Santamaría, L., Diaz, M., & Valladares, F. (2013). Dark clouds over Spanish science. Science, 340(6138), 1292-1292. doi:10.1126/science.1233726

Schausteck de Almeida, B., Barboza Eiras de Castro, S., Mezzadri, F. M., & Lange de Souza, D. (2016). Do sports mega-events boost public funding in sports programs? The case of Brazil (2004–2015). International Review for the Sociology of Sport. doi:10.1177/1012690216680115

Shen, H. (2013). Mind the gender gap. Nature, 495, 7439. doi:10.1038/ 495022a

Ferro, A. (2009). Las Ciencias del Deporte y la Política Científica Española. Revista Internacional de Ciencias del Deporte, 5(14), 1-2.

Sierra, J. C., Buela-Casal, G., De la Paz Bermúdez, M., & Santos-Iglesias, P. (2009). Importancia de los criterios e indicadores de evaluación y acreditación del profesorado funcionario universitario en los distintos campos de conocimiento de la UNESCO. RUSC. Universities and Knowledge Society Journal, 6(2), 49-59.

Weir, J. P. (2005). Quantifying test-retest reliability using the intraclass correlation coefficient and the SEM. The Journal of Strength & Conditioning Research, 19(1), 231-240

Notas de autor

eortega@um.es