De evaluar diferente a orientar como siempre. Burocratización e inercias institucionales en la implementación de una política científica orientada al desarrollo tecnológico y social

De avaliar de forma diferente a orientar como sempre. Burocratização e inércia institucional na implementação de uma política científica orientada para o desenvolvimento tecnológico e social

From Evaluating Differently to Prioritizing as Usual. Bureaucratization and Institutional Inertias in the Implementation of Research Policy Aimed at Technological and Social Development

La evaluación académica es uno de los puntos nodales del sistema científico (Bianco et al., 2014). Un sistema aceptado y consensuado por la comunidad científica es vital para el desarrollo de una ciencia rigurosa y útil para la comunidad nacional y regional. Incluso cuando no se encuentre en disputa el estatus histórico del sistema científico y tecnológico en materia de excelencia, calidad y presencia internacional, uno de los objetivos subyacentes continúa siendo el esfuerzo por la revisión de criterios de la evaluación del desempeño de las y los investigadores a fin de promover la investigación orientada a la resolución de problemas o al aprovechamiento de capacidades estratégicas.

En este trabajo nos ocupamos de analizar un instrumento de política científica creado en Argentina en 2012 —los Proyectos de Desarrollo Tecnológico y Social (PDTS)—, que se propuso modificaciones al sistema de evaluación de académicos con el objetivo de aumentar la producción de conocimientos orientada al desarrollo tecnológico y social. Lo que sigue refleja un análisis de actas de discusión, minutas y documentos oficiales que dieron origen a una política científica innovadora, en especial en lo que respecta a sus esfuerzos por definir criterios de evaluación para ejercicios de producción de conocimiento orientado o aplicado. Desde sus comienzos en 2011 y 2012 hasta la actualidad, hemos entrevistado funcionarios, gestores, investigadores involucrados en dichos proyectos, evaluadores y acreditadores que conforman las experiencias del devenir de dicha política vigente. Sus aspiraciones iniciales y la implementación efectiva han sufrido variaciones que la constituyen en un objeto de análisis relevante en tanto atraviesa tensiones de interés actual para la política científica y su capacidad de orientar y promover cambios en las formas vigentes de llevar a cabo las tareas de la ciencia. Este trabajo hace foco en la etapa de implementación de la política, en el que se evidencian tensiones y limitaciones.

La evaluación del desempeño genera señales inmediatas provocando cambios que, en ciertas circunstancias, son más de orden regulatorio que propuestas de política científica emitida en forma de declaraciones, lineamientos y documentos. De ahí que su revisión hace las veces de caja de resonancia de múltiples expectativas a las que se somete la tarea investigativa.

Los PDTS resultaron ser una herramienta original que puso el énfasis en la inclusión de la sociedad en el corazón mismo del proceso investigativo, en dos sentidos: en primer lugar, supuso la inclusión de la figura del demandante, quien firma un preacuerdo de compromiso en la participación en el proceso de diseño, implementación y adopción de los resultados del proyecto; en segundo lugar, buscó promover una expresa mirada atenta a los problemas sociales y hallar las herramientas de la investigación científica que den respuestas a ellos.

En la sección siguiente, repasaremos algunas de las más recientes y originales contribuciones en términos de evaluación académica y su vinculación con la orientación de la investigación. A continuación, describiremos los debates que surgieron luego de la creación de los PDTS en torno a la puesta en práctica del instrumento y las modificaciones en los procedimientos de evaluación. La quinta sección se enfoca en la evolución de la figura del demandante externo. Finalmente, se plantean las conclusiones del trabajo y los desafíos pendientes para una herramienta de política científica vigente.

Desde diversos campos como la sociología de la ciencia, los estudios sobre la universidad, el análisis de la política científica y la sociología de la educación, surgen diversas conceptualizaciones que, con diferentes énfasis, comparten la idea de que se han puesto en marcha importantes transformaciones en el campo de la ciencia académica y, por tanto, en los procesos y la orientación que adquiere la producción del conocimiento científico en la universidad. Podemos dar cuenta de algunos de los conceptos que han tenido mayor resonancia a la hora de modelar las relaciones entre la producción de conocimiento y su relación con los lineamientos de política, en sentido amplio: entre ellos están la investigación estratégica (Irvine y Martin, 1984), los nuevos modos de producción de conocimiento (Gibbons et al., 1994), los sistemas de innovación (Lundvall, 1992, entre otros), la triple hélice universidad-empresa-estado (Etzkowitz y Leydesdorff, 1998 y 2000), la ciencia pos-académica (Ziman, 2000), la ciencia posnormal (Funtowicz y Ravetz, 1993), el capitalismo académico (Slaughter y Leslie, 1997) y la reciente idea de ciencia abierta (RIN/NESTA, 2010), entre otros. En cualquier caso, más allá de los matices de estos enfoques analíticos de corte estructural, pareciera delimitarse un área de vacancia en lo que respecta a los procesos de significación con los que los propios académicos dan sentido y reinterpretan los lineamientos de la política pública, en especial en lo relativo a sus evaluaciones de desempeño, acceso a financiamiento específico y promoción de trayectorias individuales.

Varios autores (Albornoz y Gordon, 2007; Estébanez, 2007; Emiliozzi, 2011; y Vaccarezza, 2004, entre otros) sostienen que, más allá de la existencia formal de mecanismos de acceso diferenciado al financiamiento, subsiste una dificultad central en el sistema argentino de ciencia y tecnología a la hora de que los proyectos orientados tengan continuidad, un mayor desarrollo y que devinieran en resultados de impacto en el ámbito socio-productivo. Esta dificultad obliga a poner el acento en las características del sistema de evaluación de los logros y méritos de las y los investigadores, más bien ordenados detrás de la consigna de sobrevalorar los criterios bibliométricos y, de algún modo, como consecuencia no buscada de la acción, a infravalorar o penalizar a los investigadores involucrados en proyectos centrados en la resolución de un problema específico. En general las y los investigadores abocados a este tipo de tareas concentran esfuerzos en otros aspectos y se prioriza otro tipo de acciones que en la evaluación no son ponderadas con la misma valoración que un artículo publicado en un journal indexado.

En Advancing the Science of Science and Innovation Policy, Sarewitz (2010) propone una distinción para el diseño de los objetivos de la política científica que resulta útil en términos de la problemática aquí planteada.1. Sarewitz distingue entre los productos (outputs) y los resultados (outcomes). Desde la consagración del modelo lineal-ofertista en el informe “Ciencia: la frontera sin fin” (1945), la distinción entre productos y resultados de la ciencia supuso una redundancia. A partir de entonces, el modelo hegemónico para el diseño de la política científica en los países centrales y luego en América Latina pasó a basarse en una concepción insumo-producto, donde el Estado debía garantizar los recursos para el funcionamiento de la ciencia (principalmente básica), de la que se derivarían naturalmente las investigaciones aplicadas y los desarrollos tecnológicos que resultarían en beneficios sociales y económicos. El modelo insumo-producto supone que al sistema científico hay que garantizarle ciertos insumos (inputs: recursos económicos, humanos) que derivarán (indefectiblemente) en resultados mensurables (outputs: publicaciones, patentes, etc.). Aquí no existe una preocupación por los resultados sociales de la investigación porque se supone un fin inevitable. En este esquema, los beneficios de la ciencia fluyen de manera “natural” hacia la sociedad de forma que no es necesaria la intervención de la política pública que la garantice. Más aún, en la medida en que la comunidad de científicos y científicas es la única capaz de juzgar qué es lo que se debe investigar, tal intervención de política pública resultaría perniciosa, al atentar contra la creatividad, la productividad de la ciencia y su autonomía, garante de sus avances y productos.

La distinción entre productos y resultados de la política científica, apunta al meollo del debate por el papel político de la política científica. La cuestión de los resultados sociales que persigue la política científica de una determinada sociedad, apunta a la carga política de la ciencia.

La literatura especializada en lo que respecta a la relación entre la evaluación y la orientación de la investigación (Aksnes y Rip, 2009; Van Noorden, 2010; de Rijcke et al., 2016; van Leeuwen, 2014; Kaltenbrunner, 2017) coincide en sostener que las y los investigadores no pueden suponerse receptores pasivos, sino que juegan un rol activo en los contextos de evaluación. En efecto, los sistemas de evaluación, en especial los que involucran la asignación de recursos y la promoción o el ascenso en trayectorias individuales, siguiendo a de Rijcke et al. (2016) y Butler (2007), tienden a producir dos corrimientos o traslaciones en el comportamiento de los investigadores en dos sentidos, no necesariamente binarios, que suponen un desplazamiento en los objetivos del propio instrumento de evaluación. En primer lugar, se produce una traslación del objetivo final a fin de obtener una mejor evaluación de desempeño. En ese caso se suele trasladar a la evaluación como objetivo de máxima, es decir: observar si los objetivos fueron cumplidos o alcanzaron los resultados esperados. En segundo lugar, sólo analíticamente escindible de lo anterior, esta traslación de objetivos tiende a reordenar las prácticas en la selección de temas de investigación hacia “zonas seguras” (safe zones) donde se valore intrínsecamente el proceso de investigación y los resultados hayan sido publicables o no se vean limitados por cláusulas de confidencialidad o tiempos extraacadémicos que afecten su medición estandarizada. En cualquier caso, resulta necesario evaluar los casos particulares mediante grillas flexibles y evaluadores expertos y experimentados en investigación orientada. Estos dilemas estuvieron en la motivación que dio origen a la herramienta de política científica denominada PDTS.

Como veremos más adelante, el mayor desafío en la revisión de la evaluación suele ser la débil relevancia de la evaluación de resultados en términos colectivos y de impacto social, y no individuales solamente, y su casi nula consecuencia en términos de reorientación de la investigación (Sanz-Menéndez, 2014). Se trata también de redefinir el papel de la evaluación, su alcance y su potencial en la orientación de la investigación, ya que sus cambios en los parámetros son señales que se emiten y que suelen tener efecto a futuro en la toma de decisiones sobre ellas. En efecto, se ha consolidado en sistema descentralizado, fragmentado y diversificado de evaluación, que no debe perder de vista que la evaluación es un potente instrumento para el moldeamiento del sistema de producción de conocimiento.

Por cierto, resultará también necesaria la consciencia sobre la diferenciación de los instrumentos a utilizar en la evaluación y la posible sobrecarga de evaluación, dada la variada recurrencia en las agencias de financiamiento de los proyectos. Siguiendo a Sanz-Menéndez (2014), el esfuerzo de evaluación debe ser proporcional y proporcionado y tendiente hacia una mayor profesionalización del sistema de gestión y de evaluación de la investigación, en vías de promover efectos de retroalimentación de la evaluación sobre el sistema y sobre las políticas, así como a fortalecer la utilización de la acumulación de conocimiento codificado sobre los procedimientos y criterios a fin de que sean procesadas (y no sólo archivadas) por las instituciones involucradas en el proceso de evaluación (Sanz-Menéndez, 2014).

Desde 2011, las autoridades del Ministerio de Ciencia, Tecnología e Innovación Productiva (MINCyT) de la Nación Argentina priorizaron en su agenda política la modificación de los criterios de evaluación, como un aspecto más del proceso de transformación del sistema de ciencia y tecnología que buscaba aumentar la cantidad de investigación orientada a la solución de problemas sociales y al desarrollo tecnológico que se realiza en el país.

Dentro de la órbita del MINCyT, la tarea estuvo a cargo de la Secretaría de Articulación Científico-Tecnológica (SATC), por entonces en manos de Alejandro Ceccatto, quien a su vez presidía el Consejo Interinstitucional de Ciencia y Tecnología (CICYT). Este último nuclea a los principales organismos públicos que realizan investigación: la Administración Nacional de Laboratorios e Institutos de Salud (ANLIS), el Consejo Interuniversitario Nacional (CIN) por las universidades nacionales, la Comisión Nacional de Actividades Espaciales (CONAE), el Consejo de Investigaciones Científicas y Técnicas (CONICET), la Comisión de Energía Atómica (CNEA), el Consejo de Rectores de Universidades Privadas (CRUP), el Instituto Antártico Argentino, el Instituto Nacional del Agua (INA), el Instituto Nacional de Desarrollo Pesquero (INIDEP), el Instituto Nacional de Tecnología Agropecuaria (INTA), el Instituto Nacional de Tecnología Industrial (INTI), el Ministerio de Defensa, la Comisión de Investigaciones Científicas (CIC) del Gobierno de la Provincia de Buenos Aires, la Secretaría de Políticas Universitarias, incluyendo su Programa de Incentivos, y la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU).

La primera acción tomada por las autoridades fue la organización de un taller de discusión entre todas las instituciones científicas nucleadas en el CICYT. El encuentro, titulado Primer Taller de evaluación del personal científico y tecnológico para una Argentina Innovadora”, tuvo lugar en Buenos Aires en septiembre de 2011 y se centró en la necesidad de revisar mecanismos institucionales que permitieran promover investigaciones orientadas y aplicables más cercanas al desarrollo de tecnologías y la resolución de problemas concretos. El encuentro finalizó con la propuesta de crear una instancia de trabajo que no fuera esporádica, sino que llevara a cabo encuentros regulares sobre la temática. A tal efecto se creó, en enero de 2012, la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico.2. También se diseñó una agenda de trabajo en subcomisiones según tipo de institución de la que participaron las instituciones miembro del mencionado CICYT junto con representantes del Programa de Incentivos de la Secretaría de Políticas Universitarias (SPU) del Ministerio de Educación de la Nación, la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) y la Agencia Nacional de Promoción Científica y Tecnológica (ANPCyT).

Durante las discusiones en dos subcomisiones (Organismos Científico-Tecnológicos —OCT— y Universidades Nacionales y CONICET), se elaboraron documentos con propuestas en torno a la evaluación de investigadores, involucrados en proyectos de investigación orientados.3. Estos documentos funcionaron como antecedente para la creación de los PDTS. En primer lugar, se tomaron como insumo los “Proyectos de investigación orientados institucionales” (PIOI), creados por el CIN, con acuerdo del CRUP, y los “Proyectos de Desarrollo Tecnológico” (PDT), propuestos por CONICET. El resultado de la labor de la Comisión Asesora durante 2012 se evidenció en dos documentos: el “Documento I de la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico del MINCyT: Hacia una redefinición de los criterios de evaluación del personal científico y tecnológico” y el “Documento II de la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico: Precisiones acerca de la definición y los mecanismos de incorporación de los Proyectos de Desarrollo Tecnológico y Social (PDTS) al Banco Nacional de Proyectos del MINCyT” (2012). Estos documentos marcaron la creación de los PDTS y las definiciones necesarias de criterios para clasificar los proyectos —que detallamos abajo— y los siguientes pasos para su implementación.

Uno de los ejes centrales de la discusión fue la necesidad de precisar qué se entiende por investigación orientada y qué por desarrollo tecnológico. La particularidad de los PDTS ha sido el intento por articular mecanismos de evaluación para proyectos que tengan en cuenta ambos criterios explicitados, pero que a la vez incorporen también el uso concreto de los resultados esperados, sin dejar de asumir que son proyectos de investigación y generación de conocimiento original. En este sentido, se diferencian en un primer nivel analítico de proyectos de investigación aplicada, puesto que no solamente se busca el desarrollo de mecanismos y capacidades para la aplicación de un conocimiento previamente generado, sino también la generación de un nuevo producto original que ha de ser adoptado. A su vez, se buscó ofrecer una resolución que incorporara una visión más específica sobre la noción de originalidad y que retomara e incorporara la aplicabilidad del conocimiento como un eje sustantivo.

La noción de desarrollo tecnológico pareciera ser más clara, en especial en lo que refiere a mecanismos ya testeados para su implementación, con mayor o menor grado de éxito. Ahora bien, sin dejar de lado un clima de época en el que la función social de la ciencia o el aporte de la ciencia para el desarrollo social se encuentra cada vez más puesta en discusión (Arocena y Sutz, 2007) y donde, en especial desde los propios campos de estudios sociales de la ciencia y la tecnología y la economía de la innovación, la necesidad de consolidar mecanismos de uso efectivo o utilidad social del conocimiento se ubica en el centro de la escena, se asume al desarrollo social como un objetivo esperable de los propios PDTS. Si bien en los documentos que dan origen a los PDTS se enumeran los objetivos que se pretende conseguir con estos proyectos en materia de resultados e impacto, mayormente se observa que, incluso ante los ejercicios de clausura semántica, los tópicos a abordar son altamente polisémicos y las interpretaciones realizadas pueden resultar restrictivas en algunos casos.

En efecto, a comienzos de 2013, el Consejo de Decanos de Facultades de Ciencias Sociales y Humanas (CODESOC) emitió una declaración para llamar la atención respecto de la implementación de algunas de las definiciones que se establecen en los documentos, en especial en lo que respecta a su implementación para el caso de las ciencias sociales y humanas, llamando la atención sobre la forma en la que la igualación entre disciplinas “duras” y “blandas” —en lo que respecta a diagnósticos de funcionamiento y evaluación— resulta restrictiva, puesto que no se tienen en cuenta las particularidades de las ciencias sociales y humanas y sus modos de producción de conocimiento.4. A su vez, alerta sobre la necesidad de profundizar en la orientación y significación de los objetivos de la política, y enuncia que “el ‘desarrollo tecnológico’ y el ‘desarrollo social’ son dimensiones relacionadas, pero sumamente diferentes, en la medida en que puede haber y ha habido contextos de desarrollo tecnológico sin efectos positivos en el desarrollo social. En ese sentido, la incidencia específica en el proceso de desarrollo social debe ser establecida de manera distintiva” (CODESOC, 2013). En línea con lo anterior, la declaración sostiene que es necesaria una jerarquización de la investigación según la cual consolidar criterios, si lo que se busca es la promoción de ciertos proyectos, según sean investigaciones aplicadas, transferencias, extensiones, investigaciones orientadas al uso o difusión pública de investigación científica.

De acuerdo con lo resuelto por la comisión, las actividades que componen la producción científica y tecnológica de las universidades, centros de investigación y organismos de ciencia y tecnología deben satisfacer cuatro criterios para calificar como PDTS: novedad u originalidad local, relevancia, pertinencia y demanda. Para el análisis de los criterios establecidos y la resolución sobre su incorporación en el Banco Nacional de PDTS (BNPDTS), se conformaron comisiones de acreditación por grandes áreas disciplinarias e integradas por científicos provenientes de distintas instituciones del complejo de ciencia y tecnología. Los criterios resultantes de las discusiones en comisión fueron definidos taxativamente de la siguiente manera en los documentos:

• Demanda: la atención a una necesidad, problema o propósito claramente identificable en el entorno social, económico productivo, político, cultural, ambiental, etc., y pasible de ser descripto cualitativa o cuantitativamente. La existencia de un agente demandante, de un agente adoptante y de un agente financiador que manifiestan explícitamente interés en los resultados posibles del proyecto, aunque ello no implique compromiso en su adopción, constituye la prueba de que los resultados del proyecto preocupan a la sociedad y no solamente a la comunidad de investigación desde un punto de vista teórico de la disciplina.

• Relevancia: concepto estrictamente político (en sentido amplio) que califica a un proyecto de I+D en función de los objetivos o fines a los que tiende y de los objetos a los cuales se aplica. La relevancia puede referir a la adecuación de los objetivos del proyecto a políticas públicas u objetivos estratégicos, como así también vincularse a objetivos de política de sectores de la sociedad civil o a valores más o menos generalizados en la sociedad.

• Pertinencia: la pertinencia considera la estrategia del PDTS en términos de su capacidad para resolver el problema identificado y la adecuación de los resultados esperados al uso concreto en el contexto local de aplicación.

• Novedad u originalidad local: un proyecto de I+D implica, necesariamente, el aporte de nuevos conocimientos y de soluciones tecnológicas. De esta manera, la originalidad o la novedad cognitiva es un rasgo central de la actividad de la ciencia y la tecnología. Sin embargo, esta afirmación debe ser matizada a la luz de las condiciones locales en que se desenvuelve el desarrollo tecnológico. Es necesario redefinir el concepto de novedad u originalidad del conocimiento a un significado acotado a las condiciones locales: se trata, entonces, de entender la cuestión de la originalidad en el sentido de “novedad local”.

La evaluación de PDTS quedó entonces repartida en dos etapas sustantivas: una primera etapa de evaluación realizada por la institución promotora del PDTS (universidades nacionales, organismos científico-tecnológicos, CONICET, etc.) encargada de observar la idoneidad del equipo de investigación y la factibilidad del proyecto, en los términos definidos por el Documento II, y una segunda etapa de acreditación por parte de una comisión ad hoc creada por el propio MINCyT, en la que se acreditaba la categoría de PDTS y se habilitaba al proyecto para formar parte de un BNPDTS.

La primera etapa de evaluación, siguiendo los criterios explicitados en el Documento II, se plasmó en una grilla de evaluación de PDTS por parte de las instituciones promotoras, centrada en los siguientes ejes: i) que hubiera generación de conocimiento (no se admitían trabajos de servicio o extensión); ii) orientación del proyecto y los resultados esperados; iii) factibilidad técnica; iv) capacidad del director y del equipo; y v) adopción de resultados.

Estos criterios fueron tomados por las comisiones ad hoc de cada institución para la evaluación de los proyectos presentados; éstas debían estar conformados por evaluadores de la disciplina, evaluadores idóneos en la temática, evaluadores externos del Banco Nacional de Evaluadores de PDTS, representantes de los demandantes y de los adoptantes. En el marco de cada comisión, según los criterios explicitados, se presentó un orden de mérito con los proyectos recomendados para ingresar al BNPDTS. En efecto, solamente se hicieron dos convocatorias específicas, con financiamiento y fines específicos: una convocatoria piloto a cargo de la Secretaría de Ciencia y Técnica (SECyT) de la Universidad de Buenos Aires (UBA), en la que se financiaron 36 proyectos exclusivos de la propia universidad, y una segunda convocatoria a nivel nacional, en 2014, promovida de forma conjunta por el CIN, el MINCyT y el CONICET, donde se financiaron cerca de 220 PDTS. Cada institución aportó fondos y generó mecanismos particulares para la gestión de sus propios proyectos. En especial la convocatoria del CIN persiguió fines promocionales respecto del nuevo instrumento: no solamente se buscó financiar proyectos, sino dar a conocer los PDTS a la comunidad académica para alentar la participación.

El esfuerzo de la revisión de la evaluación propuesto suponía, al menos inicialmente, un ejercicio de tutelaje de los proyectos —y de los investigadores— que requería acompañar el desarrollo de la investigación durante su recorrido, dada la novedad del instrumento, para a la vez obtener información más precisa respecto de las prácticas que se involucran en el desarrollo de este tipo de proyectos. Si bien la evaluación ex ante del tipo de proyectos es realizada por la institución promotora del proyecto, los PDTS seleccionados deberían ser refrendados por cada universidad o conjunto de universidades o instituciones promotoras. Estas evaluaciones debían también continuarse a lo largo del período de ejecución de los proyectos mediante diversos procedimientos: seguimiento in situ de los trabajos, informes de avance del demandante e informes del director. Este proceso de seguimiento resultó trunco en la práctica, se hicieron las evaluaciones de proyectos de medio tiempo y en algunos casos (según el tipo de convocatoria y la lógica de los desembolsos anuales) y evaluaciones intermedias.

La segunda etapa, de acreditación e incorporación al BNPDTS, quedó bajo la tutela de comisiones disciplinares, siguiendo las cuatro grandes áreas de conocimiento de evaluación de CONICET; su tarea fue revalidar la evaluación realizada por las instituciones promotoras a fin de garantizar que se cumplieran los mandatos de los documentos. En noviembre de 2013, el MINCyT conformó cuatro comisiones de acreditación de PDTS, dependientes de la Secretaría de Articulación Científico-Tecnológica, una por cada gran área de conocimiento: a) ciencias agrarias, de ingenierías y materiales; b) ciencias biológicas y de la salud; c) ciencias exactas y naturales; y d) ciencias sociales y humanidades. Cada comisión contaba con diez integrantes: cuatro representantes de las universidades (dos por el CIN y dos por el CRUP), cuatro representantes de organismos de ciencia y técnica, un representante de la Secretaría de Políticas Universitarias y otro de la Secretaría de Articulación Científico-Tecnológica del MINCyT. La tarea de estas comisiones de acreditación no fue reevaluar al proyecto o poner en cuestión la evaluación previa, sino garantizar que el proyecto contara con todos los requerimientos necesarios para ser efectivamente un PDTS. Esto ocurría en especial porque, dado el ímpetu de la herramienta y el espíritu del BNPDTS, era posible para una institución promotora presentar para acreditación un proyecto que no hubiera sido evaluado por una comisión ad hoc, siguiendo los criterios de los documentos, pero que la institución promotora considerara que podía ser incluido en el BNPDTS.

En la búsqueda de acuerdos para establecer las especificaciones de pautas y mecanismos para incorporar los PDTS al BNPDTS, se volvió central el debate y el reclamo por la acreditación y jerarquización de los proyectos. Por cierto, durante los debates en subcomisiones de la órbita de la Comisión Asesora (ininterrumpidos durante todo el período), se presentó un documento preliminar que reunía los consensos alcanzados respecto del mecanismo de acreditación de PDTS por parte de las universidades. Se propuso convertirlo en un insumo para un tercer documento, o bien para un apartado específico para las universidades.

Durante el primer momento de implementación de la política de PDTS, las presentaciones a proyectos fueron escasas; asimismo, en las reuniones de comisión se ponderaron los debates en relación con complejizar y generar más instancias burocráticas en lugar de propuestas que simplifiquen la participación en la herramienta. En este sentido, desde el CONICET se planteó la implementación de una categorización de los proyectos. Ante esto, Ceccatto consideró necesario que primero se realizara una experiencia de acreditación desde las comisiones: una vez acreditado cierto número de proyectos, se podría pensar en su categorización, ya que esto estaba planteado como un objetivo final. A medida que las comisiones de acreditación recibieron proyectos, sus miembros consideraron la posibilidad de establecer un criterio de jerarquización y se abrió la posibilidad de generar un foro de discusión para que se trataran estos temas.

En los talleres y reuniones de las subcomisiones se explicitó la aspiración a poder diseñar un sistema que clasificara los PDTS en diversas categorías. Ante el reclamo de una falta de criterio común, se propuso avanzar en criterios para la evaluación de PDTS con el objetivo de discutir de manera conjunta pautas de evaluación ex post, genéricas y acordadas para que luego tuvieran la posibilidad de ser implementadas dentro de cada institución para la evaluación de su propio personal. Se acordó en trabajar sobre los criterios para la categorización del PDTS, complementando con los materiales que enviaran el CONICET e INTI, con el objetivo de disparar ideas o indicadores para plantear la evaluación del impacto ex post de los PDTS y delinear categorías. Estos temas no fueron retomados, lo que mostró la imposibilidad de acordar criterios comunes, claros y accesibles para quienes les interesara participar de la herramienta.

Cabe mencionar que, desde los orígenes de la discusión, la labor de la Comisión Asesora reconoció que la categoría PDTS podía ser incorporada a proyectos ya existentes y no necesariamente a proyectos resultantes de convocatorias específicas. En rigor, la labor de las comisiones resultó ser una nueva evaluación en la que no se ponderaba y ordenaba a los proyectos según un orden de mérito, sino que se les atribuía finalmente el derecho de pertenecer al BNPDTS. La existencia de estas comisiones se justificó a partir de la necesidad de unificar criterios y reducir sesgos en las culturas de evaluación de las instituciones promotoras. Algunos de los problemas suscitados aquí fueron que proyectos ya financiados por alguna de las dos convocatorias mencionadas resultaban rechazados por la comisión a la hora de incorporarse al BNPDTS.

La inclusión de la figura de demanda explícita fue uno de los cambios más significativos del instrumento. Incluso cuando eso generara una etapa burocrática adicional, siendo que debían incorporar avales sobre la demanda específica y cartas de compromiso para la aplicación u adopción de resultados, significó reconocer una instancia de diálogo necesaria para este tipo de proyectos con otros actores por fuera del sistema universitario. El proceso de definición de lo que supone una demanda y la creación de figuras específicas con roles y funciones resultó en algunos casos contradictorio por su alcance. Se definieron las figuras de institución demandante, adoptante, financiadora y promotora.6. El objetivo fue tener en cuenta la mayor variedad posible de participantes, reconociendo las diversas culturas en las prácticas de producción de conocimiento de todas las instituciones participantes, y además entender que las demandas por resultados podían estar mediadas por una relación con otra institución, pudiendo ser un organismo de ciencia y tecnología o institución de propósito general.

De este modo, para algunas instituciones como el CONICET o el INTA, la figura de adoptante estaba más bien orientada al sector privado y a una vinculación con empresas del sector; para las universidades nacionales, respondiendo a sus perfiles de vinculación, se referían a espacios del sector público, ya fueran dependencias estatales específicas de ministerios, municipios o instituciones públicas. La figura del demandante quedó definida como la institución que demanda los resultados esperados del proyecto, siendo esta pública. En relación con la figura del adoptante, hubo mucha discusión con respecto a qué se entendía por tal; la postura del CONICET inicialmente fue que hubiera una mayor vinculación con el mercado, aunque aparecieron otras voces. Adicionalmente, la evaluación del proyecto requería, como dijimos, de la participación de los adoptantes en la discusión y la presentación de un informe final sobre el desarrollo del proyecto, el grado de adopción de resultados y el tipo de trabajo realizo con el equipo de investigación.

En lo que respecta a la evaluación de personal, se introdujo un elemento sustantivo: la posibilidad de ser evaluado de manera diferenciada por una comisión ad hoc de evaluación de personal PDTS. Sin embargo, incluso cuando se reconocen en los debates de la Comisión Asesora los múltiples tipos de investigación que se desarrollan en las distintas instituciones, las medidas implementadas parecieran en especial orientarse a atender los requerimientos de un tipo de perfil específico: aquellos investigadores de doble dependencia entre CONICET y OCT o universidades nacionales.

La propuesta de la evaluación diferenciada perdió su especificidad en la masividad de la propuesta: las instituciones de propósito específico poseen mecanismos de evaluación de sus proyectos y su personal (en especial las OCT). En efecto, el desafío se encontraba en alcanzar un acuerdo respecto el modo en que CONICET evalúa a los investigadores que tienen a instituciones tecnológicas como lugar de trabajo. Una modificación en este modo de evaluación podría redundar en una reorientación del tipo de investigación que dicho personal realiza dentro de los organismos de pertenencia, conforme a una mayor articulación respecto de los objetivos institucionales. Como corolario, incluso cuando la presencia de las instituciones en las discusiones de la Comisión Asesora estuvo siempre garantizada, no se realizó un diagnóstico preciso a partir de la opinión de los investigadores a los que se pretendió promover o favorecer.

Siendo que la evaluación del personal siempre quedó a cargo de la institución o instituciones en las que se desempeña, el impacto efectivo del alcance de las propuestas llevadas adelante resultó muy marginal. En rigor, como dijimos, la tarea de evaluación de cada institución continuó siendo regida por los criterios y las culturas de las instituciones y solamente se vio un impulso claro: la incorporación de los criterios discutidos en la creación de la Comisión de Tecnología y Desarrollo Tecnológico y Social, interdisciplinaria, para el caso de CONICET. La nueva comisión, nutrida por la propia comisión histórica de tecnología de CONICET, fue cambiando sus competencias e incorporando y reinterpretando los lineamientos pautados para la evaluación del personal de ciencia y tecnología de CONICET para sus evaluaciones de desempeño y solicitudes de promoción. En cualquier caso, la solicitud de evaluación mediante este nuevo mecanismo debía ser solicitada por el propio investigador.

Una de las áreas de vacancia más evidentes fue en la generación de indicadores e índices nuevos para la evaluación ad hoc propuesta. En la práctica, para los escasos investigadores que optaron por la evaluación PDTS, la evaluación no fue definida previamente ni hecha pública y los criterios fueron construidos por la propia comisión de evaluación. En el ejercicio de operacionalización de los intentos de modificación de la evaluación, al menos en lo que respecta al personal, los criterios volvieron a quedar en manos de pares. Otro resultado de la implementación de los PDTS fue el muy alto grado de burocratización en el que devino. Puesto que la evaluación y acreditación del proyecto eran dos etapas diferenciadas, requerían la presentación de documentos, avales y firmas específicas. Inicialmente la presentación de un PDTS era más compleja que la presentación a proyectos disciplinares, dada la complejidad en la traducción de las tareas de investigación a los requerimientos de los formularios; sin embargo, a esto se sumó una segunda etapa de presentación burocrática para la acreditación en el BNPDTS.

Todo lo anterior, sumado a que los beneficios de la evaluación diferenciada sólo ofrecían un incentivo para cierto perfil de investigador, redundó en una participación muy baja por parte de la comunidad académica, no sólo en la presentación de proyectos al BNDPTS, sino que incluso fue aún menor la proporción de investigadores que solicitaron ser evaluados por el mecanismo diferenciado PDTS.

La conformación de un banco de proyectos se planteó desde el comienzo de las comisiones como parte muy importante en cuando a la difusión de la tarea científica: el BNPDTS debía constituirse en un futuro en un catálogo de la tecnología desarrollada en el país que permitiera visualizar gráficamente lo realizado en cada año.

Durante el transcurso de las distintas comisiones, el debate en torno al BNPDTS —qué proyectos podrían incorporarse, en qué consiste, qué datos se incluyen y qué es información reservada— aparecieron como temas recurrentes. Una discusión que nos ayuda a ilustrar la cuestión: se presentó la incorporación al banco de un proyecto que pertenecía al MINCyT, el programa de articulación para la mejora de la ciencia. El argumento que se presentó para la incorporación fue reconocer y dar a conocer el trabajo de un tema estratégico como la articulación entre las escuelas medias y la difusión de la ciencia. El debate y la resolución quedaron sin respuesta, ya que se ponía en duda que fuera un proyecto de generación de conocimientos y no sólo una iniciativa política. Esta situación dio cuenta de la diferencia de criterio a la hora de pensar en el por qué y para qué del BNPDTS y la difusión de la ciencia.

Por otro lado, se propuso promover actividades sistemáticas para clarificar en qué consistía el BNPDTS, cómo debía ser la presentación para pasar el proceso de admisión sobre la dificultad de entender claramente los conceptos incluidos en el segundo documento, entre otras cuestiones. Se buscó llevar adelante la iniciativa de diferentes maneras, pero ninguna con éxito, desde la presencia de Ceccatto para realizar reuniones regionales e invitar a las autoridades de los diferentes organismos a que fomenten las convocatorias. Las reuniones no se llevaron adelante por cambios de autoridades, se propusieron otras alternativas, como que cada representante del CIN tomara el trabajo de generar un taller de articulación con las universidades privadas los CCTS del CONICET y demás organismos científicos y tecnológicos presentes en cada región donde se difundieran todos los temas relativos a los PDTS.

Otro punto de debate fue la falta de difusión del conocimiento producido en los instrumentos propuestos. Plasmado en dificultades en relación con lo que se muestra y quienes acceden al sistema informático del BNPDTS. Fue anunciado el desarrollo de un sistema informático para la búsqueda de PDTS, advirtiendo así la necesidad de incluir más campos visibles en su base. Por el momento, esta sólo muestra el título, las instituciones ejecutoras, el director y el área de conocimiento. Por esta razón, se cree necesario analizar qué tipo de información podrá incluirse y determinar su grado de confidencialidad. Aunque deberían figurar los integrantes del grupo con su respectiva dedicación y el resumen del proyecto que se plasma en el formulario, la información actualmente volcada en el BNPDTS es escasa y no fue modificada.

La inclusión en el BNPDTS de proyectos, dado que la jerarquización ideada quedó trunca, ofreció como incentivo la posibilidad de que el personal fuera evaluado por la Comisión de Tecnología y Desarrollo Tecnológico y Social y la posibilidad de solicitar una beca posdoctoral PDTS en el ámbito del proyecto, por su tiempo de ejecución. En la práctica, tanto la evaluación diferenciada como la solicitud de la beca afrontaron diversas dificultades. La evaluación diferenciada, al ser opcional, permite ponderar de modo parcial la participación de directores de PDTS que son investigadores de CONICET y saber si el instrumento resultó efectivo en la promoción de los cambios esperados. Las becas adjudicadas en algunas oportunidades no fueron simultáneamente destinadas a la participación en el PDTS por diferencias en los tiempos de ejecución, tanto por los tiempos impuestos por el demandante para el inicio de la ejecución del proyecto como por los retrasos en los pagos de las cuotas comprometidas por el CIN, quedando claro que los investigadores continuaron eligiendo los mecanismos tradicionales a los que estaban habituados.

Podemos afirmar que la propuesta del primer diseño de los PDTS se orientó principalmente a académicos con perfiles “mixtos”, que procuran “mantenerse” en el sistema y no ser penalizados si hacen investigación orientada que no resulta en publicaciones.

Cabe destacar que la creación de los PDTS no deriva de estudios de factibilidad ni de una inspiración basada en iniciativas foráneas. Esto explica en parte su carácter innovador y original y simultáneamente también explica algunos de los principales obstáculos que no se previeron correctamente a partir de una amplia indagación de experiencias previas o internacionales.

Las decisiones resultaron del acuerdo entre las cúpulas institucionales sin consulta a potenciales destinatarios e implicados, principalmente sostenidos por un clima político de época que promovió la discusión respecto del rol de la ciencia y sus aportes a la sociedad. Cabe destacar otras experiencias de consulta relatados en trabajos anteriores (Naidorf, Vasen y Alonso, 2016) en las que la búsqueda de acuerdo entre actores del complejo científico tecnológico derivó en un pantano de inacción y en otras oportunidades la puja de sectores enriqueció la propia norma.7 8

La opción de no asociarlo directamente a un financiamiento pudo haber sido una medida prudencial por lo innovadora de la propuesta, su premeditada acta de defunción o causa de su enfermedad crónica. La experiencia de los programas interdisciplinares de la Universidad de Buenos Aires (UBA), que nacieron y se desarrollaron sin un financiamiento que garantizase su funcionamiento, pudo haber inspirado la decisión. Sí se pensaron como medida complementaria a otros financiamientos como FONARSEC.9. Sin embargo, instituciones como la UBA o el CIN hicieron convocatorias específicas con financiamiento. También las universidades permitieron asociar al programa de incentivos de la Secretaría de Políticas Universitarias un PDTS.

Por su parte, la figura del actor externo fue ampliándose progresivamente por iniciativa de las universidades. Tal es así que fueron las universidades las que propusieron que en lugar de denominarse Proyectos de Desarrollo Tecnológico también se agregaría la categoría “social” para no asociarlo sólo a vinculación universidad-empresa.

La propuesta era ampliar más allá del sector empresarial con el que se reconocen otras experiencias de asociatividad (becas con empresas y proyectos cofinanciados con universidades privadas; también el programa que rige desde 2005 y se denomina “investigadores en empresas” —Naidorf, 2005— da cuenta de ello). Sin embargo, que los actores extraacadémicos fueran organizaciones sociales o sectores de la administración pública, se consideraba, ampliaría el campo de intervención de los PDTS. De hecho, los primeros PDTS del área de ciencias sociales y humanidades fueron los vinculados a dependencias estatales.

La importancia de incluir a actores externos en el diseño, implementación y evaluación de proyectos es nuestra preocupación desde larga data (Vasen, 2013; Llomovatte, Naidorf y Pereira, 2009) y se había comenzado a reflejar desde lo normativo en la Ley de Educación Superior (LES), a partir del denominado “consejo social” para el caso de las universidades, pero aún hoy presenta dificultades su efectiva implementación.

El área de vacancia más sustantiva fue la evaluación ex post de PDTS finalizados, en especial aquellos financiados por la convocatoria 2014 CIN-MINCyT-CONICET. El proceso de seguimiento y la evaluación ad hoc, una vez finalizados los proyectos, significaba no solamente poner en funcionamiento un nuevo mecanismo de evaluación de proyectos y personal, sino una clara etapa de aprendizaje para engordar el diagnóstico sobre la cuestión de la evaluación de la investigación orientada. En este sentido, las instituciones promotoras de los proyectos finalizados realizaron sus evaluaciones, más bien regresando a sus prácticas habituales, del orden de la evaluación disciplinar, incluso cuando tomaran en consideración algunas de las propuestas originales, como el informe del adoptante.

En cualquier caso, desde la SACT se continuó con el desarrollo del BNPDTS; se consolidó una plataforma web de presentación de proyectos y un Banco Nacional de Evaluadores PDTS, que continúa funcionando. Es objetivo de la nueva conducción realizar un balance analítico del alcance de los PDTS y su implementación, para lo que se prevé la realización de una consulta a directores y evaluadores de proyectos, a fin de sistematizar un diagnóstico del avance de los proyectos.

Aunque no es el objetivo principal de este artículo, resulta relevante adelantar algunas conclusiones preliminares que explican el devenir de esta herramienta de política científica que data de 2013 hasta la actualidad.

En primer lugar, vale afirmar que no hubo margen para avanzar hacia un tercer documento que pautara más claramente criterios de evaluación. Asimismo, se agregaron sucesivas capas de burocratización. Se instaló la figura de las comisiones acreditadoras (cuya función entre evaluación y acreditación no ha sido zanjada) que, divididas en grandes disciplinas e incluyendo expertos y representantes de diversos organismos, dictaminaban sobre la inclusión o no al banco. Por su parte, las convocatorias con financiamiento (como la convocada por el CIN en 2014) tuvieron su propio mecanismo de evaluación, no siempre coincidente con el de las comisiones acreditadoras. Esto ha llevado a dilemas tales como que proyectos financiados y en ejecución no recibían la acreditación correspondiente para integrar el BNPDTS.

La incongruencia puede ser resultado de lo novedoso de una política que debe decantar en su devenir. Esto lleva a la pregunta sobre la necesidad de los pasos burocráticos, si son excesivos o no, si los tiempos son congruentes con los rápidos cambios que aquejaron a los proyectos —principalmente los coyunturales— y si las respuestas de la evaluación han sido tendientes a la mejora o sólo formales.

Otra cuestión interesante ha sido que para las y los investigadores de CONICET la evaluación diferenciada es optativa desde 2014. Al respecto en la primera convocatoria, sólo un 30% de las y los investigadores que dirigían PDTS optaron por ser evaluados por la comisión especial que evalúa proyectos con criterio diferencial.10Los funcionarios políticos parecen haber infravalorado el papel de las inercias institucionales y las culturas disciplinares.11 Era difícil que, con los pocos beneficios ofrecidos, los investigadores se volcaran decididamente a este nuevo sistema de producción y evaluación. El fracaso de estos modos alternativos de evaluación académica, que estaban en el centro del proyecto original de creación de los PDTS, deja a la iniciativa sin su componente más novedoso. Lo que queda de los PDTS sin el aspecto ligado a la evaluación es un instrumento de política científica de carácter asociativo, con pocas diferencias sustantivas con los que integran la larga lista que lo antecedió.

Las medidas burocráticas para “garantizar” el interés de los adoptantes, basadas en cartas y firmas antes que en compromisos económicos, no fueron suficientes para que estos mantuvieran su compromiso con los proyectos. Esto puede relativizarse en el análisis de casos particulares donde la coyuntura (cierre de programas y proyectos, cambios en las medidas económicas y en los funcionarios a cargo de las contrapartes) afectaron considerablemente su desarrollo. Queda la pregunta: si además de una carta se les hubiera pedido que aportaran una contraparte de fondos para el proyecto, ¿se hubiera podido lograr un mayor compromiso? Queda, también, la respuesta en cada caso que hemos analizado.

Es posible encontrar críticos y algunos entusiastas en relación con los logros de los PDTS. Queremos destacar nuevamente la multiplicidad de temas relevante que se ha puesto de manifiesto tanto en las discusiones que dieron origen a los PDTS como el estudio de los casos y su devenir desde su creación en 2013 y sus antecedentes desde 2011. Tanto la búsqueda de orientar proyectos de investigación al desarrollo social y a la solución de problemas específicos justifica nuestro interés en comprender esta herramienta de política científica y analizarla en profundidad. En un sistema tradicional que ha sido marcado por una política de no orientación de la ciencia y que ha sufrido embates e interrupciones que dificultaron la continuidad de las políticas en un complejo científico-tecnológico que ha sido errante, este intento de ensayo resulta relevante.

El lugar de los actores extrauniversitarios deberá ir definiéndose en diálogo con ellos y a partir de la evaluación profunda de los casos llevados a cabo en esta primera etapa. Si la evaluación de los proyectos a posteriori es la tradicional —es decir: con poca profundidad en el análisis cualitativo, escasa participación de los actores académicos y extraacadémicos involucrados, ausencia de visitas in situ para comprender los casos y ajustar la normativa se perderá una gran oportunidad. Sabemos de reorientaciones de criterios, de reevaluación de formularios, aunque el marco sea el peor posible para una política científica que se debate entre la agonía y el manotazo de ahogado.