Introducción

Múltiples experiencias muestran que las finalidades explícitas o intencionales de los investigadores no coinciden con los “efectos” que de hecho tiene su investigación.

Fuente: Pablo Latapí (1994)

En un artículo publicado en 1977, compilado años después, en 1994, en un libro titulado La investigación educativa, Pablo Latapí discutía algunas de las dificultades que, aún hoy, 41 años después, enfrenta la investigación educativa para influir en la toma de decisiones de política. Entonces, Latapí señalaba que

la investigación debe concebirse como un proceso sistemático de generación de conocimientos, que tiene muchos y complejos efectos [por lo que los] cambios que produzca dependen no sólo de la elección de temas y enfoques y de los objetivos específicos de los proyectos… sino además de quién sea la persona que investigue, quién llegue a conocer los resultados y quién los aproveche… (Latapí, 1994, pp. 196-197).

A Latapí le preocupaba que la investigación se viera como un “producto” hecho para “consumidores”, lo cual denotaba una concepción muy estrecha. La realidad, decía, era muy distinta, y bastaba con ver que mientras

muchos estudios de calidad inobjetable no produjeron el efecto que pretendían… otras investigaciones produjeron efectos no pretendidos o que sirvieron simplemente para legitimar una decisión tomada por mera racionalidad política (Latapí, 1994, p. 197).

Sobre este mismo tema, en entrevista realizada por Aurora Loyo y Cristian Solórzano (2013), hace alrededor de cinco años, Carlos Muñoz Izquierdo refería que “la relación de la investigación educativa y la política no era un proceso directo”, por lo que la probabilidad de que los resultados de las investigaciones influyeran en la generación, difusión y revisión de las políticas públicas dependía de la conjunción de, al menos, tres procesos: uno epistemológico, uno político y uno administrativo. El primer proceso, al que denominó “epistemológico”, es consecuencia de la validación de los resultados de las investigaciones, mediante la circulación de dichos resultados en diversos medios especializados. El proceso “político”, por su parte, está encaminado a lograr que los valores o creencias subyacentes en una propuesta sean compartidos por los tomadores de decisiones (y los investigadores, claro está). Finalmente, el tercer proceso, “administrativo”, refiere a la generación de dinámicas pedagógicas, administrativas y tecnológicas que son necesarias para que la propuesta pueda ser llevada a la práctica.

Tomando como punto de partida las dificultades señaladas por Latapí y los procesos referidos por Muñoz Izquierdo, en este artículo reflexiono sobre la relación que existe entre la investigación educativa y la generación de políticas. En esta reflexión también “dialogo” con tres académicos, a quienes entrevisté para conocer su experiencia y opiniones varias sobre la investigación que realizan: qué tanto ésta ha servido para orientar decisiones de política, y, entre otras cosas, cuáles son los retos que enfrentan los investigadores educativos en su búsqueda por incidir en la toma de decisiones. Dos de ellos, Carlos Rafael Rodríguez Solera y Diego Juárez Bolaños, son académicos del Instituto de Investigaciones para el Desarrollo de la Educación (INIDE), y Rosa Guadalupe Mendoza Zuany es investigadora de la Universidad Veracruzana.

El artículo se estructura en seis apartados. En el primero pongo sobre la mesa una pregunta inicial, que pareciera obvia, pero no lo es: ¿a todos los investigadores educativos nos interesa influir en las políticas? Enseguida, en un segundo apartado, discuto por qué, como lo señalan Latapí y Muñoz Izquierdo, la información que se produce desde la investigación educativa no se constituye, de manera automática, en información para la toma de decisiones, o no, al menos de manera directa. Para profundizar en la difícil relación entre investigación y toma de decisiones, recojo varias de las reflexiones de Jaime Moreles Vázquez, quien en su momento analizó dicha relación a partir de la revisión de varios estudios y evaluaciones en el nivel de educación superior y de una serie de entrevistas con expertos. A continuación, en el apartado tres, y a partir de la tipología de usos de la investigación que presentara Carol Weiss en 1979, y el trabajo que en materia de argumentación de políticas ha desarrollado Giandomenico Majone (1997), señalo que es vital pensar en la dimensión política de la investigación (las evaluaciones incluidas), en tanto su uso se potencia cuando ésta, convertida en evidencia, sirve para argumentar decisiones.

Posteriormente, en el apartado cuatro, discuto, brevemente, hasta dónde el Instituto Nacional para la Evaluación de la Educación (INEE), con los trabajos que ha realizado en materia de evaluación de políticas y directrices, puede fungir como un intermediario para los usos de la evaluación en tanto se encarga de “acercar” la investigación a la toma de decisiones. Esto último, a partir de mi experiencia como responsable del área de Directrices, de marzo de 2014 a enero de 2017, y de la de mis tres colegas entrevistados, quienes han trabajado para esta institución como evaluadores de distintas intervenciones y políticas, como un insumo previo a la elaboración de las directrices del INEE. Finalmente, en un último apartado, reflexiono sobre lo que podemos hacer o estamos dispuestos a “ceder” quienes realizamos investigación educativa, en aras de contribuir, con nuestro trabajo, a “iluminar” la toma de decisiones.

¿A todos los investigadores educativos nos interesa influir en las políticas?

Como ya referí, Pablo Latapí decía que hacer investigación en el campo educativo era una actividad compleja, no sólo debido a que “no son claros sus fines ni resulta evidente su utilidad social”, sino porque “no hay consenso en sus prioridades” (1994, p. 195). Con relación a este último tema, Don Pablo señalaba que existen al menos dos concepciones cuando se piensa en el “éxito” de la investigación, las cuales, decía, son difíciles de conciliar:

Si se nos preguntara a los investigadores de la educación qué pretendemos con nuestro trabajo, es probable que la mayoría de las respuestas pusieran de relieve dos objetivos de la investigación: por una parte, el deseo de contribuir al crecimiento de los conocimientos sobre los fenómenos de la educación… por otra, influir en la toma de decisiones sobre el desarrollo de la educación (Latapí Sarre, 1994, p. 196).

Si bien es cierto que muchos de los investigadores aspiramos a generar conocimiento útil que, a su vez, se torne en un insumo valioso para la toma de decisiones, también lo es, como argumento más adelante, que ambas pretensiones, justo como lo refiriera Latapí, no son siempre conciliables. No sólo porque en este deseo, no vamos, necesariamente, todos juntos, sino porque tampoco tenemos un acuerdo en cuanto al grado y escala en el que queremos o podemos influir.

En relación con la pregunta de si a la gran mayoría, a algunos o a pocos de los investigadores les preocupa el tema de la incidencia, uno de mis entrevistados, Carlos Rodríguez Solera, opina que hay básicamente tres posiciones. En una primera posición se podría ubicar a “los investigadores preocupados por temas abstractos y ajenos a los problemas terrenales que afectan a todos. A estos estudiosos obviamente no les interesa tener ninguna incidencia”. En una segunda posición estarían “los investigadores que buscan incidir en la toma de decisiones mediante la participación en los debates públicos”. En opinión de Carlos Rodríguez, estos últimos:

... asumen y defienden una posición política y “se suben al ring” de la confrontación de ideas. Por lo general, se convierten en lo que Gramsci llamaba “intelectuales orgánicos”, pues son adoptados como voceros no oficiales, por grupos que tienen una posición similar y que ven a estos académicos como personas cultas e ilustradas que los comprenden y los defienden. Los que tienen más éxito se convierten en personajes famosos, en rock stars intelectuales, la mayoría, sin embargo, no alcanza dicho estatus, porque sus posiciones no conectan del todo con sus auditorios [Entrevista, 24 de agosto de 2018].

Aunque Rodríguez señaló que no tiene elementos para cuantificar cuántos investigadores tienen una posición u otra, también habló de un tercer grupo, muy pequeño, de quienes buscan incidir a partir de los resultados de sus investigaciones. Estos últimos

se abstienen de opinar de temas que no han investigado y buscan incidir en la toma de decisiones a partir de la autoridad intelectual que les da la rigurosidad de sus trabajos y el reconocimiento de la comunidad académica.

Por su parte, otro de mis entrevistados, Diego Juárez Bolaños, también coincidió en que no es cierto que a todos les importe que su trabajo se traduzca en decisiones de política. A partir de su experiencia como coordinador de la Red de Investigación en Educación Rural, que agrupa a alrededor de 80 investigadores de todo el país, señaló que para algunos de los miembros de la Red, aunque ciertamente los menos, la chamba del investigador termina en la generación de conocimientos, por lo que no están de acuerdo en que se les evalúe por su capacidad de incidencia, como se estipula, por ejemplo, en la normatividad del Consejo Nacional de Ciencia y Tecnología (Conacyt).

Respecto al nivel o niveles en los que podemos incidir, Juárez comentó que hay distintas formas de hacerlo: se puede incidir en el nivel “micro”, es decir, en algunas escuelas muy focalizadas, o en el nivel macro; aunque, claro, esto último, refirió, es mucho más complejo. Sobre este último, Diego Juárez apuntó que cuando se trabaja con instituciones grandes, que cuentan con recursos, se puede aspirar a incidir a un nivel más macro. Sin embargo, dijo, la incidencia no sólo dependerá de que la institución cobije el proyecto de investigación, sino también de otros factores. Importan, entre otras cosas, los recursos con que cuenta la propia institución para dar seguimiento al proyecto –instrumentarlo o monitorearlo–, y la capacidad de ésta para lograr acuerdos o vincularse con otras agencias de gobierno.

Finalmente, al pensar en los niveles en que podemos y queremos incidir, mi tercera entrevistada, Rosa Guadalupe Mendoza Zuany señaló que

[la incidencia] no es una preocupación tan generalizada si se trata de incidencia a gran escala… al menos entre quienes yo conozco… sin embargo, puedo decir que la incidencia a nivel micro sí es algo más presente entre los objetivos de los investigadores [Entrevista, 23 de agosto de 2018].

Ahora bien, en el supuesto de que al investigador educativo sí le interese influir en política, su investigación tendrá que “vencer” una serie de obstáculos o cubrir una serie de requisitos. Y es que no basta que la investigación educativa genere información valiosa para que ésta se considere en la toma de decisiones. En el siguiente apartado retomo algunos debates sobre lo que se ha dicho respecto a la difícil, nunca lineal, relación entre investigación y toma decisiones.

Qué sabemos sobre la relación entre investigación y toma de decisiones

Jaime Moreles Vázquez (2009 )¹ opina que la compleja relación entre investigación y su utilización se ha estudiado poco, y en su lugar ha surgido más bien “un discurso de tipo normativo (el énfasis es mío) que a veces simplifica el fenómeno, promoviendo la utilización de la investigación en la toma de decisiones” (Moreles, 2009, p. 686), además de que se han generado expectativas “un tanto infundadas respecto de la investigación, al grado de asumir su uso como el principal criterio para su promoción y evaluación” (Moreles, 2009, p. 686). Con todo, “antes que promover el uso”, es preciso investigar los elementos que lo favorecen u obstruyen (Moreles, 2009, p. 688)

En sintonía con lo señalado por Latapí y por Muñoz Izquierdo (Loyo y Solórzano, 2013), particularmente en los que denominan procesos “epistemológico” y “político”, Jaime Moreles señala que en el déficit del uso de las investigaciones intervienen cuestiones relacionadas con los grupos de usuarios potenciales, el tipo de conocimiento, el tema en cuestión, las modalidades de difusión y la naturaleza del contexto. Luego de realizar su análisis, para el caso de las investigaciones sobre evaluación educativa en el nivel superior, Moreles refiere que, en general, se habla de cuatro factores que ayudan a explicar la utilización de la investigación y que estos se relacionan con las características: a) de la investigación y de los investigadores que la llevan a cabo; b) de las formas de difusión del conocimiento; c) de los usuarios potenciales, y d) del contexto en que la investigación pretende incidir.

En relación con el primer factor, señala que aunque representa uno de los indicadores más relevantes, la calidad de la investigación –medida por los alcances del estudio, la fiabilidad de las fuentes y la solidez teórica y metodológica– no es garantía de que el conocimiento sea tomado en cuenta en algunos sectores de usuarios, pues existen otros elementos, que a veces son de mayor peso, como por ejemplo, las negociaciones políticas, los nexos informales e indirectos –de los investigadores con los tomadores de decisiones–. Además de que, algunos temas, por su naturaleza, generan más presión social y atraen incluso la atención internacional.

Respecto al segundo factor, y que se vincula también con el proceso epistemológico que señala Muñoz Izquierdo, Jaime Moreles indica que importa mucho cómo –o por medio de qué vías– se difunden los resultados de las investigaciones. Así, las posibilidades de influencia de la investigación se ven afectadas en función de si los resultados se difunden por medios académicos habituales –como libros, ponencias y artículos en revistas especializadas– o si lo hacen por otros medios como foros, mesas de trabajo con los actores implicados, o bien si se entregan a un usuario específico. Moreles refiere que en la difusión (exitosa) también pueden intervenir las redes temáticas de activistas.

En el punto de la difusión, se debe señalar también que la no utilización de las investigaciones se puede relacionar con la imposibilidad de comunicar claramente los resultados, ya que en ocasiones se utiliza un lenguaje muy técnico, que ha resultado árido o incomprensible para un público no experto. Para resolver esto, Teresa Bracho (2016) sugiere que, por ejemplo, las evaluaciones de logro de aprendizajes que desarrolla el INEE se acompañen de informes detallados, para que éstos puedan ser utilizados no sólo por las autoridades educativas, sino por los maestros y directivos, al ser ellos quienes pueden llevar a cabo acciones para mejorar la calidad de la educación que se imparte en el aula.

Sobre el tercer factor, relacionado con las características de los usuarios potenciales, Moreles refiere que la actitud y receptividad de los usuarios, así como la experiencia y conocimiento que tengan de los temas, también influyen en el uso posible de las investigaciones. Para el autor, es claro que no existe una transferencia directa entre la investigación y sus usuarios potenciales, sino que más bien se trata de una “relación con intermediaciones diversas”. Al respecto, y en sintonía también con lo que señala Muñoz Izquierdo sobre la importancia de considerar el proceso epistemológico, es preciso anotar que muchas veces los funcionarios y tomadores de decisión desestiman conclusiones que contravienen sus propias creencias sobre el problema en cuestión. Por ello, como lo señala Weiss, quien ha escrito numerosos artículos y libros sobre las dificultades para utilizar la evaluación, la investigación tiene más posibilidades de afectar decisiones cuando el investigador acepta o comparte los valores, suposiciones y objetivos del decisor. En este mismo sentido, al pensar en los usos de las evaluaciones educativas, Bracho (2016) considera que más que idear una estrategia de difusión de las evaluaciones, una vez que éstas se han concluido, la evaluación misma debe considerar, desde su diseño, no sólo sus posibles usos, sino también sus usuarios potenciales.

Finalmente, con relación al cuarto factor, o de las características del contexto, Moreles indica que el uso de las investigaciones también dependerá del momento político y de la existencia de recursos, dependencias y los canales adecuados para fomentar su utilización. Sobre este punto, en la entrevista que hicieran Loyo y Solórzano a Carlos Muñoz Izquierdo, este último señalaba que para que la investigación educativa se tornara más fructífera se necesitaban, entre otras cosas,² crear e integrar canales formales e informales para que la información esté al alcance de actores clave, como universidades, sindicatos, legisladores, empresarios, organizaciones gubernamentales, así como fomentar la creación de redes de investigación.

En toda esta reflexión, Moreles también concluye que, en la investigación social, y en la investigación educativa en particular, muchos de los hallazgos de naturaleza conceptual se han ido filtrando en el debate público, induciendo a algunos sectores a considerarlos en sus prácticas y orientaciones generales de políticas y agendas. En su opinión, la “utilización conceptual” de la investigación implica una reorientación del debate público, la inclusión de alternativas y argumentos en la agenda política, y la evaluación y modificación de iniciativas y programas.

A manera de síntesis, podríamos decir que no es suficiente que la investigación produzca información valiosa o de calidad, para que ésta se utilice en la toma de decisiones. Tendrá que encontrar también, entre muchas otras cosas, los canales adecuados para influir, al menos “conceptualmente”, en la toma de decisiones. En el siguiente apartado se resumen los principales componentes de seis “modelos de utilización” de la investigación para las decisiones de política pública, referidos ya hace casi cuatro décadas por Carol Weiss (1979). Enseguida, y a propósito de dos de estos modelos, discuto la idea de Giandomenico Majone (1997), de que la información no necesariamente se constituye en evidencia y ésta no se concreta siempre en políticas.

La información no se constituye, necesariamente, en evidencia

En un artículo publicado en 1979, Carol Weiss (1979) intentaba abonar al entendimiento del concepto de “utilización de la investigación” para las decisiones de política pública, a partir de seis modelos distintos. Así, un primer modelo, al que llamó “Modelo impulsado por el conocimiento”, y que se deriva de las ciencias naturales, esperaría que una investigación pueda ser relevante para la política pública, por el simple hecho de generar conocimiento. Por lo tanto, la investigación se realizaría con el fin de definir y probar los hallazgos de ésta en la práctica, y, luego, si todo sale bien, se buscaría utilizar los resultados.

En un segundo modelo, o “Modelo de solución de problemas”, habría, en principio, una utilización más directa de los resultados de un estudio específico, en tanto que la investigación se realiza a partir de que se identifica un problema y se encuentra que existen vacíos en la información o en el entendimiento del problema. Con todo, Weiss señala que podría darse el caso de que la investigación antecediera al problema, por lo que, para que los hacedores de política recurran a la información existente, se requeriría mejorar los canales de comunicación –para que ésta, efectivamente, llegue a la persona indicada.

Weiss también habló de un tercer modelo, al que llamó “Modelo interactivo”, en el cual la investigación podría entrar a la arena de las decisiones de política como parte de una búsqueda “interactiva” de conocimiento; la investigación, sin embargo, sería una de otras tantas fuentes a revisar por los encargados del diseño de políticas. La idea más importante de este modelo es que las decisiones no pueden esperar hasta que se finalice la investigación.

En un cuarto modelo, denominado “Político”, lo que ocurre es que la investigación se utiliza más como una forma de respaldar ideas, dar soporte o neutralizar a los oponentes políticos, tomando como referencia la “evidencia” desarrollada por los investigadores. Por otro lado, en el quinto modelo de uso, llamado “Táctico”, los tomadores de decisiones no hacen alusión a los hallazgos de los estudios, pero sí refieren que éstos se están desarrollando. En realidad, lo que ocurre, dice Weiss, es que las agencias de gobierno utilizan la investigación para protegerse de la crítica, arguyendo que sus decisiones-acciones se basaron en las recomendaciones de la investigación.

Finalmente, Weiss habla de un sexto modelo, o “Modelo ilustrativo”, a partir del cual, retomando lo que ya señalaba Moreles, habría un uso conceptual, más que instrumental de las evaluaciones. Es decir, en este modelo, son las perspectivas y conceptos teóricos los que permean el proceso de formulación de políticas, mas no así algún estudio en específico.

A partir de la exposición de estos posibles usos o modelos de uso de la investigación, Carol Weiss invitaba a los científicos sociales a prestar más atención a las demandas de los sistemas de formulación de políticas (a ser mucho más realistas) y a lo que podrían hacer para incrementar tanto el uso de sus investigaciones en las decisiones de política, como para mejorar la contribución de dichas investigaciones al conocimiento de la política.

Ahora bien, ¿cuáles son las implicaciones de estos modelos, particularmente el “político” y el “táctico? Si miramos bien sus premisas, lo que podemos concluir es que ninguno de éstos utiliza, en realidad, como tal, la información que se deriva de las evaluaciones y más bien, se vale de éstas para argumentar o incluso “legitimar” sus decisiones. En este sentido, me importa discutir una última idea, señalada por Giandomenico Majone (1997), para quien la información no se constituye, de manera automática, en evidencia: ésta, en realidad, se “teje” a partir de argumentos.

Por ello, al pensar en la tarea del investigador o el evaluador que quiere influir en las políticas, Majone nos diría que éste requiere algo más que el mero examen de datos o un ejercicio de modelación. Para Majone, el buen analista también proveerá de normas para la argumentación y de una estructura intelectual para el discurso público. En este sentido, parecería que los análisis que busquen influir en la toma de decisiones tendrían que ver menos con las técnicas formales de solución de problemas que con el proceso de argumentación. En su opinión, los argumentos de los analistas (investigadores y evaluadores) pueden ser más o menos técnicos, más o menos refinados, pero el punto más importante es que deben persuadir para que sean tomados en serio en los foros de deliberación pública.

En el siguiente apartado discuto brevemente hasta dónde el “nuevo” INEE podría servir como un intermediario entre la investigación educativa y la generación de políticas, al contar con la autoridad jurídica para emitir directrices de política que, la propia Ley del INEE señala, deben estar basadas en la investigación y evaluación educativa.

Explorando el caso del INEE: ¿un intermediario entre la investigación educativa y la generación de políticas?

Con los cambios introducidos a partir de la Reforma educativa de 2013, que dieron autonomía constitucional al INEE, se potenció también la capacidad de este organismo para vincular de manera más efectiva la investigación educativa con la generación de políticas, en tanto se le encomendó, como una de sus tareas fundamentales, la emisión de directrices o recomendaciones de política. Estas últimas, como se señala en “Modelo para la construcción y emisión de directrices para la mejora educativa” (INEE, 2015), toman como insumo para su elaboración tanto las conclusiones y resultados de diversas evaluaciones educativas –las que realiza el propio INEE y las que realizan otras instituciones académicas, varias por encargos del Instituto–, así como otros estudios e investigaciones educativas que aporten información valiosa para caracterizar el problema educativo que se busca estudiar. De acuerdo con lo señalado en dicho Modelo:

El proceso de formulación de las directrices implica analizar investigaciones y evaluaciones existentes en la materia para fundamentar la definición del problema y sus rutas de mejora. Estos productos de investigación son múltiples, existen para cada uno de los problemas educativos identificados a lo largo del tiempo y, en algunos casos, incluso exponen recomendaciones. [Pero] el tránsito de una recomendación a una directriz no es inmediato, requiere analizar detalladamente los argumentos expuestos por un conjunto de investigaciones y/o evaluaciones (INEE, 2015, p. 25).

Si bien no es propósito de este artículo exponer todo el trabajo que, en materia de directrices, ha realizado el INEE, hay que decir que al momento de la elaboración de este artículo el Instituto ya ha emitido un total de cinco conjuntos de directrices temáticas, relacionadas con la mejora de la formación inicial de docentes de educación básica; la atención educativa de niñas, niños y adolescentes de familias de jornaleros agrícolas migrantes; así como la de indígenas; la búsqueda de la retención escolar en la educación media superior, y mejora del desarrollo profesional de los docentes.

Para la elaboración de las directrices no sólo se ha considerado como un insumo importante el trabajo e investigación que se ha desarrollado desde la academia –incluyendo los estados del arte sobre el tema de que se trate–, sino la contratación de especialistas, la mayoría de ellos investigadores educativos con experiencia amplia en el análisis de las distintas temáticas y problemáticas sobre las cuales el Instituto ha decidido emitir directrices. A estos últimos, se les ha pedido encabezar el trabajo académico de las evaluaciones de políticas y programas educativos que se han realizado, con una metodología desarrollada por el INEE.

Como responsable del área de directrices, en su periodo de arranque, y del área de Evaluación de políticas y programas educativos, tuve la oportunidad de trabajar con muchos investigadores y, en su momento, constatar el entusiasmo que les causó el que el INEE se acercara a ellos para tomar sus opiniones sobre los aspectos y dimensiones que debían evaluarse. Al inicio del nuevo periodo del INEE como organismo autónomo, lo que ocurrió fue una suerte de evaluación mixta, en donde el Instituto colocaba el eje o columna vertebral de las evaluaciones, con una ruta de trabajo definida en cuanto a la metodología para realizar la evaluación, y los académicos aportaban su expertise en el tema.

Sin embargo, en este acercamiento con los investigadores, muy enriquecedor y necesario, se hizo evidente la tensión que existe entre el mundo académico y el mundo “real”. Algunos de los investigadores a quienes se consultó esperaban que tanto las evaluaciones como las propuestas directrices fueran más cercanas a sus inquietudes, lo cual, por obvias razones, no era posible. Éstas tenían que mediar entre lo deseable y lo posible, buscar ser factibles, pero sin renunciar a la búsqueda de la mejora.

Para explorar el caso específico del INEE, si éste puede verse como un intermediario que potencia el uso de las investigaciones que contrata, regreso al diálogo con mis tres colegas entrevistados, por ser ellos los responsables académicos de tres de las evaluaciones de políticas realizadas por el INEE, dos de las cuales antecedieron la emisión de las “Directrices para mejorar la atención educativa de las niñas, niños y adolescentes hijos de familia de jornaleros agrícolas migrantes”, y de las “Directrices para mejorar la atención educativa de las niñas, niños y adolescentes indígenas”. Mientras que Carlos Rodríguez y Rosa Guadalupe Mendoza coordinaron las evaluaciones de las políticas educativas para la atención de niños, hijos de familias de jornaleros agrícolas migrantes y de niños indígenas, respectivamente, Diego Juárez Bolaños recién concluyó la evaluación de la política para la atención educativa en escuelas multigrado, temática sobre la que el INEE también ha señalado que emitirá directrices.

A la pregunta expresa de si trabajar con y para el INEE les había permitido influir más directamente en la toma de decisiones, mis colegas entrevistados respondieron que, en general, sí.

Definitivamente sí. De no haber trabajado para el INEE no hubiera tenido la oportunidad de hacer recomendaciones concretas y basadas en una evaluación seria y comprometida. Si bien es cierto que no he podido influir directamente en la toma de decisiones, pude dar un paso al transformar un ejercicio de evaluación (que para mí es investigativo) en recomendaciones puntuales que representan la traducción de mis hallazgos [Entrevista con Rosa Guadalupe Mendoza Zuany, 23 de agosto de 2018].

Los académicos entrevistados señalaron que esto es así, porque el INEE no sólo tiene recursos, en opinión de Diego Juárez para “contratar estudios y evaluaciones y para dar seguimiento a las acciones que emprende”, sino porque cuenta con la “autoridad legal” para que sus acciones y recomendaciones se atiendan. En un sentido similar, Carlos Rodríguez señaló que:

La experiencia de trabajar para el INEE es una gran oportunidad para influir en la toma de decisiones. Los investigadores sólo aspiramos a tener autoridad moral o intelectual, para opinar sobre las acciones a tomar para que mejore la educación. Los funcionarios del INEE y de la SEP son los que cuentan con la autoridad legal para impulsar dichas acciones y son, por tanto, los únicos que, en la práctica, las pueden implementar [Entrevista del 24 de agosto de 2018]

Aunque el Instituto ha avanzado en la configuración de una evaluación de carácter más comprehensivo, donde se incluye, entre otras cosas, la valoración de varias intervenciones y programas estratégicos –en las llamadas evaluaciones de políticas y programas– y la revisión un conjunto amplio de investigaciones educativas, lo cierto es que sus directrices tampoco son infalibles. Al respecto, los mismos investigadores reconocieron que el INEE enfrenta limitaciones para influir en la toma de decisiones. De acuerdo con Carlos Rodríguez Solera, “las directrices son un buen ejercicio, pero su capacidad para orientar la toma de decisiones es limitada en tanto que éstas no son vinculantes y sus orientaciones son muy generales”. Rodríguez señaló que hay dos tipos de planificación:

La imperativa, que consiste en la definición de políticas de acatamiento obligatorio; y, la indicativa, en la cual se hacen recomendaciones cuyo acatamiento queda a criterio de las respectivas autoridades. Las directrices del INEE son de tipo indicativo, por lo que no hay ninguna garantía ni incentivo para que las autoridades las cumplan [Entrevista del 24 de agosto de 2018].

Respecto al asunto de que las directrices son orientaciones muy generales, Carlos Rodríguez comentó que “hay un amplio margen de interpretación para las autoridades locales sobre las medidas concretas que deben tomarse para su cumplimiento”.

Cuando las orientaciones son tan generales, puede darse un fenómeno semejante al de la anomia. De acuerdo con Durkheim, en las sociedades modernas se presenta una ausencia de normas o anomia, cuando los actores no tienen orientaciones claras, precisas y específicas sobre cómo deben orientar su conducta. De modo similar, directrices muy generales pueden hacer que los actores compartan los objetivos (por ejemplo, mejorar la calidad de la educación) pero que no tengan claro cómo hacerlo. Las directrices son buenas para establecer qué hacer, pero no cómo hacerlo [Entrevista del 24 de agosto de 2018; los énfasis son del entrevistado].

Como se aprecia, el INEE, tanto como los propios investigadores educativos en lo individual, también enfrenta el reto –con todo y el respaldo legal que le confiere el artículo tercero constitucional y la Ley General de Educación– de informar más y mejor la toma de decisiones de las autoridades educativas. El INEE, de hecho, no puede obligar a las autoridades a atender sus recomendaciones. Su apuesta, por tanto, es “iluminar” u orientar mejor la toma decisiones. Esto último se relaciona, sin lugar a dudas, con los retos que enfrenta la propia disciplina de la evaluación, como lo señalo a continuación.

Aunque en los primeros años de la disciplina de la evaluación se instaló una concepción instrumental sobre su uso, para que ésta sirviera para informar y orientar la toma de decisiones, el tiempo ha demostrado que no hay una relación lineal entre la evaluación y la mejora. Como ya lo ha señalado la literatura especializada (Weiss, 1979, 1998), no es suficiente contar con evaluaciones técnicamente rigurosas para que éstas se utilicen. A este respecto, Tiana (1997) opina que tener altas expectativas sobre la capacidad de la evaluación para transformar las agendas de políticas es, de hecho, “una suposición ingenua”.

Cualquier persona que se haya enfrentado con la experiencia directa de tener que tomar decisiones en un campo cualquiera de actuación sabe que los elementos sobre los que se apoya ese proceso son muy variados y de diverso orden. Por una parte, se suele contar con información directa o indirecta, procedente de diversas fuentes y con mayor o menor pertinencia y fiabilidad en cada caso. Por otra parte, se han de tener en cuenta ciertos condicionamientos, de carácter normativo, institucional o personal, que determinan el margen existente de maniobra. Se ha de tomar, asimismo, en consideración el contexto de relaciones interpersonales, anticipando las reacciones que puedan producirse. Por último, se han de establecer negociaciones multilaterales con el fin de lograr que todos los actores implicados se sientan copartícipes de la decisión adoptada. En suma, se trata de una tarea delicada en la que el conocimiento y la información juegan un papel relevante, pero también la capacidad de negociación y de movilización de voluntades, el sentido de la oportunidad e incluso la intuición (Tiana, 1997, p. 6).

Luego de mirar las dificultades que ha encontrado la evaluación para informar de manera directa la toma de decisiones, se comenzó a hablar de su función sobre todo conceptual e “iluminativa”. Es decir, la evaluación no sólo tiene o puede tener un uso directo o instrumental, de carácter inmediato, para apoyar la toma de decisiones, sino un uso indirecto, de más largo plazo, que, entre otras cosas, y siguiendo a Tiana (1997), puede ayudar a sensibilizar a la comunidad sobre la existencia de determinados problemas y asuntos de interés general; poner de manifiesto la ineficacia de ciertas prácticas o enfoques y, por ejemplo, arrojar luz sobre el impacto real de las políticas, aportando elementos para una discusión abierta e informada (véase Tiana, 1997).

Ahora bien, si la propia evaluación, enfocada, en principio, a encontrar soluciones a problemas específicos, enfrenta estos límites, ¿qué podemos esperar entonces de la investigación ? ¿Podríamos decir que ésta enfrenta aún mayores dificultades para tener un uso “instrumental”? Sobre las directrices, ¿será que éstas recogen las preocupaciones de la comunidad de investigadores? ¿De algunos, de pocos, de cuántos? Éstas son preguntas sobre las que vale la pena reflexionar.

A propósito de ello, a continuación, ejemplifico lo difícil que es compartir visiones, no sólo entre la comunidad académica y los tomadores de decisiones, sino incluso entre la misma comunidad académica. En un evento académico realizado en marzo de 2017 en el INIDE, en el que participamos varios investigadores, el titular de la Unidad de Normatividad y Política Educativa presentó el documento de “Directrices para mejorar la atención educativa de las Niñas, Niños y Adolescentes Indígenas”. Luego de resumir el propósito y fundamentación de las directrices, así como las principales propuestas que éstas incluyen, se abrió un espacio de diálogo que tenía como objetivo primordial debatir las propuestas emitidas dos meses antes. Sin embargo, más que discutir los alcances y retos de las directrices, lo que hubo fue un cuestionamiento profundo a la propuesta general presentada por el INEE: varios de los académicos invitados señalaron que dichas directrices no recogían su voz ni la opinión de la comunidad de investigadores educativos –ello, pese a que su elaboración, y soy testigo, incluyó un amplio proceso de consulta entre varios miembros de la comunidad académica.

Si bien no pretendo ahondar en el debate que se abrió ese día, me parece importante hacer una reflexión sobre el trabajo de intermediación que, en principio, parecería estar realizando el INEE para vincular, de manera más efectiva, los resultados y propuestas de la investigación educativa con sus propuestas de directrices –dirigidas a las autoridades educativas–, lo cual, a la luz de lo señalado, claramente no es sencillo realizar, y, nos muestra lo difícil que puede resultar el proceso de incidencia para los investigadores, tanto en lo colectivo –porque no es fácil ponerse de acuerdo y llegar a consensos sobre el piso mínimo para comenzar el debate– como, sin duda, en lo individual.

Entonces, ¿qué podemos hacer o qué estamos dispuestos a ceder los investigadores en aras de contribuir a la toma de decisiones?

Ya sabemos que no existe un “consumidor” directo de nuestros “productos”. La evidencia también apunta a que no existe una transferencia directa entre la investigación y sus usuarios potenciales, y que más bien se trata de una relación con intermediaciones diversas, en las que poco a poco, y a veces, de manera muy lenta o casi imperceptible, se van filtrando los resultados de ésta .

En este último apartado reflexiono sobre los retos que enfrentamos en la comunidad de investigadores educativos para que nuestro trabajo tenga más probabilidades de incidir y sobre algunas propuestas, en concreto, para enfrentar dichos retos. Se trata de una reflexión a “cuatro voces”, a partir de mi trabajo como evaluadora e investigadora, y a partir de las conversaciones varias que he tenido con muchos colegas evaluadores e investigadores, particularmente, los tres académicos que entrevisté para la elaboración de este artículo.

En relación con los retos, Diego Juárez, académico de tiempo completo de la Universidad Iberoamericana y especialista en el tema “Educación rural”, señaló que, particularmente, en lo que toca a su tema de investigación, hay muy pocos académicos trabajándolo, y que, en general, hay un fuerte problema de centralismo, ya que es más probable que te llamen a participar en una investigación o evaluación si radicas en la Ciudad de México, lo cual también está asociado, por lo general, con el desconocimiento de las realidades de los estados.

Mi experiencia como exconsejera del Consejo de Evaluación del Desarrollo Social del Distrito Federal (Evalúa DF), entre 2012 y 2014, y más recientemente, como responsable del área de Directrices, también me permite concluir que, en efecto, ni la evaluación, ni la investigación, tanto en materia educativa como en otros temas, tienen una relación directa o lineal con su uso para la toma de decisiones (véase Martínez Bordón, 2017 y 2018). Considero que esto se relaciona tanto con nuestra incapacidad para entablar una comunicación más fluida con los tomadores de decisiones, sin por ello renunciar a nuestra opinión crítica, como con el poco trabajo que realizamos en redes o alianzas para empujar que los temas que nos preocupa tengan una mayor probabilidad de incluirse en la agenda de discusión. Así, a propósito de la pregunta de qué podemos o estaríamos dispuestos a “ceder” para contribuir a la toma de decisiones, destaco, en primer lugar, lo señalado por Carlos Rodríguez Solera, para quien la posibilidad de que los resultados de la investigación educativa influyan en la toma de decisiones informadas por parte de las autoridades, depende de varios factores, incluida la propia disposición de los investigadores:

En sus trabajos los investigadores deben abordar temas relacionados con la “agenda de los problemas públicamente importantes”, o sea con problemas sociales o educativos que preocupan a la sociedad. Cuando los investigadores se ocupan de temas totalmente desvinculados con dichas preocupaciones, los resultados de sus trabajos tienen muy pocas posibilidades de incidir en la toma de decisiones [Entrevista con Carlos Rodríguez Solera, 24 de agosto de 2019].

Ahora bien, estas posibilidades, de acuerdo con Rodríguez, también dependen de otras cosas, como, por ejemplo, la disposición de las autoridades, la disposición de recursos y, claro, la comunicación entre investigadores y autoridades. Sobre el primer punto, Carlos Rodríguez refirió que “los tomadores de decisiones deben estar genuinamente interesados en los resultados de las investigaciones, deben apreciar el valor del conocimiento generado y estar dispuestos a escuchar y, si es el caso, acatar sus recomendaciones”. En cuanto al tema de recursos, comentó que “las investigaciones no se hacen sólo con la buena voluntad de los académicos. Cuestan dinero y para que se hagan de manera efectiva se les deben canalizar recursos”.

En sintonía con lo señalado por Diego Juárez, respecto a que la capacidad de influir se incrementa cuando un investigador o una red de investigadores trabaja con instituciones de gobierno, Rodríguez dijo que “muchos de los fondos o recursos para la investigación provienen de instituciones públicas o privadas interesadas en generar cierto tipo de conocimiento y en aportar los recursos adecuados para ello”, por lo que, “al igual que ocurría con los artistas en el Renacimiento, los investigadores contemporáneos requieren de ‘mecenas ilustrados’ que aprecien su trabajo y estén dispuestos a pagar por él”. Por su parte, Rosa Guadalupe Mendoza Zuany señaló que los investigadores deben:

... saber traducir sus hallazgos; entender y profundizar en la lógica de toma de decisiones orientada por límites políticos, presupuestales e ideológicos; poder dialogar con tomadores de decisiones con apertura y capacidad de escucha; investigar lo que es relevante socialmente, y definir proyectos de investigación a partir de necesidades detectadas en el proceso de política [Entrevista del 23 de agosto de 2018].

Esta lógica de trabajo, con tintes más pragmáticos, que se advierte en el discurso de mis tres entrevistados, seguramente se explica o se ve influida por su experiencia laboral, ya que no sólo han trabajado para instituciones como el INEE, sino para otras instituciones de gobierno. Los tres han buscado influir, sino “instrumentalmente”, al menos “conceptualmente” en la agenda pública de discusión, para que las problemáticas que estudian y las propuestas de mejora que ellos avizoran tengan mayores posibilidades de influir. Con todo, es claro que ni con el INEE, ni con ninguna otra institución de gobierno, el proceso de incidencia, como ellos mismos lo reconocen, es ágil ni directo, de ahí que sea también muy importante mejorar el proceso de comunicación entre investigadores y autoridades. Así, una de las recomendaciones de Carlos Rodríguez es que exista una comunicación fluida y constante entre investigadores y autoridades:

… los investigadores con disposición a generar conocimiento pertinente deben tener una comunicación constante con las autoridades interesadas en escucharlos; debe existir una retroalimentación constante entre ambos actores. No se trata sólo de que los tomadores de decisiones conozcan los resultados de las investigaciones, también es necesario que los investigadores sepan cuáles son las necesidades de generación de conocimiento que surgen de los procesos de formulación e implementación de políticas [Entrevista del 24 de agosto de 2018].

Hay que resaltar que las propuestas que hacemos desde la comunidad de investigadores educativos no son fáciles de conciliar, en buena medida, porque el conocimiento y nuestras visiones de lo que está bien, y de lo que se debe y lo que se puede hacer, están influidos por la gran diversidad que hay en nuestra formación, nuestros lentes conceptuales y marcos teóricos e interpretaciones, que resultan, sin lugar a dudas, muy disímiles. A este respecto, vale mucho la pena reflexionar sobre la “credibilidad” de nuestros hallazgos y, por tanto, su aceptabilidad, entre la propia comunidad de investigadores, ya no se diga fuera:

El principal reto de los investigadores educativos es que los resultados de sus investigaciones tengan credibilidad. A diferencia de lo que ocurre en otros ámbitos de la ciencia, en los temas sociales y educativos las conclusiones y propuestas de los investigadores entran como una opinión más, entre multitud de posiciones de actores que pugnan por imponer sus posiciones, a partir de intereses ideológicos, laborales o económicos. En las ciencias biológicas nadie consideraría los resultados de una prueba de ADN como la opinión de un investigador, son vistos como producto de un procedimiento científico, preciso y confiable, cuyos resultados son incuestionables y tienen incluso validez legal. En el ámbito educativo las investigaciones no tienen el mismo carácter y, cuando carecen de rigurosidad, tienden a reforzar la idea de que no son producto de la ciencia, sino de posiciones generalmente políticas o ideológicas de sus autores, con lo que tienen muy poca posibilidad de incidir en la toma de decisiones. La separación entre el político y el científico, a la que llamaba Weber, sigue teniendo una gran vigencia [Entrevista del 24 de agosto de 2018; el énfasis es del entrevistado].

También será importante, siguiendo a Carlos Rodríguez, tener “autoridad” y “honestidad intelectual”:

Los intelectuales que llegan a tener alguna influencia en la toma de decisiones, son los que se ganan, con el tiempo, una posición de autoridad intelectual. Tener autoridad es diferente a ostentar un cargo. Hay estudiosos que pueden tener una gran autoridad, sin desempeñar una posición de mando. Los investigadores que pueden incidir son aquellos cuya voz se escucha y se toman en serio sus posiciones. El poder de experto se alcanza gracias a la solidez de los argumentos y a la rigurosidad de las investigaciones, así como a la honestidad intelectual de los investigadores. Por supuesto, de nada sirve hacer buenos trabajos si no se dan a conocer, por ello, la difusión también es fundamental. Ésos son los únicos factores que controlamos, los otros (el interés de los tomadores de decisiones, y la disponibilidad de financiamiento) no dependen de nosotros [Entrevista del 24 de agosto de 2018].

Con todo, sabemos que la comunidad de académicos no es, obviamente, homogénea y no compartimos, tampoco, o no del todo, el mismo fin. A unos nos importa “incidir” en políticas, a un nivel macro, aunque tengamos que sacrificar algunas cosas, como, por ejemplo, la definición exacta de las rutas o soluciones posibles. Para otros, en cambio, aunque el tema de la incidencia en políticas les llama, lo consideran algo difícil de lograr, por lo que, es posible, como lo señala Diego Juárez, que se busquen otras formas de incidencia en espacios más reducidos y acotados, como por ejemplo, algunas escuelas. A estas variadas agendas y visiones, debemos sumar la de los posibles interlocutores, con los que queremos hablar, cuyas visiones, ideas, marcos conceptuales e intereses, los llevan por otro lugar.

Por ello, las oportunidades de influir, al menos “conceptualmente” en la agenda pública de discusión serán mayores en la medida en que nuestro trabajo también encuentre eco entre otros expertos e investigadores, que no necesariamente compartan todos nuestros valores y marcos conceptuales, pero con quienes al menos tengamos la oportunidad de discutir y encontrar algunos puntos de acuerdo, para, a partir de ahí, colocar propuestas y soluciones en el debate. De ahí la importancia, como señala Diego Juárez, de formar redes, de no trabajar de manera aislada.

Consideraciones finales

Sólo me resta señalar que lo que apuntó hace casi cuatro décadas Don Pablo sigue siendo vigente: no existe una fórmula que garantice que la investigación educativa se traduzca en políticas. Y no existe por muchas razones de distinta índole, incluidas las señaladas por él respecto a los fines que perseguimos con nuestras investigaciones. A los investigadores se nos escapa, a veces, que la toma de decisiones opera con otras reglas y que las decisiones, en materia de política, no se basan tanto en la información, sino en la calidad del argumento y en su capacidad para convencer de que se ha tomado una decisión correcta. Ante esto, los investigadores podemos hacer “oídos sordos” o aceptar el reto de trabajar con el otro, cediendo en nuestro deseo de imponer nuestra visión.

Con todo, no se trata de “ceder” en nuestra autonomía y valores, o de estar dispuestos a “ser utilizados” para “maquilar” evaluaciones y estudios que no representan nuestras preocupaciones, propuestas y perspectivas. Se trata, quizá, de dialogar más “con el otro”, incluido el investigador que no comparte nuestro marco conceptual y metodológico. Se trata también de escuchar un poco al otro, de tratar de entender la lógica política y, a veces cortoplacista, con la que operan los tomadores de decisiones. Si después de todo, decidimos no trabajar con funcionarios, entonces será más urgente asociarnos en redes, para, a partir de ello, incrementar nuestra capacidad para “hacer ruido” y “obligar” a la autoridad a escucharnos y a considerar los resultados y propuestas que deriven de nuestras investigaciones.

Si queremos cambiar un poco el déficit que existe entre la investigación y la generación de políticas no es buena idea poner nuestra fe en que las soluciones vendrán de arriba y que nuestra investigación será escuchada en algún momento. Habrá que trabajar mucho, muy intensamente, y de ser posible juntos, varios, para reflexionar conjuntamente sobre lo que podemos hacer, tanto para trabajar estratégicamente e influir en la toma de decisiones, como para propiciar, y, si se necesita, exigir más espacios de discusión, donde las voces de académicos y de muchos otros grupos con menor capacidad de presión puedan colocar sus inquietudes y sus propuestas de solución.

Referencias bibliográficas

Flores-Crespo, P. (2013). El Enfoque de la Política Basado en Evidencia. Análisis de su utilidad para la Educación en México. Revista Mexicana de Investigación Educativa, 18(56), 265-290.

Flores-Crespo, P. (2011). Análisis de política educativa. Un nuevo impulso. Revista Mexicana de Investigación Educativa, 16(50), 687-698.

Bracho, T. (2016). Usos efectivos para la mejora: ¿cómo hacemos para que esto ocurra? Gaceta de la Política Nacional de Evaluación Educativa en México, 2(4), 38-41.

INEE (2015). Modelo para la construcción y emisión de directrices para la mejora educativa. México: INEE. Recuperado de http://www.inee.edu.mx/images/stories/2015/directrices/ruta.pdf

Latapí, P. (1994). La investigación educativa en México. México: Fondo de Cultura Económica.

Latapí, P. (2008). Andante con brío: Memoria de mis interacciones con los secretarios de Educación (1963-2000). México: Fondo de Cultura Económica.

Latapí, P. (2009). Finale prestissimo. Pensamientos, vivencias y testimonios. México: Fondo de Cultura Económica.

Loyo, A. y Solórzano, C. (2013). Entrevista con Carlos Muñoz Izquierdo. La influencia de los resultados de investigación en la toma de decisiones de política educativa. Revista Mexicana de Investigación Educativa, 18(58), 969-987.

Majone, G. (1997). Evidencia, argumentación y persuasión en la formulación de políticas. México: Fondo de Cultura Económica.

Martínez Bordón, A. (2018). Propuestas locales en respuesta a las directrices que emitió el INEE para mejorar la atención educativa de los hijos de jornaleros agrícolas migrantes. En C. R. Rodríguez Solera y T. Rojas. (Coords.), Migración interna y derechos de la infancia en México (pp. 123-151). México: Universidad Iberoamericana.

Martínez Bordón, A. (2017). Las directrices del INEE: ¿Una oportunidad para la mejora educativa? Blog Educativo. Nexos. Recuperado de https://educacion.nexos.com.mx/?p=459

Martínez Bordón, A. (2016). Las directrices del INEE: construyendo puentes entre la evaluación, su uso y la mejora educativa. Gaceta de la Política Nacional de Evaluación Educativa en México, 56-61.

Mendieta, G. M. (2015). La evaluación de políticas educativas. Gaceta de la Política Nacional de Evaluación Educativa en México, 48-51.

Moreles, J. (2009). Uso de la investigación social y educativa. Recomendaciones para la agenda de investigación. Perfiles Educativos, XXXI(124), 93-106.

Reimers, F. y McGinn, N. (2000). Diálogo informado. El uso de la investigación para conformar la política educativa. México: Centro de Estudios Educativos.

Slavin, R. (2008). Evidence-based reform in education: What will it take? European Educational Research Journal, 7(1), 124-128.

Weiss, C. H. (1998). Have We Learned Anything New About the Use of Evaluation? American Journal of Evaluation, 1, 21-33.

Weiss, C. H. (1979). The many meanings of research utilization. Public Administration Review, 426-431.

Notas