Introducción

El problema que atiende esta investigación consiste en determinar la manera en que el método compuesto por las técnicas de análisis coste efectividad –ACE– y análisis coste beneficio –ACB– (Casado y Tarrach, 2015) contribuye a la evaluación del impacto de los modelos educacionales -–ME– empleados en una universidad privada –UP–, con el fin de aportar información suficiente a quienes son responsables de la toma de decisiones orientada a la continuidad, o no, de ambos o de alguno de los modelos.

De ahí que el objetivo fue realizar una evaluación de dos ME llamados Edugestión y EduHux, utilizados en la formación de investigadores en el nivel de doctorado, que operan al mismo tiempo en una UP. Partimos de la pregunta “¿De qué manera el método, compuesto por las técnicas de ACE y ACB evalúa la continuidad de los ME para la formación de investigadores en el nivel de doctorado, utilizados en una UP?”.

Consideramos que el método compuesto por las técnicas ACE y ACB, al evaluar los ME para la formación de investigadores en el nivel de doctorado (utilizados por la UP), proporciona información suficiente para las y los tomadores de decisión que tienen la responsabilidad para decidir qué modelo mantener en operación, a partir de un criterio fundamental como la creación de valor que genera cada modelo, es decir, cuál de los ME logra una mayor efectividad al formar el perfil de egreso en los y las estudiantes.

Es importante señalar que ninguno de ambos ME contaban con evaluaciones, ni al implementarse ni en su desarrollo, no habían sido evaluados y, en consecuencia, no se había recabado la percepción de las y los actores educativos a través de instrumentos adecuados para tal fin, ni se había guardado información de manera sistemática, por lo cual la información utilizada en este estudio proviene exclusivamente de la base de datos que debe tener por fuerza legal el área de administración escolar. Si bien en un principio no se contaba con información histórica para evaluar la continuidad de ambos ME, lo cual de suyo representa una grave omisión y al mismo tiempo una limitante para la evaluación curricular, el método aquí propuesto es capaz de trabajar con los datos de administración escolar desde una perspectiva cuantitativa y centrada en la idea de que la formación del perfil de egreso, si bien no es el único criterio, sí lo consideramos el de mayor pertinencia ética y académica.

Es probable que otras universidades enfrenten una situación similar en función de querer evaluar su ME y no contar con la información cualitativa y cuantitativa necesaria, sin embargo es muy probable que sí tengan los registros propios de administración escolar, con lo cual este ejercicio servirá a manera de ejemplo práctico para la evaluación de continuidad de su propio ME, pero con las limitaciones de información ya comentadas. Cabe mencionar que actualmente no existe una política, programa o proyecto institucional en la universidad donde se realizó el estudio que respalde la evaluación de estos modelos; la iniciativa de evaluación surge como parte de una actividad de investigación impulsada por los autores del artículo.

La importancia de este trabajo consiste en la adaptación del método utilizado en la evaluación de políticas públicas: ACE y ACB, en la evaluación de ME para la formación en investigación. La aportación de esta investigación es ofrecer un método de evaluación del impacto, que aporte información de orden cuantitativo, para tomar decisiones sobre la dirección y administración del ME. En este sentido, se contribuye a la discusión en evaluación curricular, debido a que la mayoría de las propuestas son de orden cualitativo (Carmona, 2013; De Miguel, 1997; Fernández-Rio et al., 2018; Marca et al., 2022; Martínez-Gómez et al., 2025).

El tipo de investigaciones que tienen por objetivo la evaluación de ME utilizan tanto métodos cuantitativos como cualitativos, pero existe una marcada tendencia hacia estudios descriptivos, explicativos y de diseño no experimental, que recopilan sus datos a partir de entrevistas con las y los actores educativos (Martínez-Gómez et al., 2025). Cabe mencionar que la actividad sobre evaluar un ME requiere una visión integral (Stufflebeam y Shinkfield, 1987) para capturar su complejidad y tomar decisiones, en beneficio de alcanzar los objetivos del proyecto educativo (Bausela, 2003).

Entre los resultados enunciados en esta área de estudio encontramos la caracterización del ME, diagnósticos de sus áreas de trabajo, conocimiento sobre el funcionamiento del modelo a partir de la percepción de los actores, análisis de la pertinencia e identificación de oportunidades para mejora (Cely-Salazar y Quiñones-Urquijo, 2022; Mora, 2004).

En este sentido, distintas investigaciones (Cely-Salazar y Quiñones-Urquijo, 2022; Marca et al., 2022; Rojas et al., 2024) concluyen que los ME evaluados se encuentran desfasados entre sus objetivos y las exigencias del contexto social donde operan; en otros casos son inadecuados para enfrentar los desafíos de su tiempo, como pueden ser los nuevos esquemas de comunicación, el uso y aplicación de la tecnología, la promoción de la autonomía, el trabajo colaborativo, el pensamiento crítico; en definitiva, existe una brecha inherente entre el diseño del ME y su gestión en la realidad social, de ahí la necesidad de evaluar un ME.

Los ME son productos curriculares (Cely-Salazar y Quiñones-Urquijo, 2022; Martínez-Mediano, 2016) elaborados por un grupo de personas, quienes poseen una racionalidad acotada (Simon, 1947), que condiciona tanto la construcción como la operación del modelo. Por un lado, dicho proceso experimenta la complejidad (Morin, 2010) al momento de incluir en su análisis al contexto, los actores, sus relaciones, así como el tiempo en que sucede el fenómeno. Por otro lado, la incertidumbre genera un número amplio de posibles escenarios en la aplicación del modelo educativo, ante lo cual existen consecuencias, a manera de brechas y/o limitaciones que ninguno de quienes diseñaron el modelo lograron visualizar debido a su racionalidad acotada, porque la información para elaborar el modelo es limitada, debido a que como seres humanos no tenemos la capacidad de acceder a toda la información que se genera de manera constante, así como el hecho de estar limitados para realizar un análisis de las consecuencias de los escenarios que se generan con la toma de decisiones sobre aquello que elegimos.

Luego entonces, la construcción y operación de un ME presentará situaciones no previstas al entrar en contacto con la realidad social donde interactúe, porque es producto del trabajo de seres humanos, con racionalidad acotada. En consecuencia, la evaluación de un modelo resulta necesaria (Mora, 2004) porque en su operación, debido a la complejidad en la cual se desarrollará, se creará una brecha entre lo planteado en su diseño respecto de los resultados alcanzados en la realidad social; por lo tanto, la evaluación es un medio para tomar decisiones sobre la dirección (Mintzberg, 1991) y administración del ME.

En la Figura 1 se presenta el proceso de formación en investigación desde la perspectiva de la teoría de sistemas (Bertalanffy, 1976). Este proceso es la manera de conceptualizar la forma en que opera el ME en la universidad.

Figura 1
Proceso de formación en investigación
Fuente: Elaboración propia.

La Figura 1 muestra en la entrada a las y los estudiantes en tanto su perfil de ingreso. El proceso es el modelo educativo, en el cual se encuentra el plan y programa de estudio, los campos formativos en este caso son tres: transmisión del conocimiento, generación del conocimiento y divulgación del conocimiento. Estos campos dan origen y organizan los aprendizajes clave y las asignaturas correspondientes. La salida es el perfil de egreso, en este se contemplan las competencias laborales de las y los estudiantes.

Consideramos que el método compuesto por las técnicas ACE y ACB, al evaluar los ME en la formación de investigadores a nivel de doctorado, ofrece información suficiente para tomar decisiones sobre qué modelo conviene mantener en operación (dar continuidad), con base en el valor que cada uno aporta en la construcción del perfil de egreso de los y las estudiantes. No obstante, dada la complejidad inherente a los programas de formación doctoral, se reconoce que los enfoques puramente cuantitativos, si bien resultan útiles para evaluar el impacto y la relación costo-beneficio para una toma de decisión sobre la continuidad, no logran captar dimensiones esenciales del proceso educativo, como las percepciones de personas estudiantes, docentes, coordinadores, empleadores, entre otras.

Por lo tanto, siempre que sea posible hacer una evaluación del ME desde un enfoque mixto y cubrir el mayor número de aristas y dimensiones para una visión lo más completa, esto será pertinente y de gran apoyo para la toma de decisión por parte de las y los responsables. Sin embargo, sabemos que en ocasiones no se tienen las condiciones, tiempo ni espacio para realizar un enfoque mixto con procedimientos integrales pero resulta indispensable la evaluación de la continuidad del ME, pues para esos casos proponemos este método con sus técnicas con un enfoque cuantitativo que utiliza datos generados en el área de administración escolar y centra su evaluación en la efectividad para formar el perfil de egreso en las y los estudiantes.

Metodología

La presente investigación parte del ámbito de la evaluación curricular, propiamente en una evaluación interna de los procesos. Para su desarrollo se adaptó el método que utiliza las técnicas ACE y ACB en la evaluación de políticas públicas.

El ACE sugiere evaluar la efectividad, en tanto los resultados de una intervención, utilizando medidas que reflejen de manera precisa los objetivos que se quiere lograr, adaptándose a las circunstancias particulares para obtener una medición adecuada. El ACB considera el concepto de valor realizando sus comparaciones, vía la monetización, considerando tanto los costes como los resultados (a los que denomina “beneficios”) (Casado y Tarrach 2015).

El ACE y el ACB son técnicas que no deben considerarse alternativas contrapuestas sino complementarias, ya que en general permiten responder a preguntas de naturaleza diferente. Así, para la mayoría de los planificadores del ámbito educativo el ACE resulta un instrumento adecuado en una buena parte de los casos, ya que las decisiones de asignación tienen que ver con otorgar más o menos recursos a programas que pretenden conseguir un mismo objetivo (Casado y Anna, 2015) o, en el caso de esta investigación, decidir qué ME debe seguir en operación.

En la Figura 2 se presentan los pasos que se siguen en las técnicas ACE y ACB.

Figura 2
Pasos de las técnicas coste-efectividad y coste-beneficio
Fuente: Casado y Tarrach, 2015.

Participantes

Se empleó una muestra por conveniencia de alumnos de nivel doctoral que estudian en la UP, la cual estuvo conformada por:

1. • Alumnos del Doctorado en Educación, generaciones 2005-2019, del modelo educacional EduHux 4.0.

   • Alumnos del Doctorado en Educación generación 2017-2019, del modelo educacional Edugestión.

   • Alumnos del Doctorado en Ciencias, generación 2017-2019, del modelo educacional EduHux 4.0.

   • Alumnos del Doctorado en Educación 2018-2020, del modelo educacional Edugestión.

Para llevar a cabo la investigación se solicitó por escrito a la administración escolar la información académica, evaluación docente, posgrado y titulación de las generaciones 2005-2019 del doctorado en Educación, del modelo educacional EduHux 4.0 y de las generaciones 2017-2020 del modelo educacional Edugestión.

La decisión de realizar un análisis comparativo entre siete generaciones del modelo EduHux y dos generaciones del modelo Edugestión se basa en la disponibilidad y accesibilidad de información documentada y sistematizada. Si bien lo ideal sería contar con un número equilibrado de generaciones para ambos modelos, en la práctica solo se disponía de datos completos y consistentes para esas generaciones específicas. En el caso de EduHux se cuenta con información consolidada de siete generaciones, lo que permite una evaluación más amplia y representativa de su evolución y resultados. Por su parte, el modelo Edugestión, de más reciente implementación, solamente ha generado información suficiente en dos generaciones, lo cual limita el alcance del análisis longitudinal, pero aún permite obtener indicios relevantes sobre su funcionamiento e impacto inicial. Esta diferencia en la cantidad de generaciones no compromete la validez del estudio, ya que el objetivo es identificar tendencias, contrastar características clave y valorar los aportes de cada modelo a la construcción del perfil de egreso, en función de la evidencia disponible.

Procedimiento

En la presente investigación como primer paso se realizó un análisis descriptivo, donde se muestra el rango de los promedios y la mediana de los promedios de cada generación estudiada, posteriormente se muestra la probabilidad de egresar y la probabilidad de titulación del programa doctoral.

Como segundo paso se muestran los periodos para obtener el grado doctoral para cada una de las generaciones. En el tercer paso se utilizaron las técnicas ACE y ACB, con las que se comparan los dos ME evaluados, así como el impacto en la formación en investigación de las y los estudiantes. El cuarto y último paso fue realizar una prueba estadística mediante el índice de Kappa (López y Pita, 1999); este índice se utilizó para evaluar la concordancia entre dos variables dicotómicas, por su simplicidad y facilidad de interpretación, la medida de concordancia más adecuada es la proporción (o porcentaje) de coincidencias respecto al total de sujetos.

Además, se sugiere que futuras investigaciones adopten un enfoque metodológico mixto que integre el análisis cuantitativo con técnicas cualitativas, como entrevistas semiestructuradas a estudiantes, egresados, docentes y personal académico. Esta combinación permitirá identificar y comprender aspectos clave del proceso formativo, tales como la motivación de las y los estudiantes, el entorno académico, la percepción del acompañamiento docente, así como los desafíos operativos específicos de cada ME.

Resultados

Análisis descriptivo

Se llevó a cabo el cálculo del rango de promedios. El rango es una medida por la cual conocemos la dispersión de los datos (Tabla 1).

Se calculó la mediana de los promedios para cada una de las generaciones. La mediana es el valor que ocupa la posición central cuando todos los datos se ordenan de menor a mayor (Tabla 2)

Se calculó la probabilidad que tiene un alumno de egresar del programa doctoral mediante el cociente del total de alumnos que ingresaron al modelo educacional y alumnos que egresaron pero no se titularon (Tabla 3).

La probabilidad que tiene un alumno de titularse al ingresar al programa doctoral se calculó mediante el cociente del total de alumnos que ingresaron al programa y alumnos que egresaron y se titularon (Tabla 4).

Posteriormente se obtuvo el puntaje de los años que le tomó a cada estudiante concluir su proceso de titulación. Para el estudiante que logró titularse en su primer año después de graduarse se le asignó un puntaje de 10; para el estudiante que logró titularse dos años después de graduarse se le asignó un puntaje de 5; para el estudiante que logró titularse tres años después de graduarse se le asignó un puntaje de 2.5, y para el estudiante que logró titularse después del tercer año y años subsecuentes se le asignó el puntaje de 1. Estos puntajes se multiplicaron por los estudiantes de cada generación y su respectivo tiempo que les tomó para titularse (Tabla 5).

Fuente: Elaboración propia.

Método de evaluación ACE Y ACB

Fases de la técnica ACE

• Definir el alcance del análisis. En este apartado se describen los objetivos y limitaciones que puedan tener los ME Edugestión y EduHux 4.0 (Tabla 6).

• Identificar los inputs. Para definir los inputs de cada ME se procede a realizar un conteo y descripción de los recursos utilizados para el funcionamiento y operación de ambos modelos (Figura 3).

Figura 3
Inputs de cada modelo educacional
Fuente: Elaboración propia.

• Monetizar los inputs. Monetizar los inputs implica conocer y enlistar los costos económicos que están asociados con el uso de los recursos necesarios de cada modelo educacional (tablas 7 y 8).

Edugestión presenta un total de $ 50,982.22 dólares.

EduHux 4.0 presenta un total de $ 44,439.16 dólares.

• Identificar los efectos del programa. Para identificar los efectos o resultado de cada modelo educativo se debe enlistar las externalidades positivas que se derivan de los modelos, todo aquello que repercute beneficiosamente para la sociedad involucrada.

Edugestión (efectos-objetivos):

1. · Calificaciones (eficiencia terminal/aprendizajes para el desempeño laboral).

   · Tasa de egresados (eficiencia terminal/posibilidad de ejercer laboralmente).

   · Tasa de titulados (obtención del grado/ejercer laboralmente con el grado).

   · Tiempo para titulación (obtención del grado/tiempo en el cual se ejerce laboralmente con el grado).

   · Descripción del perfil de egreso (perfil de egreso/cubrir determinado(s) perfil(es) laboral(es)).

EduHux 4.0 (efectos-objetivos):

1. · Calificaciones (eficiencia terminal/aprendizajes para el desempeño laboral).

   · Tasa de egresados (eficiencia terminal/posibilidad de ejercer laboralmente).

   · Tasa de titulados (obtención del grado/ejercer laboralmente con el grado).

   · Tiempo para titulación (obtención del grado/tiempo en el cual se ejerce laboralmente con el grado).

• Obtener estimaciones de los efectos del programa. Las estimaciones de los efectos de los ME se dividen en tres momentos: el análisis histórico de todas las generaciones del programa doctoral que pertenecen al ME en el periodo 2005-2020; la comparación, a través del diseño experimental, de los componentes educativos entre el grupo control (Edugestión) y contrafactual (EduHux 4.0) en el periodo 2017-2019 y, finalmente, se observó el desempeño de la implementación de Edugestión en la generación doctoral 2018-2020.

• Comparar los inputs del programa con sus efectos. Para poder comparar los inputs de cada modelo educativo con sus efectos se procede a calcular el costo por estudiante del total de inputs, con esto se puede realizar la comparación del costo del modelo educativo por estudiante y sus efectos. Para calcular dichos costos (fijos y variables) se solicitó información al área de finanzas de la universidad (tablas 9 y 10).

Fases de la técnica ACB

• Identificar los beneficios sociales. Para los beneficios sociales de eficiencia terminal se tomaron en cuenta los tres campos formativos: transmisión del conocimiento, ya que mediante este campo, el titulado tiene los aprendizajes y capacidad para impartir clases en posgrado y licenciatura; también se tiene en cuenta el campo formativo generación del conocimiento, es decir, el titulado tiene los aprendizajes y experiencia para desempeñarse laboralmente como investigador; así mismo se consideró el campo formativo de divulgación del conocimiento para trabajar en proyectos editoriales o relacionados con publicaciones académicas y/o científicas.

Para los beneficios sociales de mantener buenas calificaciones se tomaron en cuenta las becas que se les ofrecen a los estudiantes. En cuanto a los beneficios sociales del perfil de egreso, se tomaron en cuenta los tres campos formativos.

• Monetizar los beneficios sociales. Conforme se enlistan los beneficios sociales se procede a monetizar o calcular el valor económico de cada uno de ellos para los estudiantes. Para realizar dichos cálculos se investigaron los sueldos o compensaciones económicas en las áreas de docencia, investigación y trabajo editorial, tanto en la universidad donde se hace el estudio y en otras dos universidades de la región con similares características. Se eligió el monto más bajo, lo que permite construir una estimación conservadora y realista sobre los beneficios económicos que podría obtener una persona egresada al insertarse en el ámbito académico y científico.

• Eficiencia terminal (titulado). Para estimar los beneficios sociales de eficiencia terminal se consideraron dos campos formativos: transmisión del conocimiento y generación del conocimiento. La estimación se realizó a partir de la investigación sobre sueldos y compensaciones económicas en tres universidades, antes comentada, pues de esta forma se asignan ingresos de acuerdo a lo que el mercado laboral regional paga. Cabe destacar que la monetización de los beneficios sociales no es con referencia en alguno de los ME sino a lo que paga el mercado en los campos formativos en estudio. La monetización se realiza en dólares, ya que así lo sugiere el método para fines técnicos.

Una vez determinadas las monetizaciones por campo formativo, se emplean los resultados de los efectos de cada ME para obtener una tasa de descuento (Casado y Tarrach, 2015) para la relación entre costos y beneficios futuros en tanto valor presente, con el objetivo de considerar el valor temporal del pago por parte de un empleador a la persona egresada; en una ventana de tiempo anual y de lustro (cinco años) en cada beneficio social. De esta forma, cada ME obtiene su probabilidad de ingreso por campo formativo, de acuerdo con su efectividad en sus efectos (calificaciones, tasa de egresados, tasa de titulados, tiempo para titulación y/o descripción del perfil de egreso) al momento de formar el perfil de egreso (campos formativos) o, dicho de otro modo, es la tasa en la cual agregan valor a sus estudiantes en el proceso de formación del perfil de egreso.

En el caso de transmisión del conocimiento, se espera que en un periodo de cinco años un titulado podría obtener un ingreso total de $10,945.60 dólares, esto se calculó respecto al siguiente escenario:

1. · Durante el primer año, el titulado podría impartir tres clases anualmente, cada una remunerada con $729.71, dando un total de $2,189.12 dólares por año.

   · En un periodo de cinco años, esta actividad le generaría un ingreso acumulado de $10,945.60 dólares.

Por otro lado, para el campo de generación del conocimiento se espera que un titulado alcance un ingreso de $102,158.96 dólares en cinco años, bajo el supuesto de incorporarse como investigador en una institución de educación superior con el nivel A. Este monto se estimó de la siguiente manera:

1. · Un ingreso mensual estimado de $1,702.65 dólares como investigador nivel A.

   · Un ingreso anual de $20,431.79 dólares.

   · En cinco años, este ingreso ascendería a $102,158.96 dólares.

• Egreso. Para estimar los beneficios sociales de solo egresar, aprobando todos los cursos del programa de posgrado pero sin obtener el título, se tomó en cuenta el campo formativo divulgación del conocimiento, en el cual se espera que en cinco años el egresado obtenga un ingreso de $43,782.41 dólares, esto calculado respecto a lo siguiente:

1. · Mensualmente, el egresado obtendrá un ingreso de $729.71 dólares por ser investigador.

   · En un año, el egresado obtendrá un ingreso de $8,756.48 dólares por ser investigador.

   · En cinco años, el egresado obtendrá un ingreso de $43,782.41 dólares por ser investigador.

• Calificaciones. Para estimar los beneficios sociales de mantener buenas calificaciones se tomaron en cuenta las becas que se les ofrecen a los estudiantes. El estudiante paga aproximadamente $291.88 dólares mensualmente, cumplir con su trayectoria académica le toma 20 meses, lo que le da un total de $5,837.65 dólares al concluir su posgrado, sin tener una beca.

Si el estudiante mantiene un promedio de calificaciones de entre 9 y 10 obtiene una beca del 50%, con la cual ahorra $2,918.83 dólares a lo largo de su trayectoria académica.

Si el estudiante mantiene un promedio de entre 8 y 8.9 obtiene una beca del 40%, con la cual ahorra $2,335.06 dólares a lo largo de su trayectoria académica.

• Perfil de egreso. Para estimar los beneficios sociales totales de tener un perfil de egreso completo, independiente del ME, se tomaron en cuenta los tres campos formativos, los cuales, en cinco años, le ofrecen al titulado un ingreso de $156,886.97 dólares.

Transmisión del conocimiento:

1. · En su primer año un titulado puede dar tres clases anualmente, cada una con un pago de $729.71 dólares, dando un total de $2,189.12 dólares por año.

   · En cinco años el titulado tendrá un ingreso de $10,945.60 dólares por dar tres clases anuales.

Generación del conocimiento:

1. · Mensualmente, el titulado obtendrá un ingreso como investigador nivel A de $1,702.65 dólares.

   · En un año, el titulado obtendrá un ingreso como investigador nivel A de $20,431.79 dólares.

   · En cinco años, el titulado obtendrá un ingreso como investigador nivel A de $102,158.96 dólares.

Divulgación del conocimiento:

1. · Mensualmente el egresado obtendrá un ingreso de $729.71 dólares por ser investigador.

   · En un año el egresado obtendrá un ingreso de $8,756.48 dólares por ser investigador.

   · En cinco años el egresado obtendrá un ingreso de $43,782.41 dólares por ser investigador.

En la Tabla 11 se muestra la monetización por cada uno de los ME en relación con su tasa de descuento en función de sus beneficios sociales identificados, en un periodo de un año y de lustro. La tasa de descuento para Edugestión es de 81.41%. La tasa de descuento para EduHux 4.0 es de 40.69%.

• Comparar los beneficios sociales del modelo con sus costos. Finalmente, se calcula la ratio entre los beneficios y costos de cada ME, entendiéndose como ratio que por cada peso invertido en el modelo educacional habría un retorno social de cierta cantidad de dinero.

Como se observa en la Tabla 12, el ME en la formación doctoral llamado Edugestión muestra mejores beneficios, este tiene un costo mayor al ME EduHux, pero ofrece mejores condiciones para los estudiantes y al final se obtiene un mayor beneficio en comparación con el modelo EduHux.

Figura 4
Costos por estudiante y beneficio social
Fuente: Elaboración propia.

En la Figura 4 se observa la diferencia entre el costo por estudiante y el beneficio social de cada modelo educacional.

Como se observa, el costo por estudiante es menor en EduHux 4.0, pero el beneficio social es mayor en Edugestión, es decir, aunque el costo por estudiante es mayor en Edugestión, su beneficio social supera al de EduHux 4.0.

Planeación didáctica y plataforma tecnológica

Si cada estudiante hubiera hecho su determinación al azar (pero con probabilidades iguales al total de proporciones), esperaríamos que la entrega de planeación didáctica coincidiera en el 59.26% de los estudiantes con plataforma tecnológica. De hecho, la planeación didáctica estuvo en un 88.89% de los estudiantes con plataforma tecnológica, o el 72.73% del camino entre el acuerdo aleatorio y perfecto convenio. El grado de acuerdo es bueno.

Discusión

Con relación a la pregunta de investigación se logró observar cómo las técnicas ACE y ACB evalúan cada uno de los ME mostrados. Con base en los resultados se observa que las y los estudiantes del ME EduHux 4.0 suelen tener mejor promedio que las y los estudiantes del ME Edugestión, las y los alumnos del ME Edugestión tienen una mayor probabilidad de egresar del programa doctoral, así como mayor probabilidad de titulación y se titulan en menor tiempo. Los recursos utilizados para el funcionamiento de los ME son mayores en Edugestión, así como los beneficios. Es decir, el ME Edugestión presentó costos mayores al ME EduHux, pero con mejores beneficios. Por ello se tomó la decisión de que el ME que debe seguir en operación en la UP es Edugestión.

Los hallazgos responden a la pregunta de investigación en el sentido de que se considera al perfil de egreso declarado en el modelo educativo como fin a lograr, en tanto sus campos formativos presentan manifestaciones empíricas de los aprendizajes clave a formar en las y los estudiantes. A su vez, cada campo formativo agrupa un determinado número de asignaturas para enseñar los aprendizajes correspondientes. Cada una de ellas realizará un producto final de acuerdo con la manifestación señalada en el campo formativo al que pertenece.

Es decir, los aprendizajes clave con las manifestaciones de cada campo formativo del modelo educativo son los criterios de evaluación del método compuesto por las técnicas de ACE y ACB. Para lograr este tipo de evaluación se establece una relación de la efectividad de formar los aprendizajes clave de cada campo formativo para realizar sus manifestaciones con el valor que generan dichos aprendizajes para las y los estudiantes en su desempeño laboral, medido por ingresos monetarios futuros.

En este sentido, el método de evaluación utiliza el concepto de impacto en términos de la adquisición de aprendizajes, que posibilitan el desempeño laboral y, en consecuencia, la obtención de ingresos monetarios.

Los hallazgos con investigaciones previas se relacionan en el sentido de que este modelo de evaluación toma en cuenta que se analiza un fenómeno determinado por un contexto, con una red de relaciones que conforman la complejidad donde se implementa (Marca et al., 2022), tanto dentro como fuera de sus fronteras y, por supuesto, busca áreas de oportunidad para contribuir a la toma de decisiones sobre si mantener el modelo, modificarlo y qué cambiar en el mismo o, en su defecto, migrar a otro modelo educativo.

En este sentido, los hallazgos de la investigación dejan en evidencia que sí es necesario considerar en la evaluación el impacto del modelo, en tanto que efectividad y valor generado para las y los estudiantes en el ámbito del desempeño laboral. Sin embargo, queda claro que no es una evaluación integral, es parcial, por lo cual este método de evaluación que emplea las técnicas ACE y ACB cubre la arista en evaluación del impacto de un modelo educacional que, si bien nos brinda información valiosa para tomar decisiones, no rechaza, al contrario, se complementa con otros tipos de evaluaciones (Alba, 1991).

Entre los hallazgos de la investigación se muestra que la evaluación se entiende como un proceso en espiral, dinámico, continuo, formativo y con fuerte orientación hacia la toma de decisiones (McCormick y James, 1997) sobre la efectividad y pertinencia del modelo educativo; una toma de decisiones (Simon, 1972) que se da en un ambiente de incertidumbre, por lo que las decisiones tomadas generan dirección o rutas de acción que tendrán una probabilidad de suceder, pero nunca certeza de alcanzar la consecuencia deseada, es por lo que la evaluación del modelo educativo responde a un tipo de racionalidad medios-a-fines, en el cual es necesario considerar el contexto y los intereses de los actores educativos.

Entre las consecuencias de los hallazgos para futuras investigaciones encontramos estudiar algún modelo de toma de decisiones que se ajuste al esquema de racionalidad medios-a-fines e incluya variables como el contexto, la incertidumbre, los intereses de actores educativos, pero, sobre todo, que parta del concepto de impacto del modelo educativo como eje articulador de una visión integral de la evaluación.

Por otro lado, también se recomienda indagar cómo integrar datos de seguimiento de egresados que corroboren las predicciones de efectividad y valor en relación entre la adquisición de aprendizajes clave y la generación de valor con el desempeño laboral y sus ingresos.

Una limitación a destacar de la investigación es que se trata de un estudio de caso con una situación sui géneris por el hecho de que en la misma universidad operan dos modelos educativos en el área de formación en investigación, en específico, el área de doctorados. De igual forma el tamaño de la población estudiada se puede considerar como pequeño o no significativo, aunque cabe destacar que la información es completa y ofrece condiciones favorables para la evaluación y su respectiva comparación.

Asimismo se destaca que el modelo de evaluación utilizado depende en gran medida del compromiso ético que tenga la universidad con su actividad de formación en investigación, en tanto que apegarse a los principios, procesos y valores que caracterizan su propuesta educativa.

Conclusiones

La evaluación del modelo educacional es necesaria porque dicho modelo fue elaborado por actores con racionalidad acotada, por lo cual la evaluación tiene por objetivo detectar brechas, contradicciones o limitantes que se generan entre los postulados teóricos y los resultados obtenidos en la realidad empírica en un determinado contexto; es por lo que la evaluación aporta elementos para conocer la efectividad y su impacto.

Se concluye que el método compuesto por las técnicas ACE y ACB sí evalúa el impacto de los modelos educativos para la formación de investigadores en el nivel de doctorado utilizados por la UP, porque proporciona información sobre el costo de cada modelo educativo, el desempeño académico de las y los estudiantes, la probabilidad de egreso, la probabilidad de titulación y la monetización de los beneficios del desempeño laboral de las y los estudiantes una vez alcanzados los aprendizajes claves al egresar de su programa doctoral. Todo lo anterior contribuye en la toma de decisión sobre qué modelo mantener en operación y cuáles áreas deben fortalecerse.

El modelo Edugestión presentó un mayor impacto que el modelo híbrido EduHux 4.0, por lo cual el primer modelo tiene que seguir en operación, pues ofrece mejor efectividad y valor.

Adicionalmente, se recomienda que futuras investigaciones sobre evaluación de modelos educativos de posgrado integren un enfoque mixto. Esta combinación permitiría enriquecer la visión del impacto del modelo, considerando tanto datos duros (rendimiento académico, eficiencia terminal, costos y beneficios) como aspectos subjetivos y sociales del proceso formativo, a través de entrevistas, encuestas cualitativas o análisis del discurso. La adopción de un enfoque mixto no solo responde a la naturaleza compleja de la formación doctoral, también incrementa la utilidad práctica y académica de los resultados de la evaluación.

Referencias

Alba, A. D. (1991). Evaluación curricular: conformación conceptual del campo. Universidad Nacional Autónoma de México.

Bausela, E. (2003). Metodología de la investigación evaluativa: modelo CIPP. Revista Complutense de Educación, 14(2), 361-376. https://revistas.ucm.es/index.php/RCED/article/view/RCED0303220361A

Bertalanffy, L. V. (1976). Teoría general de los sistemas: fundamentos, desarrollo, aplicaciones. Fondo de Cultura Económica.

Carmona, R. (2013). Modelo de evaluación curricular aplicado por la gestión educativa en relación con el programa del ciclo transición en los jardines de niños y niñas independientes del circuito 05 de la Dirección Regional de Educación de Cartago. Gestión de la Educación, 3(1), 1-21. https://doi.org/10.15517/rge.v3i1.10629

Casado, D., y Tarrach, A. (2015). Guía práctica 12 - La evaluación económica de políticas educativas. Una guía introductoria. Ivàlua. https://ivalua.cat/sites/default/files/2020-01/12_01_2016_10_28_17_Guia12ESPpolitica_educativa2015.pdf

Cely-Salazar, M. V., y Quiñones-Urquijo, A. (2022). Revisión sistemática de las características de evaluación curricular en programas académicos de pregrado a través del método PRISMA-NMA. Revista Electrónica Calidad en la Educación Superior, 13(2), 150-174. https://doi.org/10.22458/caes.v13i2.4415

De Miguel, M. (1997). La evaluación de los centros educativos. una aproximación a un enfoque sistémico. Revista de Investigación Educativa, 15(2), 145-178. https://revistas.um.es/rie/article/view/122621

Fernández-Rio, J., Hortigüela, D., y Pérez-Pueyo, Á. (2018). Revisando los modelos pedagógicos en educación física. Ideas clave para incorporarlos al aula. Revista Española de Educación Física y Deportes, (423), 57-80. https://doi.org/10.55166/reefd.vi423.695

INEEd [Instituto Nacional de Evaluación Educativa] (2016). Guía metodológica de evaluación de programas educativos. https://www.ineed.edu.uy/wp-content/uploads/2016/09/Guia_de_evaluacion_de_programas.pdf

López, I., y Pita, S. (1999). Medidas de concordancia: el índice de Kappa. Cadernos de Atención Primaria, 6(4), 169-171. https://www.mvclinic.es/wp-content/uploads/L%C3%B3pez-de-Ullibarri-Medidas-de-concordancia_-el-%C3%ADndice-Kappa.pdf

Marca, M., Gudiel, M. E., Huerta, S. I., y Soto, L. A. (2022). Educación híbrida: desafíos de los modelos educativos universitarios. Yachay - Revista Científico Cultural, 11(1), 574-583. https://doi.org/10.36881/yachay.v11i1.578

Martínez-Gómez, G., Cortés-Rodríguez, C. A., y Vega-Martínez, D. (2025). Evaluación curricular de un posgrado en voz de sus actores. Revista Electrónica de Investigación Educativa, 27. https://doi.org/10.24320/redie.2025.27.of.6166

Martínez-Mediano, C. (2016). Los modelos lógicos para la evaluación de programas educativos. Série-Estudos - Periódico do Programa de Pós-Graduação em Educação da UCDB, 21(42), 41-63. http://dx.doi.org/10.20435/2318-1982-2016-v.21-n.42(03)

McCormick, R., y James, M. (1997). Evaluación del curriculum en los centros escolares. Morata.

Mintzberg, H. (1991). Mintzberg y la dirección. Primera Parte. Díaz de Santos.

Mora, A. I. (2004). La evaluación educativa: concepto, períodos y modelos. Actualidades Investigativas en Educación, 4(2). https://doi.org/10.15517/aie.v4i2.9084

Morin, E. (2010). Pensar la complejidad: crisis y metamorfosis. Publicaciones de la Universidad de Valencia.

Pérez, R. (2000). La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática. Revista de Investigación Educativa, 18(2), 261-287. https://revistas.um.es/rie/article/view/121001/113691

Rojas, C., Araya, M., Araya, M., Goldsack, M., y Carreño, E. (2024). Experiencia de innovación y evaluación curricular, Escuela de Obstetricia, Universidad de Chile, período 2006-2019. Matronería Actual, (1), 7-14. https://doi.org/10.22370/revmat.1.2024.3817

Simon, H. A. (1947). Administrative behavior. Macmillan.

Simon, H. A. (1972). Theories of bounded rationality. En B. E. McGuire y R. Radner (eds.), Decision and organization (pp. 161-176). North-Holland.

Stufflebeam, D. L., y Shinkfield, A. J. (1987). Evaluación sistemática: guía teórica y práctica. Paidós.

Notas de autor

Información adicional

redalyc-journal-id: 5216