1. Introducción

La oferta de programas doctorales y su demanda han tendido a incrementarse en casi todo el mundo (Castro et al, 2010;Munita y Reyes 2012;Wainerman y Matovich, 2016). El creciente valor social del conocimiento, la contribución de los doctorados a los desarrollos disciplinarios y a los requerimientos sociales de nuevo conocimiento científico-tecnológico, explican estos hechos (Lane et al, 2015). Estos mismos hechos y razones, así como la necesidad de cumplir con los propósitos de este nivel formativo, han generado la necesidad de disponer de procedimientos sistemáticos de aseguramiento de su calidad.

Los resultados de los procesos evaluativos de programas doctorales son muy diversos, pero existe evidencia que ellos son insuficientes en muchos aspectos tales como tasas de retención, tiempo de graduación, publicaciones de calidad generadas por docentes, estudiantes y graduados, grados de asociatividad, redes internacionales, entre otros aspectos lo que ha motivado diversas propuestas de cambios (Nerad, 2004;Cruz y Martos, 2010; de Miguel Díaz; 2010; Bentley, 2013;Baschung, 2016).

Desde esta perspectiva los procesos metaevaluativos del aseguramiento de la calidad de programas doctorales se hacen necesarios y constituyen la vía más clara para poder superar estos problemas. Se trata no solo de evaluar procedimientos y contar con datos aislados de sus resultados, sino de disponer de metaevaluaciones integrales de las acreditaciones de programas mediante instrumentos fiables.

La acreditación de doctorados en Chile presenta una serie de ventajas para ser tratado como un caso en procesos de metaevaluación, tales como: estar normadas por una ley de aseguramiento de la calidad (ley N° 20.129 del año 2006) cuya aplicación reside en una sola instancia, la Comisión Nacional de Acreditación (CNA) que es una agencia estatal; los procesos de acreditación se han desarrollado durante un período de casi de veinte años, con una amplia cobertura de participación de las universidades; los resultados de cada proceso se comunican a través de resoluciones o dictámenes públicos; la acreditación se basa en la autoevaluación de cada programa y en una visita de pares, cuyos informes se basan en dimensiones, criterios y subcriterios explícitos.

Los desempeños de cada programa se expresan en períodos diferentes de acreditación de 2 a 10 años; se verifican diferencias institucionales disciplinares y territoriales; la formación doctoral en Chile, tiene una importante contrapartida de formación en programas en el extranjero; existen antecedentes de análisis de resultados de los procesos de acreditación institucional, donde el postgrado es un área electiva (Letelier y Carrasco, 2004; Lemaitre, 2005; CNAP, 2007; Espinoza, 2010; Espinoza y González, 2009; 2013; Zapata y Tejeda, 2009;Munita y Reyes, 2012; Cancino y Schmal, 2014; López et al, 2015; López et al, en prensa).

El propósito de este trabajo es proponer un modelo cuantitativo de metaevaluación basado en los resultados obtenidos en la aplicación de criterios y subcriterios en la acreditación de doctorados en Chile, así como la formulación de un índice de acreditación integral que dé cuenta de la aleatoriedad de acreditación de doctorados. Se trata de verificar la significancia de cada criterio como predictor de los desempeños, así como de cuantificar los incrementos en el tiempo de acreditación por variaciones unitarias en los criterios significativos y estimar probabilidades de acreditación. Se pretende disponer de instrumentos que permitan retroalimentar a los programas y a los procedimientos utilizados para asegurar su calidad.

Desde la perspectiva metodológica, esta investigación se enmarca en el paradigma positivista cuantitativo, con alcance explicativo, de medición transversal (Hernández et al, 2014). Dentro de las técnicas cuantitativas de análisis se utilizaron medidas de asociación (causa-efecto), representaciones visuales como redes y dendogramas y finalmente modelaciones probabilísticas según naturaleza de la variable estudiada. Estos procedimientos fueron aplicados a un universo de 239 programas doctorales dictados en Chile que se sometieron a este proceso hasta el año 2016, utilizando los dictámenes públicos de acreditación emitidos por la Comisión Nacional de Acreditación (CNA).

2. Acreditación de doctorados y de su modelamiento: Aspectos teóricos

Conceptualmente no existe una definición explicita para establecer los procesos de acreditación de doctorados en Chile, no obstante operacionalmente se considera la calidad como doble consistencia: interna (“se hace lo que se dice”) y externa (pertinencia). La definición de excelencia se ha sido considerada cuando se alcanza un período de 60% o más respecto al período máximo de acreditación de un programa.

La acreditación doctoral forma parte de un sistema de aseguramiento de la calidad formalizado en la Ley N° 20.129 de 2006 que incluyen autoevaluación y heteroevaluación por pares externos. En rigor no se aplican estándares, sólo dimensiones y criterios, los cuales permiten evaluar tanto procesos como resultados e impactos (Espinoza y González, 2009; Espinoza y González, 2013). No obstante, en cada área disciplinaria, existen algunas exigencias para la productividad en investigación del cuerpo docente. Además, en Chile se han implementado otros mecanismos de apoyo al mejoramiento y aseguramiento de la calidad de los doctorales, tales como la asociatividad nacional de programas de doctorado, los Convenios de Desempeño para la internacionalización de doctorados, los Programas para becarios nacionales, el Sistema de Créditos Transferibles Chile (SCT-Chile) y el Marco Nacional de Cualificación (MNC).

A pesar de que existen una institucionalidad y procedimientos claros, no se dispone de evidencia de los impactos que ha tenido en la práctica, la ejecución de estos procesos regulatorios.

A nivel internacional existen diferentes críticas respecto a los procedimientos utilizados en la acreditación de doctorados (Nerad, 2004; Harrington et al, 2014), pero tampoco se dispone de investigaciones sobre resultado metaevaluativos.

La cuantificación de los resultados abre expectativas para superar la sola comparación de programas acreditados y no acreditados (Dehai et al, 2016) o el análisis cualitativo sobre los factores necesarios de considerar en la acreditación (Morrison et al, 2011). Si bien existen antecedentes de aplicación de modelos en la evaluación de doctorados (Dey et al, 2013), ellos han sido aplicados en la evaluación de cada programa, más que a los resultados de los procedimientos aplicados a un número significativo de programas. Establecer un modelo a los resultados de acreditación de doctorados en Chile, permite aplicar instrumentos estadísticos que permiten revelar patrones, importancia relativa de variables, así como las características de objetividad de los juicios de acreditación.

Los modelos estadísticos son usados con mucha frecuencia en una amplia gama de situaciones. Por ejemplo, para resolver problemas concretos de la ingeniería y de las diferentes áreas científicas, y constituyen la base de la formulación teórica de la inferencia y muchos de los métodos estadísticos. Hoy en día la modelación estadística cuenta con los respaldos metodológicos y tecnológicos que le dan una gran viabilidad como un área de desarrollo. Un modelo estadístico, es una concepción teórica y platónica que de manera muy genérica, puede concebirse como un constructor mental con el que se aspira estudiar y entender de mejor forma un fenómeno en el que subyace una relación causa efecto (Ojeda, 2003). En este caso el propósito es la modelación de ciertos fenómenos y de su comprensión, incluyendo el refinamiento en la modelación. El fenómeno es explicado por un modelo ideal, que puede ser gradualmente ajustado. Es en este sentido, que es presentada la propuesta de modelo predictivo, como un paso en la comprensión de fenómenos métricos para el control, seguimiento y comprensión concernientes a la acreditación doctoral.

3. Aproximaciones metodológicas

Cada unidad muestral se analizó por medio de un instrumento ad hoc, construido sobre la base de los criterios y sub-criterios utilizados en los procesos de acreditación de doctorados en Chile (Tabla 1). La muestra fue de 85 programas de doctorado, tamaño especificado según la fórmula de Namakforoosh (2000) con un nivel de confianza del 95% y un error de estimación del 5%. La información relativa a los programas constituyentes de la muestra fue obtenida a partir de información disponible en el sitio web de la Comisión Nacional de Acreditación (CNA) (http://cnachile.cl) y en los sitios web de cada Universidad en donde se dictan los doctorados. Información adicional fue obtenida en los sitios web del Servicio de Información de Educación Superior (SIES) (http://www.sies.cl), los que fueron organizados en bases de datos Excel, para su posterior análisis.

Se estableció una métrica de logro de cada sub-criterio, a partir de la información explícita contenida en los dictámenes de acreditación. Se trabajó con una escala nominal correspondiente a 0; 1; 2 y 3, en donde cada valor representa respectivamente: no hay referencia; refiere a la presencia; refiere a la coherencia; destaca fortaleza.

Para estudiar la consistencia del proceso de medición de logros de cada sub-criterio se recurrió al análisis y asignación de puntuaciones por especialistas de manera independientes.

El coeficiente Alpha de Cronbach, fue de 0.7634, considerando como aceptable (George y Mallery, 2003). Se cuantificó la validez utilizando el coeficiente Γ definido por González et al (2016), obteniéndose un valor de 0.75, lo que da cuenta que efectivamente mide aquello para lo que fue elaborado. Los datos fueron analizados utilizando estadística descriptiva e inferencial, especificando los valores de significancia. Se utilizaron medidas de posición (media y mediana), medidas de variabilidad (desviación estándar y coeficiente de variación), correlación de Spearman, de Pearson y Chi Cuadrado. El procesamiento de datos se realizó utilizando el software libre r-Project 3.3.3.

Para la significancia de cada uno de los criterios y sub-criterios en los años de acreditación se desarrolló una regresión de Poisson (Hinde, 1982), donde los predictores considerados fueron las puntuaciones totales en cada uno de los criterios. Para establecer cuál de los sub-criterios o interacciones entre ellos que constituyen cada criterio es el responsable de alcanzar la significancia o es efecto conjunto, se desarrolló una regresión considerando solo los subcriterios que probaron ser estadísticamente significativos.

Se establecieron varias estrategias de configuración de la asociación entre las puntuaciones de los criterios y subcriterios, usando medias, interacciones y puntuaciones acumuladas, para sobreponerse a la idea de desigualdad de ponderación. Si la ponderación es desigual por criterio, es posible jerarquizarlos en su efecto en el tiempo de acreditación institucional.

Las similitudes y/o diferencias entre los doctorados con idénticas o similares puntuaciones en cada subcriterio, fueron representadas por medio de conglomeración (clustering) basado en el método de agrupación del centroide y la métrica euclideana, generándose un dendograma que muestra la similitud en los resultados de acreditación de la totalidad de los doctorados de la muestra analizada.

4. Bases para el diseño y aplicación del Modelo

A partir de los contenidos de los dictámenes de acreditación de los programas doctorales, se propone un modelo estocástico de estimación de probabilidades bajo una visión frecuentista. Interesa definir un índice que permita cuantificar, en términos de probabilidad, el logro de la acreditación de cada programa doctoral, independiente de los años de acreditación

Para la modelación se asumió que cada instancia del proceso de acreditación de un programa de doctorado es dicotómico, es decir se obtiene o no la acreditación. En los procesos regulatorios de estos programas, la ley N° 20.129 establece tres instancias en que la acreditación es posible: en el Consejo de la CNA, previa consideración de los informes de autoevaluación e informe de pares y que se expresa en un primer dictamen. Luego la Universidad puede apelar a esta primera decisión, a través de una reposición al Consejo de la CNA. Finalmente de no ser acogido este recurso, existe otra instancia de apelación radicada en el Consejo Nacional de Educación (CNED). Cada una de estas instancias tiene un carácter dicotómico (acreditación/ no acreditación) y el paso a la instancia siguiente ocurre sólo para programa no acreditados en la instancia anterior. Eventualmente la segunda y tercera instancia podría aumentar el tiempo de acreditación, determinando en la instancia previa. De acuerdo a ello es posible estudiar la probabilidad de ocurrencia de los resultados posibles en cada instancia (diagrama1).

El modelo se simplifica por la no existencia de doctorados, para los cuales se ha acogido la reposición e incrementado los años de acreditación y que soliciten apelación; de manera similar para el caso de aquellos doctorados no acreditados en el dictamen, que acreditan con la reposición.

Aplicando este modelo dicotómico es posible efectuar el siguiente análisis de probabilidad. La probabilidad de éxito en la primera instancia será caracterizada por P. y es estimada por:

𝑆𝑆𝑆𝑆.

𝑃𝑃. =

𝑆𝑆𝑆𝑆.+ 𝑁𝑁𝑁𝑁.

donde 𝑆𝑆𝑆𝑆. representa la cantidad de doctorados sometidos a acreditación y que fueron acreditados en primera instancia y 𝑁𝑁𝑁𝑁. el caso contrario. En la medida que tiende al número total de doctorados sometidos a acreditación, la probabilidad de acreditación tiende a 1, esto es 𝑃𝑃. → 1, en caso contrario 𝑃𝑃. →0 .

De manera similar y basado en la ley de probabilidad total, se caracteriza la probabilidad de éxito en la segunda instancia, que identificara por P., como:

𝑃𝑃2 =(1−𝑃𝑃1)

𝑆𝑆𝑆𝑆2𝑆𝑆𝑆𝑆+𝑁𝑁𝑁𝑁2 2

dondeSi. representa la cantidad de doctorados sometidos a acreditación y que fueron acreditados en segunda instancia y 𝑁𝑁𝑁𝑁. el caso contrario. De manera similar se define 𝑃𝑃. , como:

𝑃𝑃3 =(1−𝑃𝑃1)(1−𝑃𝑃2)

𝑆𝑆𝑆𝑆3𝑆𝑆𝑆𝑆+𝑁𝑁𝑁𝑁3 3,

donde 𝑆𝑆𝑆𝑆. representa la cantidad de doctorados sometidos a acreditación y que fueron acreditados en tercera instancia y 𝑁𝑁𝑁𝑁. el caso contrario. En función de las expresiones anteriores se define el potencial de acreditación, 𝑃𝑃_𝐴𝐴 , como la probabilidad de acreditar un programa de doctorado cualquiera sea la instancia. Formalmente𝑃𝑃_𝐴𝐴 es estimado por:

𝑃𝑃_𝐴𝐴 =𝑃𝑃.+(1−𝑃𝑃.)𝑃𝑃. +(1−𝑃𝑃.)(1−𝑃𝑃.)𝑃𝑃.

La definición del potencial de acreditación es un valor entre 0 y 1, incluidos ambos extremos. En la medida que 𝑃𝑃_𝐴𝐴→1, mayor será el potencial de acreditación. El potencial de acreditación de un programa permite identificar y jerarquizar las diferentes áreas de los programas de doctorados, identificando si el potencial de acreditación se distribuye uniformemente en las regiones o comparar según modalidad.

Define, asimismo el potencial de riesgo de no acreditación, 𝑃𝑃_𝑅𝑅 , como la probabilidad de no acreditar durante todo el proceso. Formalmente 𝑃𝑃_𝑅𝑅 es estimado por:

𝑃𝑃_𝑅𝑅= (1 −𝑃𝑃.) + (1 −𝑃𝑃.)(1 −𝑃𝑃.) + (1 −𝑃𝑃.)(1 −𝑃𝑃.)(1 −𝑃𝑃.)

o equivalentemente

𝑃𝑃_𝑅𝑅 =(1−𝑃𝑃.)(3−2𝑃𝑃.+𝑃𝑃.𝑃𝑃. −𝑃𝑃.)

En la medida que 𝑃𝑃_𝑅𝑅 →1 , mayor será el potencial de riesgo de no acreditar.

Basado en la notación de la Fig.

N°1, se define el potencial de acreditación integral (PAI) y el potencial de riesgo integral (PRI) que estiman las probabilidades de acreditación e incrementar el tiempo de acreditación en la reposición o apelación y finalmente no acreditar cualquiera sea la instancia, respectivamente.

Basado en esta notación de probabilidades existentes en cada instancia de acreditación, se tiene:

𝑃𝑃𝐴𝐴𝑃𝑃 = 𝑃𝑃11𝑃𝑃21𝑃𝑃32 +𝑃𝑃11𝑃𝑃22 +𝑃𝑃11𝑃𝑃22𝑃𝑃34 +𝑃𝑃12𝑃𝑃23𝑃𝑃36 +𝑃𝑃12𝑃𝑃24𝑃𝑃37

PAI es un valor entre 0 y 1, ambos incluidos, que su interpretación se basa en el grado de proximidad a 1, es decir, mientras más próximo me encuentro de 1, mayor es el potencial de acreditación integral. Similarmente PRI es definido como:

𝑃𝑃𝑅𝑅𝑃𝑃 = 𝑃𝑃₁₂1+𝑃𝑃₂₄(1+𝑃𝑃₃₈)

PRI es un valor entre 0 y 1, ambos incluidos, que su interpretación se basa en el grado de proximidad a 1, es decir, mientras más próximo me encuentro de 1, mayor es el potencial de riesgo integral.

5. Acreditación de programas doctorales en Chile: resultados y discusión

El análisis cuantitativo de los contenidos de acreditación de programas doctorales en Chile reveló que los criterios “Contexto institucional” (B), “Características y Resultados del programa” (C) y “Recursos de apoyo” (E) tuvieron efectos significativos (p-valor= 0.05) como predictores de los años de acreditación, teniendo un incremento de 0.93; 1.1 y 1.2 años, respectivamente en el tiempo de acreditación, por cada unidad de aumento en la puntuación asignada al criterio.

Todos los sub-criterios del criterio “Características y resultados del programa” (C) afectaron significativamente los años de acreditación. El poder predictor de los criterios y sub-criterios de acreditación en el tiempo de acreditación se ordenaron jerárquicamente de “Características y resultados del programa” (C) a “Recursos de apoyo” (E) y a “Contexto institucional” (B). Los sub-criterios de B y E mostraron una correlación significativa con los subcriterios de C, por lo que estos subcriterios están representados por los subcriterios: carácter, objetivos y perfil de egreso; requisitos de administración y procesos de selección; estructura del programa y plan de estudios; regresión de estudiantes y evaluación.

Los doctorados, etiquetados con los números 14; 31; 1; 19; 18; 26; 49; 48; 40; 37; 38; 41; 42, 33; 55; 54; 29 y 51 son similares en cuanto a asignación de puntajes (diagrama 2), no obstante existe, entre ellos, una amplia variación en cuanto a los años de acreditación (Tabla 1).

En la asociación entre los criterios según el coeficiente de correlación de Pearson se asumió un umbral de corte del 25% en el nivel de asociación tanto en aquella basada en las puntuaciones media de cada criterio y como en el puntaje acumulado de cada criterio. Se evidenció asociación entre D y E. Si bien D (cuerpo académico) no alcanza la significatividad sobre los años de acreditación, contribuye en segundo orden. Esto significa que este criterio afecta la significancia de E (recursos de apoyo) sobre los años de acreditación de los programas doctorales.

Los cálculos del Potencial de Acreditación y el Potencial de Riesgo de no acreditación y el Potencial de Acreditación Integral y Potencial de Riesgo integral de no acreditar, son los siguientes:

Potencial de Acreditación:

Esto significa que el 97% de los programas de doctorado sometidos a acreditación logran acreditar, cualquiera sea la instancia.

Potencial de Riesgo de no Esto significa que el 38% de los acreditación: programas de doctorado sometidos a

acreditación no logran acreditar durante todo el proceso.

=0.38

Esto significa que el 57% de los Potencial de Riesgo Integral de programas de doctorado sometidos a no acreditar.

acreditación logran acreditar e incrementar con la reposición o apelación.

Esto significa que el 27% de los programas de doctorado sometidos a acreditación no logran acreditar ni incrementar con la reposición o apelación.

El aseguramiento de la calidad de los programas doctorales varía entre disciplinas, países, mecanismos y aun conceptualmente (Tinkler y Jackson, 2000; Denicolo, 2003; Morrison et al, 2011; Bentley, 2013). Sin embargo, siempre es considerado un tema de la mayor relevancia por el significado que posee este nivel formativo (Walker et al, 2008).

No obstante esta variabilidad, los impactos y resultados del mejoramiento y aseguramiento de su calidad de los doctorados son materia de discusión, puesto que en algunos casos se ha evidenciado inefectividad y otros no han sido estudiados en profundidad. Se advierte, asimismo, la carencia de instrumentos que permitan efectuar procesos metaevaluativos rigurosos que den cuenta de lo que está efectivamente midiendo cuando se evalúan doctorados. También de cuáles son las variables que explican los desempeños de los programas. Esta información es indispensable para retroalimentar los procesos de acreditación y evaluación de doctorados y en general del postgrado.

Como se ha señalado previamente, el caso chileno presenta una serie de características favorables para estudios metaevaluativos. Adicionalmente, es necesario considerar que, existiendo cinco áreas para la acreditación de universidades, el postgrado es el que presenta los menores desempeños. Menos de un cuarto de las universidades chilenas están acreditadas en esta área, a diferencia de las áreas de gestión, docencia de pregrado, investigación y vinculación con el medio. El período de acreditación alcanza casi los 6 años (para un máximo de 7 años), dando cuenta de una alta selectividad institucional (López et al, en prensa). Complementariamente el tiempo de acreditación institucional de cada Universidad es explicada en alto grado por la acreditación de las áreas de postgrado e investigación (López et al, 2015).

Siendo los doctorados en donde radican las mayores exigencias para la acreditación, la metaevaluación de los procesos regulatorios de aseguramiento de su calidad, no sólo pueden impactar en estos programas, sino en el conjunto de procesos de acreditación institucional y de los programas. El conocimiento existente sobre la situación actual de la acreditación de doctorados en Chile revela los siguientes hechos: - se evalúan solo dimensiones, criterios y subcriterios, no existiendo estándares. El único criterio “estandarizado” corresponde a las exigencias del cuerpo docente respecto de publicaciones y proyectos de investigación (http://www.cnachile.cl).

Probablemente este hecho está asociado a que las limitaciones en el cuerpo docente sea la variable que aparentemente más influye en los resultados de acreditación, por su repetida mención en dictámenes de programas no acreditados o acreditados por períodos cortos; - de los alrededor de 240 programas doctorales que dictan exclusivamente las universidades, el 62% está acreditado; - la proporción de programas asociativos interinstitucionales acreditados es muy bajo, a pesar que el tiempo de acreditación es mayor que aquellos dictados por una sola institución. Una situación análoga ha sido establecida en programas europeos (Ariza et al, 2012); - en forma paralela existen programas doctorales que se realiza en el extranjero con apoyo estatal a través de becas de alta cobertura, sin una clara regulación nacional, lo que está generando desempleo (Espinoza y González, 2009; González y Jiménez, 2014; Conicyt, 2014; López et al, enviado).

No existen, en cambio, antecedentes fundados de la efectividad de los procesos regulatorios. Si bien es posible afirmar que se ha avanzado en la definición de sistemas y modelos de aseguramiento de la calidad en programas de postgrado en Iberoamérica, aún no es posible establecer su impacto en la formación del postgrado (Cruz y Martos, 2010).

Los resultados obtenidos no comprueban el rol atribuido a las características del cuerpo docente en la acreditación de los doctorados, estando las características y resultados del programa la mayor explicación de los resultados. No obstante, el cuerpo académico tiene asociación con los recursos de apoyo que tienen efectos significativos en el tiempo de acreditación. El modelo establece que aspectos claves son las características, objetivos y perfil de egreso, la admisión y selección, la estructura y el plan de estudios, así como la progresión de los estudiantes. Estos resultados pueden interpretarse por la importancia otorgada por los pares externos y por el Consejo de la CNA a los aspectos más propiamente formativos, más que en las variables de contexto o a la generación de competencias en investigación autónoma, que son las que definen la calidad de la formación doctoral. Es decir existe un mayor acento en procesos que en resultados. De los subcriterios que probaron ser significativos en el tiempo de acreditación, sólo la progresión de los estudiantes constituye un resultado. A este respecto es especialmente relevante los problemas que se generan en la realización de tesis (de Miguel Díaz, 2010). Los resultados de las tesis se vinculan naturalmente a la productividad científica de los estudiantes. En términos aspiracionales (Harrington et al, 2014), han jerarquizado para un buen programa doctoral, altas tasas de retención, efectividad en tiempos de graduación, participación en reuniones científicas y liderazgo en la producción de artículos y proyectos de investigación.

6. Conclusiones

La propuesta metodológica indica que el modelo integrado es congruente con los requerimientos de metaevaluación de programas doctorales, en cuanto puede definir el efecto de los criterios utilizados en el tiempo de acreditación. Establece además la subjetividad de los procesos, en tanto no hay correspondencia entre desempeños y tiempo de acreditación. Tal situación es congruente con el carácter cualitativo de los instrumentos utilizados en la acreditación y explica la aleatoriedad de los resultados. El potencial de acreditación es alto y se asocia a los resultados obtenidos en las varias instancias que tienen los programas doctorales para alcanzar la acreditación.

La evidencia del protagonismo de ciertos criterios y subcriterios en los resultados de la acreditación de programas doctorales en Chile, entrega información que permite la retroalimentación a nivel de cada programa con los requerimientos de acreditación. También aporta al análisis del diseño de los mecanismos utilizados por la agencia acreditadora. Particularmente en aspectos tales como la aleatoriedad y subjetividad de los resultados y el énfasis en procesos más que en competencias.

Por último la aplicación de este inédito modelo metaevaluativo aplicado a procesos de aseguramiento de la calidad (acreditación) en doctorados en Chile posee un potencial de replicación en la acreditación de otras áreas como docencia –pregrado y postgrado-, vinculación con el medio e incluso a nivel de instituciones de Educación Superior. También en sistemas de acreditación utilizadas en otros países.

Desde esta perspectiva esta investigación genera un instrumento que contribuye metodológicamente a los procesos de gestión de aseguramiento de la calidad de la Educación Superior.

Referencias bibliográficas

Ariza, Tania, Quevedo-Blasco, Raúl, Bermúdez, María Paz y BuelaCasal, Gualberto (2012), Análisis de los Programas de Doctorado con Mención de Calidad. European Jounal of Education and Psycology, Vol. 5, No. 2, público ASUNIVEP de España, pp.107-119.

Baschung, Lukas (2016), Identifying, characterizing and assessing now practices in doctoral Education. European Journal of Education, Vol. 51, No.4, público ASUNIVEP de España, pp. 522-534.

Bentley, Kia (2013), Toward an evaluation framework for doctoral education in social work: a 10- year, retrospective of one PhD program’s assessment experiences. Journal of social work education, Vol. 49, No. 1, public Taylor & Francis Group, U.S.A, pp. 30-47. https:// doi.org/10.1080/10437797.2013. 755089

Cancino, Víctor y Schmal, Rodolfo (2014), Sistema de acreditación universitaria en Chile: ¿Cuánto hemos avanzado? Estudios Pedagógicos, Vol. 40, No. 1, público Universidad Austral de Chile, pp.41-60.

Castro, Ángel, Guillén-Riquelme, Alejandro, Quevedo-Blasco, Rául, Ramiro, María Tereasa, Bermúde, María Paz y Buela-Casal, Gualberto (2010), Las escuelas doctorales: evolución histórica, características y aspectos relevantes para su consolidación en España. Aula Abierta, Vol. 38, No. 2, pública Universidad de Oviedo, España, pp. 17-28.

Cruz, Víctor y Martos, Francisco (2010), Evaluación de la calidad de los programas de maestría y doctorado en Iberoamérica. Revista Digital Universitaria, Vol.11, No. 5, pública UNAM, México, 1-13.

Comisión Nacional de Acreditación (CNA), (2018), www.cnachile.cl (fecha de consulta 6 enero del 2018).

Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), (2014), Compendio Estadístico 2008-2013. Santiago, Chile, CONICYT.

Comisión Nacional de Pregrado (CNAP), (2007), El modelo chileno de acreditación de la Educación Superior CNAP (1997-2007). Santiago, Chile, Comisión Nacional de Pregrado, Santiago de Chile, p.119

Dehay, Tamara, Ross, Sarah, Williams, Jason y Ponce, Allison. (2016.), Factors associated with accreditation: a comparison of accredited and non accredited psychology doctoral internship programs. Training and Education in Professional Psychology. Vol. 10, Nº3: 125-132. American Psychological Association. Washington, DC. (USA).

De Miguel Díaz, Mario. (2010), PhD assessment and improvement. Revista de Educación, No. 352, público, Ministerio de Educación, Cultura y Deporte, España, pp, 569-581.

Denicolo, Pam (2003), Assessing the PhD: a constructive view of criteria. Quality Assurance in Education, 11 (2), Emerald Publishing, Ingland, pp. 84-91.

Dey, Barnali, Mehedi, Jishan y Dey, Rajeeb. (2013), Assessment of Ph.D (technology) quality in Indian universities: AHP based decision model. Proceedings of 2013 IEEE International Conference on Teaching, Assessment ond Learning for Engineering, TALE 2013: 484-489

Espinoza, Oscar (2010), Los sistemas de Aseguramiento de la Calidad en América Latina. Akademia, Vol. 1, No. 1. Universidad Gabriela Mistral, Chile, pp. 7-22.

Espinoza, Oscar y González, Luis (2009), Desarrollo de la formación de postgrado en Chile. Revista Iberoamericana de Ciencia, Tecnología y Sociedad, Vol. 5, No. 13, público OEI, U. Salamanca, REDES, Argentina, pp. 217-232.

Espinoza, Oscar y González, Luis (2013), Accreditation in Higher Education in Chile: results and consequences. Quality Assurance in Education, Vol. 21, No. 21, público, Emerald Publishing, Ingland, pp. 20-38.

George, Darren y Mallery, Paul (2003), Using SPSS for Windows step by step: a simple guide and reference. U.S.A.

González, Campos José, Carvajal Muquillaza Cristian y Viveros Reyes Francisca (2016), Coeficientes edumétricos para la validez y dificultad de un test: Propuesta. Estudios pedagógicos, Vol.42, No.3, público, Universidad Austral, Chile, pp. 467-481.

González, Horacio y Jiménez, Alejandro. (2014), Inserción laboral de nuevos investigadores con grado de doctor en Chile. Journal of Technology Management & Innovation, 9 (4), público, Universidad Alberto Hurtado, pp. 132-148.

Harrington Donna, Christopher Petr, Beverly Black, CunninghamWilliams, Renee y Bentley, Kia (2014), Quality guidelines for social work PhD programs. Research on social work practices, Vol. 24, No. 3, public, Sage Journals, U.S.A, pp. 281-286.

Hernández, R., Fernández C. y Baptista, L. (2014), Metodología de la Investigación. México D. F., McGraw-Hill Education.

Hinde, J. (1982), GLIM 82. Proceedings of the International Conference on Generalised Linear Models. (pp. 109-121). Springer, New York.

Lane, Julia, Owen-Smith, Jason, Rosen, Rebeca y Weinberq, Bruce (2015), New linked data on research investments scientific workforce, productivity and public value. Research Police, No. 44, public, Elsevier, U. S.A., pp. 1659-1671.

Lemaitre, María José (2005), Aseguramiento de la calidad en Chile: impacto y proyecciones. Aseguramiento de la calidad: impacto y proyecciones. Serie de Seminarios Internacionales. (Cap. 1, pp. 55-69). Santiago, Chile, Consejo Superior de Educación.

Letelier, Mario y Carrasco, Rosario (2004), Higher education assessment and accreditation in Chile: state-of-the art and trends. European Journal of Engineering Education, Vol. 29, No. 1, público, ASUNIVEP de España, pp. 119-24.

López Daniel, Espinoza, Oscar y Sarzoza, Silvia. Resultados derivados de la aplicación de políticas de aseguramiento de la calidad en programas doctorales en universidades chilenas. Revista Opción, Universidad de Zulia, Venezuela. (en revisión).

López, Daniel Asdrúbal, Rojas, María Jacqueline, López, Boris y López, Daniel C. (2015), Chilean universities and institutional quality assurance processes. Quality Assurance in Education, Vol. 23, No. 2, public, Emerald Publishing, Ingland, pp. 166-183.

López Daniel Asdrúbal, Rojas, María Jacqueline, Rivas, Margarita. ¿Existe aprendizaje institucional en los procesos de acreditación de las universidades chilenas? Avaliação da Educação Superior, edita, (RAIES), (UNICAMP) (UNISO), Brasil. (En prensa).

Ministerio de Educación (2006), Establece un sistema nacional de aseguramiento de la calidad de la educación superior (Ley N° 20.129). Publicada el 17 de noviembre de 2006 en Diario Oficial de la República de Chile. Santiago, Chile. https://www.leychile.cl/ Navegar?idNorma=255323 (fecha de consulta 9 noviembre del 2017).

Morrison, Emory, Rudd, Elizabeth, Zumeta, William y Nerad, Maresi (2011), What matters for excellence in PhD programs? Latent constructs of doctoral program quality used quality used by early career social scientists. Journal of Higher Education, Vol. 82, No.5, public Taylor & Francis Group, U.S.A, pp. 535-563.

Munita, María Isabel y Reyes Javiera (2012), El Sistema de postgrado en Chile: evolución y proyecciones para las universidades del Consejo de Rectores de Universidades Chilenas. Santiago, Chile, Consejo de Rectores de Universidades Chilenas.

Namakforoosh Mohammad Naghi. (2000), Metodología de la investigación. Limusa.

Nerad, Maresi (2004), The PhD in the US: criticisms, facts and remedies. Higher Education Policy, Vol. 17, No.2, public, Springer, Alemania, pp 183-199

Ojeda, Mario (2003). La modelación estadística. Universidad Veracruzana. Universidad Autónoma de Tabasco. México.

Sistema de Información de Educación Superior (SIES). (2017), www.sies. cl (fecha de consulta 9 noviembre del 2017).

Tinkeler, Penny y Jackson, Carolyn (2010), Examining of doctorate: institutional policy and the PhD examination process in Britain. Studies in Higher Education, Vol. 25, No. 2, public Taylor & Francis Group, U.S.A, pp. 166-180.

Wainerman, Catalina y Matovich, Ivan (2016), El desempeño en el nivel doctoral de Educación en cifras: ausencias de información y sugerencias para su producción. Archivos Analíticos de Políticas Educativas, Vol. 24, No. 126, público College of Education University of South Florida, U.S.A. pp. 1-18

Walker, George, Golde, Chris, Janes, Laura, Bueschel, Andrea y Hutchings, Pat (2008), The formation of scholars: rethinking doctoral education for the 21st century. San Francisco. C.A. Josey-Bass.

Zapata, Gonzalo y Tejeda, Ivo (2009), Impactos del aseguramiento de la calidad y acreditación de la Educación Superior. Consideraciones y proposiciones. Calidad en la Educación Superior, Vol. 31, No. 1, público, Consejo Nacional de Educación, Chile, pp.192-209