Artículos Originales

Evidencias de validez y confiabilidad de la Escala de Metas de Estudio (EME) en universitarios peruanos

Evidence for Validity and Reliability of the Scale of Goals of Study in Peruvian Undergraduate Students.

Jara Barnett, Linda
Universidad Peruana de Ciencias Aplicadas, Perú
Hilarion Palomino, Margot
Universidad Peruana de Ciencias Aplicadas, Perú
Manzanares Medina, Eduardo
Universidad Peruana de Ciencias Aplicadas, Perú

Evidencias de validez y confiabilidad de la Escala de Metas de Estudio (EME) en universitarios peruanos

Revista Argentina de Ciencias del Comportamiento, vol. 14, núm. 1, pp. 23-35, 2022

Universidad Nacional de Córdoba

Recepción: 04 Agosto 2020

Aprobación: 24 Noviembre 2020

Resumen: El presente estudio instrumental tuvo por objetivo analizar las propiedades psicométricas de la Escala de Metas de Estudio (EME). Participaron 287 universitarios de Lima, (66% hombres), de 18 a 26 años (M = 19.66, DE = 1.64). Se realizó un análisis factorial confirmatorio donde el modelo de tres factores relacionados presentó adecuados índices de ajuste (CFI = .92, SRMR = .06, RMSEA = .07). Adicionalmente, se hallaron correlaciones positivas y significativas entre la EME y la Escala de Autoeficacia Percibida Específica de Situaciones Académicas (EAPESA), así como con la dimensión Autorregulación académica de la Escala de Procrastinación Académica (EPA). La confiabilidad por consistencia interna para las dimensiones de la EME fue: metas de aprendizaje (ω = .90); metas de logro (ω = .88) y metas de refuerzo social (ω = .88). Se concluye que, la EME cuenta con apropiadas evidencias de validez y confiabilidad en la muestra de estudio.

Palabras clave: Metas de estudio, validez, confiabilidad, universitarios.

Abstract: The objective of this instrumental study was to analyze the psychometric properties of the Study Goals Scale (EME). The sample taken was of 287 university students from Lima, (66% men), ages 18 to 26 years old (M = 19.66, SD = 1.64). A confirmatory factor analysis was performed where a structure of three factors related to goodness of fit indices is valid (CFI = .92, SRMR = .06, RMSEA = .07). In addition, positive correlations were found between the EME and the Specific Perceived Self-Efficacy Scale of Academic Situations (EAPESA), as well as with the Academic Self-regulation dimension of the Academic Procrastination Scale (EPA). The internal consistency reliability of the EME was: learning (ω = .90); achievement (ω = .88) and social reinforcement goals (ω = .88). In conclusion, the EME has appropriate evidence of validity and reliability in this sample.

Keywords: Achievement goals, validity, reliability, undergraduate students.

Introducción

En los últimos años, la educación superior en el Perú ha presentado cambios importantes y se reconoce que invertir en la educación de un país genera mejores oportunidades en la población como: la accesibilidad de empleos, incrementos en los ingresos y una sociedad democrática, donde se desarrolla ciencia y tecnología para el beneficio de sus habitantes (Alarcón, 2016). Sin embargo, la Organización para la Cooperación y el Desarrollo Económico (Organización para la Cooperación y el Desarrollo Económico, 2013) cada año precisa información relevante acerca de la educación a nivel mundial donde muestra que los índices de deserción académica incrementan y se aproximan en un 30%. Dicha organización refiere que países como Australia, Dinamarca, Francia y Japón desarrollan cifras cercanas al 20% y en los Estados Unidos, Chile, Hungría y Suecia tienen una deserción del 50%. Este fenómeno presenta diversas causalidades ya sea por problemas económicos e intelectuales, lo cual genera en el estudiante un mayor riesgo en no culminar una carrera profesional debido a que no cuenta con los medios y el acompañamiento oportuno (Izquierdo Cázares & Mestanza Páez, 2017).

La deserción académica se ha convertido en un problema global. Así, por ejemplo, en España, el abandono universitario varía entre un 30% y 50% (Arriaga, 2017). Existen datos en la Unión Europea (UE) que evidencian que el 53.8% de jóvenes entre 18 a 24 que abandonaron la educación se encontraron desempleados o inactivos durante el 2018 (Eurostat, 2019). De ahí que, los países que conforman la Unión Europea (UE) se han propuesto reducir en un 10% la deserción de sus estudiantes para el 2020.

En América Latina se presentan datos semejantes de la deserción académica, en Argentina el 60% de los estudiantes abandonan la universidad (Flores et al., 2016), en Chile más del 50% de los estudiantes que ingresan a la universidad, desertan en los primeros ciclos (Santelices, Catalán, Horn, & Kruger, 2013). En el Perú se encuentran pocas investigaciones que hayan indagado en esta problemática, teniendo en cuenta que anualmente desertan entre 40 a 50 mil universitarios aproximadamente, de los cuales un 70% corresponde a instituciones privadas y los factores asociados a esas causalidades son los aspectos vocacionales y económicos (Plascencia, 2011). A pesar de ello, en este contexto se evidencia carencias en la implementación de programas que aborden la permanencia del estudiante universitario (Sánchez-Hernández, Barboza-Palomino, & Castilla-Cabello, 2017).

En un estudio acerca de la deserción universitaria (Guevara, 2018), se realizó un análisis de normativas en cinco universidades del Perú donde se encontró que en todos los casos describen la misma situación teniendo en cuenta la definición de deserción forzada que implica la pérdida de condición del estudiante por motivos académicos. Asimismo, en el mismo estudio, no se encontraron evidencias que investigan las causas o factores con mayor determinismo que conlleva la deserción forzosa de los estudiantes. En caso contrario se evalúa una preocupación por estas universidades para determinar las causas de abandono o deserción voluntaria en los primeros ciclos para generar estrategias que puedan contrarrestarlas.

Existen varios factores que explican la deserción académica, uno de ellos es la falta de motivación que influye negativamente en las metas académicas y los objetivos de los estudiantes. La motivación se entiende como un impulso psicológico que permite al estudiante alcanzar lo que se propone en la vida, dándole un sentido e importancia a lo que el individuo más anhela (La Rosa, 2015). Otro factor que explica la deserción es la desorientación académica, que afecta más a los universitarios que se encuentran en los primeros ciclos, y que, a su vez, es producto del cambio educativo del alumno acostumbrado al colegio, que de pronto se encuentra en la universidad con otro tipo de dinámica (Parrino, 2010). Es por ello que los estudiantes, en los primeros años de la universidad, se encuentran en una etapa de adaptación en la cual presentan dificultades para adecuarse a un nuevo ambiente, dado que están ahora en un sistema educativo diferente con respecto al colegio (Michavila Pitarch, 2015).

Es por eso, que esta problemática se ha convertido en un desafío para el sector educativo superior, ya que tienen que indagar las metas de los estudiantes y responsabilizarse de la persistencia de los alumnos (Durán-Aponte & Arias-Gómez, 2015). En ese contexto, resulta relevante disponer de un instrumento para medir las metas académicas, con el fin de conocer más acerca de las motivaciones de los universitarios.

Las metas académicas constituyen un modelo que integra pensamientos, emociones y percepciones de las cosas, de acuerdo con las experiencias e interpretaciones (Travezaño, 2018). Esto influye en el aprendizaje de la persona debido a que dispone de conocimientos, capacidades y habilidades necesarias, así como intención, disposición y motivación suficiente para alcanzar lo que se propone (Núñez, 2009). Las metas académicas constituyen un patrón de pensamientos, atributos, afectos y sensaciones que direccionan las acciones y ejecuciones del estudiante hacia una determinada tarea académica (Gaeta, Cavazos, Sánchez, Rosario, & Högemann, 2015). Asimismo, este patrón presenta diferentes formas para aproximarse, comprometerse y plantear soluciones que le permitan alcanzar metas, las cuales constituyen representaciones mentales de lo que el estudiante desea lograr, se pueden clasificar en intrínsecas, cuando el alumno desea obtener conocimientos para lograr crecimiento personal y extrínsecas, cuando desea obtener aprobación de personas (Correa, Cuevas, & Villaseñor, 2016). Del mismo modo, La Rosa (2015) señala que las metas académicas pueden considerarse un estilo motivacional dado que los estudiantes requieren estar motivados para aprender y no sólo hacer uso de sus habilidades cognitivas y meta-cognitivas para obtener logros académicos.

Según Durán-Aponte y Arias-Gómez (2015), las metas académicas están conformadas por dos dimensiones: (a) metas de aprendizaje, que implica que los estudiantes tienen el deseo de desarrollar su capacidad para obtener nuevos aprendizajes, y (b) metas de rendimiento, mediante las cuales los estudiantes buscan demostrar su capacidad a los demás.

El modelo de metas académicas propuesta por Dweck y Leggett (1988), identifica una meta de aprendizaje y dos metas de rendimiento: (a) Meta de aprendizaje, busca que el estudiante incremente su habilidad por medio de la adquisición y el conocimiento, perfeccionando en la ejecución de la tarea; (b) Meta de logro, evalúa el propósito de conseguir resultados favorables en las evaluaciones académicas y avanzar; (c) Meta de refuerzo social, mide la postura de los estudiantes en aprender con la intención de conseguir aprobación y evitar el rechazo en el entorno social (Durán-Aponte & Arias-Gómez, 2015).

Con base en la teoría previamente expuesta, Hayamizu y Weiner (1991) diseñaron un instrumento (Questionnaire to Measure Achievement Goal Tendencies) para medir las metas académicas. La validación del cuestionario se realizó en una muestra conformada por 123 estudiantes del primer ciclo. Como evidencia de validez basada en la estructura interna, se realizó un análisis factorial exploratorio con rotación Varimax donde se descubrió una estructura de 3 factores, que obtuvo una varianza explicada de 52.4%. De igual forma, reportaron una confiabilidad aceptable de las puntuaciones para el factor metas de aprendizaje (α = .89), metas de refuerzo social (α = .78) y metas de logro (α = .71).

Para la adaptación de dicho instrumento, denominado Escala de Metas de Estudio (EME) se han realizado estudios psicométricos en diferentes países latinoamericanos. Así por ejemplo en Venezuela (Durán-Aponte & Arias-Gómez, 2016) en una muestra de 342 estudiantes del primer ciclo en donde se estimó la confiabilidad por consistencia interna mediante el coeficiente alfa de Cronbach que osciló desde .83 a .87 y se revisó la validez basada en la estructura interna mediante el Análisis Factorial Confirmatorio, en donde se compararon dos modelos obtenidos previamente en el Análisis Factorial Exploratorio (AFE) (Modelo 1: 3 factores con 16 ítems y Modelo 2: 4 factores con 20 ítems). De acuerdo a los resultados obtenidos se encontró que el modelo 1 fue el que presentó los mejores índices de ajuste (χ² = 408.49; RMSR = .76; GFI = .93; AGFI = .92; PNFI = .82) en comparación con el modelo 2 (χ² = 781.48; RMSR = .84; GFI = .82; AGFI = .77).

Por otra parte, en Chile (Pérez Villalobos, Díaz Mujica, González-Pienda, Núñez Perez, & Rosário, 2009) también se realizó una adaptación del instrumento en una muestra de 542 estudiantes del primer año universitario. En dicho estudio se encontraron coeficientes de confiabilidad por consistencia interna mediante el coeficiente alfa entre .77 a .86. Además, como evidencia de validez basada en la estructura interna, se encontraron mediane un AFE tres factores que explican el 51% de la varianza con cargas factoriales entre .63 a .80. En Argentina, Corral y Leite (2002) desarrollaron un estudio correlacional donde se reportaron análisis psicométricos preliminares con una muestra de 383 universitarios del primer y el segundo año. La confiabilidad por consistencia interna se obtuvo mediante el coeficiente alfa que van desde .76 a .85 y con respecto a la evidencia de validez basada en la estructura interna se utilizó el Análisis Factorial Exploratorio (AFE) que sugirió la existencia de tres factores subyacentes a los ítems explicando el 50.77% de la varianza total, presentando cargas factoriales que oscilaron entre .59 y .79.

En el Perú, Escurra et al. (2004), con una población de 1018 estudiantes, obtuvieron adecuados coeficientes de confiabilidad que estuvieron en el rango de .85 a .90 para las tres dimensiones y de .94 para la escala total, siendo éstos, mayores a los encontrados en estudios mencionados anteriormente. Utilizaron el análisis factorial confirmatorio (AFC) que reveló una estructura interna de una sola dimensión, lo cual refleja una estructura distinta a lo encontrado en los estudios descritos previamente. El modelo de tres factores no presentó índices de ajustes aceptables (χ² = 534.45; p < .001; RMR = 2.15; GFI = .70; AGFI = .69), en comparación con el modelo unidimensional (χ² = 1.20; p = .89; RMR = .04; GFI = .99; AGFI = .99).

A partir de los expuesto, se considera la presente investigación que aporta metodológicamente al campo de la psicología educativa al brindar un instrumento útil para explorar los aspectos motivacionales en los estudiantes, ya que es considerada una variable importante para medir la situación académica universitaria (Gutiérrez & Tomás, 2018). Por lo tanto, esta investigación permitirá disponer de un instrumento de medición con evidencias de validez y confiabilidad que permitan hacer inferencias sobre las metas académicas en el contexto peruano. Asimismo, la escala tiene una cantidad de ítems óptimos que facilitan su aplicación por parte de los psicólogos educativos y educadores para su uso en la práctica, así como, en el desarrollo de otras investigaciones. Esto brindará a los educadores la posibilidad de conocer acerca de las verdaderas motivaciones e interés de los estudiantes con el fin de desarrollar un mejor clima de aprendizaje en clase, fomentar la participación y ayudar al estudiante a obtener un mejor desempeño académico (Suárez, Fernández, & Zamora, 2018).

En ese sentido, el objetivo del estudio es analizar las propiedades psicométricas de la Escala Metas de Estudio en estudiantes universitarios de Lima. En específico, se propone analizar tres fuentes de validez: contenido, estructura interna y en relación con otras variables. Además, se busca estimar la confiabilidad de las puntuaciones mediante el método de consistencia interna.

Método

El presente estudio es de tipo instrumental, debido a que busca analizar las propiedades psicométricas de la EME (Ato, López, & Benavente, 2013)

Participantes

La población de estudio fueron jóvenes estudiantes universitarios de una institución pública ubicada en Lima Metropolitana que cursaban carreras de ingeniería y arquitectura. En el estudio participaron 287 estudiantes (66% hombres y 34% mujeres) con edades comprendidas entre los 18 a 26 años (M = 19.66; DE = 1.64). En cuanto al ciclo de estudio estuvieron entre los dos primeros años de estudio (1° ciclo = 43%; 2° ciclo = 30%; 3° ciclo = 21%; 4° ciclo = 6%) de las siguientes carreras: Ingeniería Eléctrica (18%), Ingeniería Electrónica (7%), Ingeniería de Telecomunicaciones (9%), Arquitectura (35%) e Ingeniería Ambiental (32%). La muestra fue seleccionada a través de un muestreo no probabilístico de tipo intencional. Los criterios de inclusión fueron que sean estudiantes de pregrado con matrícula activa y que estén entre los primeros dos años de estudio de la carrera.

Instrumentos

Escala de Metas de Estudio (EME) (Pérez et al., 2009). Es una adaptación con algunas modificaciones del Cuestionario de Metas Académicas (Valle, 1997; Valle Arias, González Cabanach, & Cuevas González, 1997), a partir de la versión original denominada Questionnaire to Measure achievement Goal Tendencies de Hayamizu y Weiner (1991). La escala está conformada por 20 ítems y tiene seis alternativas de respuesta tipo Likert que va de 0 (falso total) a 5 (verdadero total). Su estructura se encuentra conformada por tres orientaciones motivacionales: (a) metas de aprender o de aprendizaje, por ejemplo “Para mí es interesante resolver problemas” (ítems del 1 al 8); (b) metas de refuerzo social, por ejemplo “Quiero ser elogiado (a) por mis padres y profesores” (ítems del 9 al 14) y (c) metas de logro, por ejemplo “Quiero obtener buenas notas” (ítems del 15 al 20). La Escala de Metas de Estudio se adaptó y validó en una muestra de 542 estudiantes chilenos que cursan el primer año universitario (Pérez et al., 2009). Se determinó la evidencia de validez basada en la estructura interna mediante un análisis factorial exploratorio, en donde se encontró una estructura de tres dimensiones que explicaron el 51% de la varianza total. La consistencia interna de los puntajes de los tres factores resultantes fue adecuada: (a) Metas de aprendizaje (α = .83), (b) metas de refuerzo social (α = .86) y (c) metas de logro (α = .77).

Escala de Autoeficacia Percibida Específica de Situaciones Académicas (EAPESA). Fue diseñada por Palenzuela (1983) y validada por Domínguez-Lara, Villegas, Yauri, Mattos y Ramírez (2012) en una muestra de 249 estudiantes universitarios (58 varones). La escala consta de 9 preguntas con cuatro opciones de respuesta tipo Likert: Nunca, Algunas veces, Bastantes veces y Siempre, por ejemplo “Me considero lo suficientemente capacitado para enfrentarme con éxito a cualquier tarea académica”. Domínguez-Lara et al. (2012) han determinado además dos fuentes de evidencia de validez. Uno de ellos es la validez basada en el contenido mediante el uso de V de Aiken y otra validez es basada en la estructura interna mediante el análisis factorial exploratorio de donde se obtuvo un solo factor que explicó el 55.26% y en donde los ítems presentaron carga factoriales que oscilaron de .56 a .73. Asimismo, estimó una confiabilidad para ese único factor mediante el coeficiente alfa de Cronbach, obteniéndose un valor de .89. Como parte de la presente investigación, se analizó la evidencia de validez basada en la estructura interna mediante un AFE. Dicho análisis, dio como resultado un solo factor que explicó el 45.26% de la varianza total con cargas factoriales entre .50 y .75. El único factor obtenido presentó una adecuada confiabilidad por consistencia interna (α = .88, IC 95% = .85, .90)

Escala de Procrastinación Académica (EPA). Fue diseñada por Busko (1998) y validada por Domínguez-Lara, Villegas García y Centeno Leyva (2014) en una población de 379 estudiantes de una universidad privada de Lima Metropolitana. La escala consta de 12 preguntas (por ejemplo “Cuando tengo que hacer una tarea, normalmente la dejo para el último minuto”) con cinco opciones de respuesta tipo Likert: Siempre, Casi siempre, A veces, Pocas Veces y Nunca. Con respecto a la validez relacionada a la estructura interna, mediante el análisis factorial exploratorio se encontró una estructura de dos factores (Autorregulación Académica y Postergación de Actividades) que explicaron el 49.55% de la varianza total y presentaron cargas factoriales de .43 y .78 respectivamente. Esto modelo de dos factores fue luego corroborado mediante un análisis factorial confirmatorio en donde se obtuvieron índices de ajuste aceptables (χ² = 176.3; gl = 53; CFI = .97; RMSEA = .078 [.066; .091]). Asimismo, reportaron una confiabilidad mediante el alfa de Cronbach, donde el factor de Autorregulación Académica obtuvo un alfa de .82 y la dimensión Postergación de Actividades mediante el coeficiente alfa fue de .75. Para el presente estudio mediante el AFE se analizó la estructura interna de la EPA donde se encontró también la estructura de dos dimensiones que explicaron el 36.61% de la varianza total. El primer factor (Autorregulación Académica) alcanzó cargas factoriales que oscilaban en un rango de .38 a .77 y una adecuada consistencia interna (α = .79, IC 95% = .74, .83). Mientras que, el segundo factor (Postergación de Actividades) las cargas factoriales fueron de .41 a .81 e indican una consistencia interna adecuada (α = .72, IC 95% = .66, .77).

Procedimiento

En primer lugar, se solicitó el permiso a los autores de cada escala: EME, EAPESA y EPA para el uso de los tres instrumentos mediante un correo electrónico, la cual fue aprobada. Previo a la aplicación, se realizó una evaluación del contenido de los ítems para la EME con el fin de analizar los aspectos de claridad lingüística, coherencia y relevancia, así como su pertinencia para el contexto peruano. La revisión del instrumento fue realizada por nueve jueces, quienes ejercían el rol de docentes universitarios y estaban especializados en temas educativos y psicométricos.

Posteriormente, se aplicaron los tres instrumentos a los estudiantes en sus respectivas aulas. Se hizo hincapié que su participación era voluntaria y anónima, para lo cual se hizo entrega de un consentimiento informado y se solicitó firmar el documento. La investigación tuvo la aprobación de las Facultades de Ingeniería Electrónica, Ingeniería de Telecomunicaciones, Ingeniería Eléctrica, Arquitectura e Ingeniería Ambiental de la universidad donde se aplicaron los instrumentos. Asimismo, la aplicación se llevó a cabo de manera grupal en los salones de clase de la institución, teniendo una duración aproximada de 25 minutos. El proceso de recolección de los datos estuvo a cargo de dos evaluadoras, quienes estuvieron atentas a responder cualquier inquietud de los participantes.

Análisis de datos

Los análisis se realizaron por etapas. En la primera la etapa, se examinó la validez basada en el contenido, para ello se utilizó el coeficiente V de Aiken (Merino & Livia, 2009) que indica el grado de concordancia entre los jueces que de acuerdo con algunos autores (Charter, 2003) el mínimo de requerido o el punto de corte es .70 siendo muy exigente, y siendo muy flexible un valor de .50.

En la segunda etapa, mediante el programa Jamovi versión 1.2.22, se realizó la revisión de la estructura interna mediante el análisis factorial confirmatorio (AFC), en la medida que ya había suficiente evidencia previa que apuntaba a una estructura de tres factores (Corral & Leite, 2002; Durán-Aponte & Arias-Gómez, 2016; Pérez et al., 2009). Sin embargo, se probaron dos modelos: (a) modelo de tres factores relacionados y (b) modelo unidimensional, este último debido a los resultados obtenido en el estudio de Escurra et al. (2004). Para la evaluación del ajuste de los modelos, se utilizaron los siguientes índices de bondad de ajuste con sus respectivos puntos de corte para la interpretación (Medrano & Muñoz-Navarro, 2017): índice de ajuste comparativo (CFI) que compara dos modelos, una viable y otro no viable (> .90). Por otro lado, la raíz del residuo estandarizado medio (SRMR) y el error cuadrático medio de aproximación (RMSEA) que miden el error en caso de que no se ajuste el modelo propuesto (< .08). El Chi-Cuadrado (χ²) entre los grados de libertad evalúa el ajuste global del modelo que aumenta según el tamaño de la muestra (< 3). Además, se consideraron los siguientes criterios referidos a las cargas factoriales: (a) las saturaciones de los ítems sean mayores a .30 (Nunnally, 1987) y (b) que un solo ítem no sature con una carga superior a .30 en más de un factor.

Con respecto a la validez convergente y discriminante se analizó las correlaciones con las pruebas EAPESA y EPA, se utilizó el coeficiente de rho de Spearman, de acuerdo con un análisis previo de normalidad con la prueba de Kolmogorov-Smirnov. En dicho análisis las variables resultaron tener una distribución que no se aproximaba a la normalidad (Martínez, Tuya, Martínez, Pérez, & Cánovas, 2009). En cuanto a la confiabilidad de consistencia interna se utilizó el coeficiente omega debido a que su cálculo se basa en los valores de los pesos factoriales y porque su modelo no asume igualdad de cargas factoriales y por la existencia de errores correlacionados. La obtención de valores mayores a .70 indican una confiabilidad adecuada de las puntuaciones (Viladrich, Angulo-Brunet & Doval, 2017).

Resultados

Validez basada en el contenido

Las respuestas de los jueces fueron analizadas mediante la V de Aiken, y se encontró que en los ítems 3 y 7 no hubo un adecuado grado de acuerdo entre los jueces en el criterio de claridad de los mismos (VAiken < .70), por lo cual se realizó las respectivas modificaciones a su redacción a partir de las sugerencias de los expertos (ver Tabla 1). En todos los demás ítems se encontró un adecuado grado de acuerdo (VAiken > .70) en los tres criterios evaluados (claridad, relevancia y coherencia).

Tabla 1
Modificaciones a partir de la validez de contenido de la EME.
Ítems de Metas de AprendizajeModificación en aspectos lingüísticos
3: “Me gusta conocer muchas cosas”“Me gusta adquirir nuevos conocimientos”
7: “Me gusta usar la cabeza”“Me gusta usar mis conocimientos”

Validez basada en la estructura interna

Como parte del análisis de validez en la estructura interna se aplicó la técnica del Análisis Factorial Confirmatorio (AFC), para lo cual se evaluaron los índices de bondad de ajuste de dos modelos: (a) tres factores relacionados (M1) y (b) unidimensional (M2). De acuerdo con los resultados obtenidos (ver Tabla 2), se encontró que el modelo de tres factores relacionados presentó mejores índices de ajuste que el modelo unidimensional, sin embargo, aún no llegaba a mostrar índices de bondad de ajuste aceptables. Por tal razón se realizó un tercer modelo (M3) especificando un par de errores correlacionados (ítems 11-12 e ítems 19-20). Con dichos cambios, se obtuvieron índices de bondad de ajuste dentro de los valores esperados.

A partir del análisis anterior se encontró que las cargas factoriales estandarizadas de cada dimensión estuvieron dentro de lo aceptable (>. 30) (ver Tabla 3). En el factor de Metas de aprendizaje las cargas factoriales estuvieron entre .69 y .82; en el factor de Metas de logro las cargas factoriales oscilaron entre .58 y .84; y, finalmente, el factor de Metas de refuerzo social las cargas factoriales estuvieron comprendidas entre .57 y .85. El modelo final validado se puede apreciar en la Figura 1.

Tabla 2
Índices de bondad de ajuste de los modelos confirmatorios de la EME
Modeloχ²glχ²/glCFISRMRRMSEAAIC
M15461673.270.880.070.09 (0.08-0.10)14724
M216351709.620.540.140.17 (0.16-0.18)15807
M34261652.580.920.060.07 (0.06-0.08)14608
Nota M1 = modelo de tres factores relacionados; M2 = modelo unidimensional; M3 = modelo de tres factores con errores correlacionados.

Tabla 3
Matriz con cargas factoriales estandarizas de modelo confirmatorio de la EME
ÍtemsFactoresritc
MAMLMRS
3. Me gusta adquirir nuevos conocimientos..82.77
7. Me gusta usar mis conocimientos..76.71
4. Me gusta el desafío que plantean los problemas o tareas difíciles..75.65
5. Me siento bien cuando supero obstáculos y/o fracasos..74.66
2. Me gusta ver cómo voy avanzando..73.70
6. Soy muy curioso (a)..70.71
1. Para mí es interesante resolver problemas..69.69
8. Me siento muy bien cuando resuelvo problemas o tareas difíciles..69.63
17. No quiero fracasar en los exámenes finales..84.73
15. Quiero obtener buenas notas..79.72
18. Quiero terminar bien la carrera..75.73
16. Quiero sentirme orgulloso (a) de obtener buenas notas..74.62
19. Quiero conseguir un buen trabajo en el futuro..69.66
20. Quiero conseguir una buena posición social en el futuro..58.68
9. Quiero ser elogiado (a) por mis padres y profesores..85.77
10. Quiero ser valorado (a) por mis amigos..85.76
13. Quiero que la gente vea lo inteligente que soy..81.75
11. No quiero que mis compañeros se burlen de mí..67.67
12. No quiero que mis profesores me critiquen..60.61
14. Deseo obtener mejores notas que mis compañeros..57.49
Nota MA = metas de aprendizaje; ML = metas de logro; MRS = metas de refuerzo social

Modelo confirmatorio final de la EME. Nota: Mda = metas de aprendizaje; Mdrs = metas de refuerzo social; Mdl = metas de logro.
Figura 1
Modelo confirmatorio final de la EME. Nota: Mda = metas de aprendizaje; Mdrs = metas de refuerzo social; Mdl = metas de logro.

Confiabilidad por consistencia interna

En cuanto a la evidencia de confiabilidad de las puntuaciones del EME se analizó la consistencia interna mediante el cálculo del coeficiente omega. Para la dimensión de Metas de aprendizaje se obtuvo un omega de .90 (IC 95% = .88, .92) y un rango de correlaciones ítem-test corregidas entre .63 y .78, las cuales son aceptables por ser mayores a .20 (Morales, 2011). Para la dimensión metas de logro se encontró un omega de .88 (IC 95% = .85, .90) y correlaciones ítem test corregidas aceptables entre .62 y.73. Finalmente, para la dimensión de metas de refuerzo social se encontró un omega de .88, además de correlaciones ítem-test aceptable entre .49 y .77.

Validez basada en relaciones con otras variables

En cuanto a la evidencia de validez basada en relaciones con otras variables en la Tabla 4, se muestran los coeficientes de correlación Spearman, debido a la ausencia de normalidad en la distribución de cada dimensión, entre las variables analizadas se ha obtenido correlaciones positivas y estadísticamente significativas en las tres dimensiones de la EME. Sin embargo, solamente dos de tres correlaciones han sido moderadas con excepción a las metas de refuerzo social que muestran una correlación baja. Por otro lado, con respecto a la evidencia de validez convergente se muestra que la correlación de autoeficacia percibida ha sido positiva, debido a que se esperaría que a mayores metas académicas estaría asociada a mayor autoeficacia académica. Sin embargo, solamente una correlación ha sido baja y la otra moderada.

En cuanto a la procrastinación académica, la dimensión de autorregulación académica presentó correlaciones positivas y significativas con las tres dimensiones de metas académicas. Es decir, a mayor nivel de autorregulación académica se obtendrán elevados niveles en las metas aprendizaje, refuerzo social y logro. Sin embargo, reportaron dos correlaciones bajas “aprendizaje y logro”, siendo refuerzo social < .20, una correlación muy baja. Finalmente, la dimensión postergación no presentó ninguna relación estadísticamente significativa con las tres dimensiones de metas académicas.

Tabla 4
Matriz de correlaciones entre CMA, EAPESA y EPA
DimensionesMDE123456
1. MA4.070.77-
2. MRS3.021.13.26*-
3. ML4.380.78.45**.43**-
4. EAPESA3.030.50.46**.14*.22**-
5. AA2.530.57.28**.15**.21**.19**-
6. PA3.020.76-.08.00.03-.08-.29**-
Nota MA = metas de aprendizaje; ML = metas de logro; MRS = metas de refuerzo social; EAPESA= Análisis psicométrico de Escala de Autoeficacia Percibida en Situaciones Académicas; AA= autorregulación académica; PA= postergación de actividades. *p < .05, **p < .01

Discusión

El objetivo del presente trabajo psicométrico fue analizar las propiedades psicométricas de la EME en universitarios peruanos de las facultades de Ingeniería y Arquitectura en una universidad pública con el propósito de emplearlo en nuestro contexto. En líneas generales a partir de los resultados se han encontrado adecuadas evidencias de validez y confiabilidad en la EME, lo cual coincide con otras validaciones previamente realizadas en los Estados Unidos (Hayamizu & Weiner, 1991), Venezuela (Durán-Aponte & Arias-Gómez, 2016) y Chile (Pérez et al., 2009).

Con relación a la validez basada en el contenido se obtuvo las modificaciones de los ítems (3 y 7), con lo cual se precisó la redacción de los mismos para que estén adaptadas al contexto. Sobre las ideas expuestas, es importante resaltar que este procedimiento tiene un papel importante para tener buenas adaptaciones de las pruebas antes de ser aplicadas (Alarcón, Balderrama, & Navarro, 2017). Por tanto, se debe tener en cuenta la redacción de los ítems empleando un lenguaje sencillo, directo y comprensible. En otras investigaciones se han mantenido la redacción de los ítems como en la versión original. No obstante, en Chile (Pérez et al., 2009) se cambió la redacción según el género como: Curiosa por curioso y elogiada por elogiado. Esto permite entender que existen diferencias culturales y contextuales en una determinada población. Asimismo, los ítems que no cumplan con los criterios establecidos deben ser evaluados en dos aspectos: sustantivos y metodológicos, y así poder analizar si deben ser eliminados del test o realizar modificaciones en los ítems para incluirlos en la nueva versión de la escala (Lloret-Segura, Ferreres-Traver, Hernández-Baeza, & Tomás-Marco, 2014).

En cuanto a la validez basada en la estructura interna se encontró que el análisis factorial confirmatorio corroboró el modelo de tres dimensiones propuesto por el autor de la adaptación empleado en el presente estudio de escala de metas de estudio (Pérez et al. 2009). Sin embargo, en la investigación realizada en Perú (Escurra et al., 2004) se consideró un modelo unidimensional alternativo de la EME en donde se sostuvo que como escala general brinda valores óptimos, debido a que en el análisis del funcionamiento diferencial de los ítems las cargas del modelo unidimensional no se vieron afectadas. Aunque, de acuerdo con los resultados obtenidos del presente estudio el modelo unidimensional presentó inadecuados índices de bondad de ajuste, descartando la posibilidad de considerar un modelo de un solo factor. Una de las diferencias halladas con el estudio de Escurra et al. (2004) es que en dicha investigación no se probó un modelo de tres factores, pese a que en su análisis de confiabilidad los coeficientes alfa resultaron adecuados para cada dimensión.

De igual modo, en el análisis factorial de la investigación de Venezuela (Durán-Aponte & Arias-Gómez, 2015) se eliminaron 4 ítems debido a que no cumplieron con el criterio de las cargas factoriales ±.40 (Morales, 2011) y se encontraron factores culturales que influenciaron en sus resultados con bajas cargas. Incluso, esto puede deberse a la rotación Varimax que utilizaron, la cual ya no es apropiada para emplear en análisis exploratorios, ya que son menos eficientes y están desactualizadas (Lloret-Segura et al., 2014). Aunque en el presente estudio no se eliminaron ítems, se encontraron errores correlacionados entres los pares de ítems 11-12 y 19-20, los cuales se pueden explicar debido a la cercanía de los ítems en el orden de su presentación y a que comparten cierta similitud en el fraseo del ítem (Domínguez-Lara, 2019).

Con respecto a las evidencias de confiabilidad, se han encontrado coeficientes satisfactorios garantizando la precisión de la variable en la muestra aplicada y menor margen de error en la medición, ya que los resultados puntuaron .80 en las dimensiones de metas de aprendizaje y refuerzo social, aunque no obtuvieron puntuaciones significativas en metas del logro. Por lo tanto, estas dimensiones se han ajustado de manera adecuada en la muestra. Comparando las investigaciones de los diferentes autores (Hayamizu & Weiner, 1991), Venezuela (Durán-Aponte & Arias-Gómez, 2016) y Chile (Pérez et al., 2009) se encontró características similares como: la muestra, años de estudio y carreras relacionadas a la Ingeniería, asimismo con la participación mayoritaria del género masculino. Por lo tanto, dichos resultados evidencian que la EME fue aplicado en muestras similares, lo cual demuestra tener propiedades psicométricas adecuadas y confiables que permiten utilizarlo en diversas investigaciones como un instrumento para evaluar las metas en estudiantes universitarios, conservando las tres dimensiones propuestas por el autor de la escala original.

Asimismo, en el análisis de la validez convergente de autoeficacia percibida en situaciones académicas y la dimensión de autorregulación académica de la validez divergente demuestra tener correlaciones positivas, ya que se espera que a mayores metas de estudio los estudiantes mejoren su rendimiento académico. Estos resultados obtenidos coinciden con otras investigaciones donde se encontró que las metas académicas guardan una relación significativa, ya que ambos constructos están dentro de los aspectos motivacionales en universitarios, debido a que está relacionado con el establecimiento de adecuadas metas y parámetros para el logro académico (Covarrubias-Apablaza, Acosta-Antognoni, & Mendoza-Lira, 2019; Honicke, Broadbent, & Fuller-Tyszkiewicz, 2019; Ornelas, Blanco, Gastélum, & Chávez, 2012; Valle et al., 2015).

En cuanto a las limitaciones, se utilizó un muestreo no probabilístico, lo cual implica que los resultados no se podrían generalizar y sólo permitirá tener una aplicación local. Por otro lado, se aplicó un instrumento de autoinforme donde el evaluado tiene la posibilidad de falsear la respuesta con mayor facilidad y se encuentra propenso al tema de la deseabilidad social. Con respecto a la estabilidad de las puntuaciones, únicamente se ha reportado un tipo de confiabilidad y no se ha evidenciado mediante el método test-retest: por esta razón se sugiere plantear estudios posteriores para analizar la fiabilidad de retest. Asimismo, se sugiere seguir indagando con la validez convergente y divergente, ya que puede correlacionarse con otras variables.

Las implicancias de este instrumento son adecuadas ya que se adaptó a nuestro lenguaje y puede ser empleado para evaluar metas académicas en contextos educativos universitarios y áreas psicopedagógicas. Asimismo, se utilizará como una prueba de tamizaje de los ingresantes para perfilar e identificar qué estudiantes presentan dificultades en el establecimiento de metas. Los resultados permitirán brindar una mejor orientación en los primeros ciclos de estudio a fin de tener un impacto en los niveles de deserción. Incluso, servirá como instrumento de medición a los psicólogos o evaluadores para su uso en sus procesos de evaluación del área académica. De esta manera, podrán obtener resultados confiables evitando recomendaciones equivocas con miras a potenciar aspectos ligados a su rendimiento académico.

Referencias

Alarcón, K. S. A. (2016). Los jóvenes y la educación superior en el Perú. (Tesis de Grado). Universidad Federal de Integración Latino Americana, Foz do Iguaçu, Paraná, Brasil. Recuperado de: https://dspace.unila.edu.br/handle/123456789/4238

Alarcón, L. A., Balderrama, J. A., & Navarro, R. (2017). Content validity by experts judgment: Proposal for a virtual tool. Apertura, 9(2), 42–53. doi: 10.32870/ap.v9n2.993

Arriaga, J. (2017). La deserción universitaria es un problema global. Recuperado de: https://www.lavoz.com.ar/ciudadanos/la-desercion-universitaria-es-un-problema-global

Ato, M., López, J., & Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29(3), 1038-1059. doi: 10.6018/analesps.29.3.178511

Busko, D. (1998). Causas y consecuencias del perfeccionismo y la dilación: un modelo de ecuación estructural. (Tesis de Maestría). Universidad de Guelph, Guelph, Ontario, Canadá .Recuperado de: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.456.4450&rep=rep1&type=pdf

Charter, R. (2003). A Breakdown of Reliability Coefficients by Test Type and Reliability Method, and the Clinical Implications of Low Reliability. The Journal of General Psychology, 130(3), 290–304. doi: 10.1080/00221300309601160

Corral, N., & Leite, A. (2002). Metas académicas y rasgos cognitivo-motivacionales de estudiantes universitarios. Revista Electrónica de Ciencia y Técnica de la Universidad Nacional del Nordeste de Argentina, 2(18), 53-71.

Correa, A. S., Cuevas, M. D. R., & Villaseñor, M. (2016). Bienestar psicológico, metas y rendimiento académico. Vertientes Revista Especializada en Ciencias de la Salud, 19(1), 29-34.

Covarrubias-Apablaza, C. G., Acosta-Antognoni, H., & Mendoza-Lira, M. (2019). Relación de Autorregulación del Aprendizaje y Autoeficacia General con las Metas Académicas de Estudiantes Universitarios. Formación Universitaria, 12(6), 103–114. doi: 10.4067/s0718-50062019000600103

Domínguez-Lara, S. (2019). Correlación entre residuales en análisis factorial confirmatorio: una breve guía para su uso e interpretación. Interacciones, 5(3), e207. doi: 10.24016/2019.v5n3.207

Domínguez-Lara, S. A., Villegas, G., Yauri, C., Mattos, E., & Ramírez, F. (2012). Propiedades psicométricas de una escala de autoeficacia para situaciones académicas en estudiantes universitarios peruanos. Revista de Psicología, 2(1), 27-39.

Domínguez-Lara, S. A., Villegas García, G., & Centeno Leyva, S. B. (2014). Procrastinación académica: validación de una escala en una muestra de estudiantes de una universidad privada. Liberabit, 20(2), 293-304.

Durán-Aponte, E., & Arias-Gómez, D. (2015). Orientación a las metas académicas, persistencia y rendimiento en estudiantes del Ciclo de Iniciación Universitaria. Revista de Docencia Universitaria, 13(2), 189-205. doi: 10.4995/redu.2015.5444

Durán-Aponte, E., & Arias-Gómez, D. (2016). Validez del Cuestionario de Metas Académicas (CMA) en una muestra de estudiantes universitarios. Cuadernos Hispanoamericanos de Psicología, 15(1), 23–36. doi: 10.18270/chps..v15i1.1776

Dweck, C., & Leggett, E. (1988) A social-cognitive approach to motivation and personality. Psychological Review, 95(2), 256-273. doi: 10.1037/0033-295X.95.2.256

Escurra, L. M., Delgado, A. E., Guevara, G., Torres, M., Quesada, M., Morocho, J., … Santos, J. (2004). Relación entre el autoconcepto de las competencias, las metas académicas y el rendimiento en alumnos universitarios de la ciudad de Lima. Revista de Investigación en Psicología, 8(1), 87-106. doi: 10.15381/rinvp.v8i1.4235

Eurostat (2019). Smarter, Greener, More Inclusive? Indicators to Support the Europe 2020 Strategy. Recuperado de: https://ec.europa.eu/eurostat/documents/3217494/10155585/KS-04-19-559-EN-N.pdf/b8528d01-4f4f-9c1e-4cd4-86c2328559de

Flores, W. O. F., Gutiérrez, E., Corredor, O. L. L., Sarraipa, J., Lima, C. P., Merino, C., ... & Boticario, J. (2016). Centros de Apoyo y Desarrollo Educativo Profesional para la observación y disminución de la deserción universitaria. Ciencia e Interculturalidad, 18(1), 48–62. doi: 10.5377/rci.v18i1.3049

Gaeta, M. L., Cavazos, J., Sánchez, A. P., Rosário, P., & Högemann, J. (2015). Propiedades psicométricas de la versión mexicana del Cuestionario para la Evaluación de Metas Académicas (CEMA). Revista Latinoamericana de Psicología, 47(1), 16–24. doi: 10.1016/s0120-0534(15)30002-9

Guevara, C. J. (2018). Factores de la deserción forzosa institucional de estudiantes de Estudios Generales Letras de la PUCP. (Tesis de Maestría). Pontificia Universidad Católica del Perú, Lima, Perú. Recuperado de: http://tesis.pucp.edu.pe/repositorio/bitstream/handle/20.500.12404/13561/GUEVARA_PAREDES_FACTORES_DE_LA_DESERCION_FORZOSA_INSTITUCIONAL_DE_ESTUDIANTES_DE_ESTUDIOS_GENERALES_LETRAS_DE_LA_PUCP.pdf?sequence=1&isAllowed=y

Gutiérrez, M., & Tomás, J. M. (2018). Clima motivacional en clase, motivación y éxito académico en estudiantes universitarios. Revista de Psicodidáctica, 23(2), 94–101. doi: 10.1016/j.psicod.2018.02.001

Hayamizu, T., & Weiner, B. (1991). A Test of Dweck’s Model of Achievement Goals as Related to Perceptions of Ability. The Journal of Experimental Education, 59(3), 226–234. doi: 10.1080/00220973.1991.10806562

Honicke, T., Broadbent, J., & Fuller-Tyszkiewicz, M. (2019). Learner self-efficacy, goal orientation, and academic achievement: exploring mediating and moderating relationships. Higher Education Research & Development, 39(4), 689–703. doi: 10.1080/07294360.2019.1685941

Izquierdo Cázares, G., & Mestanza Páez, R. C. (2017). Retos de la educación ante la deserción escolar universitaria. Revisión sistemática. Revista Científica Retos de la Ciencia, 1(2), 15-21.

La Rosa, C. A. (2015). Perspectiva de la motivación en estudiantes universitarios para logro de metas académicas. Revista Ciencias de la Educación, 26(46), 197-213.

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología/Annals of Psychology, 30(3), 1151-1169.

Martínez, R. M., Tuya, L. C., Martínez, M., Pérez, A., & Cánovas, A. M. (2009). El coeficiente de correlación de los rangos de Spearman caracterización. Revista Habanera de Ciencias Médicas, 8(2), 1-20.

Medrano, L. A., & Muñoz-Navarro, R. (2017). Aproximación Conceptual y Práctica a los Modelos de Ecuaciones Estructurales. Revista Digital de Investigación en Docencia Universitaria, 11(1), 219–239. doi: 10.19083/ridu.11.486

Merino, C. M., & Livia, J. L. (2009). Intervalos de confianza asimétricos para el índice la validez de contenido: Un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169-171.

Michavila Pitarch, F. (2015). La acogida de los nuevos estudiantes. REDU. Revista de Docencia Universitaria, 13(2), 37-51. doi: 10.4995/redu.2015.5437

Morales, P. M. (2011). El Análisis Factorial en la construcción e interpretación de tests, escalas y cuestionarios. Madrid: Universidad Pontificia Comillas.

Nunnally, J. (1987). Teoría psicométrica. Ciudad de México: Mc Graw Hill.

Núñez, J. C. (2009). Motivación, aprendizaje y rendimiento académico. Trabajo presentado en X Congreso Internacional Galego-Português de Psicopedagogía, Braga, Universidade do Minho, Portugal.

Organización para la Cooperación y el Desarrollo Económico (2013). Panorama de la educación 2013: Indicadores de la OCDE. doi: 10.1787/eag-2013-es

Ornelas, M., Blanco, H., Gastélum, G., & Chávez, A. (2012). Autoeficacia percibida en la conducta académica de estudiantes universitarias. Formación Universitaria, 5(2), 17-26. doi: 10.4067/s0718-50062012000200003

Palenzuela, D. L. (1983). Construcción y validación de una escala de autoeficacia percibida específica de situaciones académicas. Análisis y Modificación de Conducta, 9(21), 185-219.

Parrino, M. D. C. (Diciembre, 2010). Deserción en el primer año universitario. Dificultades y logros. Trabajo presentado en X Coloquio Internacional sobre Gestión Universitaria en América del Sur, Mar del Plata, Argentina.

Pérez Villalobos, M. V., Díaz Mujica, A., González-Pienda, J. A., Núñez Perez, J. C., & Rosário, P. (2009). Escala de metas de estudio para estudiantes universitarios. Revista Interamericana de Psicología, 43(3), 449-455.

Plascencia, R. (2011). Deserción universitaria preocupa al mundo. Recuperado de: http://www.logrosperu.com/noticias/actualidad/707-mas-de-200-millones-dedolares-se-perdieron-en-dos-anos-por-desercion-universitaria.html

Sánchez-Hernández, G., Barboza-Palomino, M., & Castilla-Cabello, H. (2017). Análisis de la deserción y los factores asociados a la permanencia estudiantil en una universidad peruana. Actualidades Pedagógicas, 1(69), 169–191. doi: 10.19052/ap.4075

Santelices, V., Catalán, X., Horn, C., & Kruger, D. (2013). Determinantes de deserción en la educación superior chilena, con énfasis en efecto de becas y créditos. Santiago de Chile: Fondo de Investigación y Desarrollo en Educación - FONIDE.

Suárez, J. M., Fernández, A. P., & Zamora, Á. (2018). Las metas académicas con relación a las estrategias de autorregulación motivacional de valor. Revista Electrónica de Investigación Educativa, 20(2), 15-24.

Travezaño, Z. (2018). Metas académicas y rendimiento escolar en alumnos de educación secundaria de la Institución Educativa Túpac Amaru-Cerro de Pasco. (Tesis de Grado). Universidad Nacional de Educación Enrique Guzmán y Valle, Lima, Perú. Recuperado de: http://repositorio.une.edu.pe/handle/UNE/1765

Valle, A. (1997). Determinantes cognitivo-motivacionales del rendimiento académico en estudiantes universitarios. (Tesis Doctoral). Universidad de La Coruña, La Coruña, España. Recuperado de: http://hdl.handle.net/2183/1100

Valle, A., Regueiro, B., Rodríguez, S., Piñeiro, I., Freire, C., Ferradás, M., & Suárez, N. (2015). Perfiles motivacionales como combinación de expectativas de autoeficacia y metas académicas en estudiantes universitarios. European Journal of Education and Psychology, 8(1), 1–8. doi: 10.1016/j.ejeps.2015.10.001

Valle Arias, A., González Cabanach, R., & Cuevas González, L. M. (1997). Patrones motivacionales en estudiantes universitarios: Características diferenciales. Revista de Investigación Educativa, 15(1), 125-146.

Viladrich, C., Angulo-Brunet, A., & Doval, E. (2017). Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna. Anales de Psicología, 33(3), 755-782. doi: 10.6018/analesps.33.3.268401

Notas de autor

Enviar correspondencia a: Manzanares Medina, E. E-mail: pcpsemam@upc.edu.pe

Información adicional

Citar este artículo como: Jara Barnett, L., Hilarion Palomino, M., Manzanares Medina, E. (2022). Evidencias de validez y confiabilidad de la Escala de Metas de Estudio (EME) en universitarios peruanos. Revista Argentina de Ciencias del Comportamiento, 14(1), 23-35

Enlace alternativo

HTML generado a partir de XML-JATS4R por