Poder discriminativo y nivel de exigencia de los exámenes de selección

Entre los cinco últimos años de la década pasada, se realizaron investigaciones centradas en la validez, confiabilidad, dificultad y sensibilidad de los diferentes tipos de instrumentos de recolección de datos. Por otro lado, el dictado de la asignatura de Estadística en la Unidad de Post Grado de la Facultad de Pedagogía y Humanidades, implicó, entre otros temas, la enseñanza de los estadígrafos edumétricos, poder discriminativo y el nivel de dificultad de los instrumentos de recolección de datos; y como éstos, deberían de ser más reales que imaginarios, se planteó que el análisis estadístico e interpretación de los mencionados estadígrafos, fuera realizado en los exámenes de selección o de admisión a las universidades, específicamente en los exámenes de admisión a la UNCP.

Población y muestra de la investigación

Población

La población de la investigación estuvo conformada por los exámenes de admisión tomados en la UNCP durante los Años Académicos 2007 y 2008, para los postulantes al pregrado.

Muestra

Para la elección de la muestra se utilizó un diseño muestral no aleatorio dirigido de tal manera que la muestra estuvo conformada por los tres exámenes de admisión, para los postulantes al pregrado, tomados en la UNCP durante el Año Académico 2008: 2008-I, marzo; 2008-II, agosto; y, Primera selección, diciembre.

Dentro del campo de la investigación educativa y de acuerdo a las características de la hipótesis y los objetivos, se enmarcó dentro del tipo de investigación tecnológico–aplicada.

El método empleado fue el descriptivo.

El diseño que se empleó en esta investigación fue el descriptivo, que fue útil para someter a análisis la técnica descrita. Dentro de los diseños descriptivos se encuentra el diseño descriptivo comparativo que consiste en recolectar información relevante en varias muestras con respecto a un mismo fenómeno o aspecto de interés y luego caracterizar este fenómeno sobre la base de la comparación de datos recogidos, pudiendo hacerse esta comparación en los datos generales o en una categoría de ellos. En el caso concreto de la presente investigación, se recolectaron los exámenes de admisión tomados en la UNCP con sus resultados de calificación, luego con estos, se calcularon los estadígrafos de poder discriminativo, e índice de dificultad los que fueron analizados e interpretados (Sánchez, 1996, p.78).

El diseño puede diagramarse de la siguiente manera:

M1 O1

M2 O2

M3 O3

Donde:

M1, M2, M3 : Exámenes de admisión administrados en la UNCP.

O1, O2, O3 : Estadígrafos edumétricos, poder discriminativo e índice de dificultad.

Variables de la investigación

Exámenes de admisión a la UNCP.

Análisis e interpretación de los estadígrafos edumétricos, poder discriminativo e índice de dificultad.

Técnicas e instrumentos de recopilación de datos

Los instrumentos fueron los exámenes de admisión, para postulantes al pregrado, tomados en la UNCP durante el Año Académico 2008.

Procedimientos

Se analizaron los exámenes de admisión a la UNCP, calculándoles sus estadígrafos edumétricos, poder discriminativo e índice de dificultad. Por último, los datos cuantitativos fueron analizados e interpretados.

Técnicas y procedimientos de procesamiento y análisis de datos

Siendo la investigación cuantitativa, se aplicaron procedimientos estadísticos, calculando los estadígrafos de poder discriminativo e índice de dificultad; mediante las fórmulas respectivas y los paquetes informáticos estadísticos (SPSS y MINITAB).

Análisis estadístico de los exámenes de selección

La población objetivo estuvo conformada por los exámenes de admisión tomados en la UNCP durante los Años Académicos 2007 Y 2008.

La población accesible y muestra fueron los exámenes de admisión tomados en la UNCP durante el Año Académico 2008 en sus tres procesos de selección de postulantes:

Examen de admisión 2008-I, marzo; con cinco tipos de prueba.

Examen de admisión 2008-II, agosto; con dos tipos de prueba.

Examen de primera selección, diciembre; con dos tipos de prueba.

Clasificación de las pruebas de admisión aplicadas en la UNCP por áreas y grupos

En el examen de admisión 2008-I se aplicaron cinco tipos de pruebas, las que respondieron a cinco áreas y las áreas agruparon a las diferentes facultades por afinidad de conocimientos a ser evaluados en las respectivas pruebas:

En el examen de admisión 2008-II y para el examen de primera selección se aplicaron dos tipos de pruebas, las que respondieron a dos grupos y cinco áreas; los grupos y las áreas agruparon a las diferentes facultades por afinidad de conocimientos a ser evaluados en las respectivas pruebas:

Análisis del nivel de exigencia de las pruebas de admisión aplicadas en la UNCP

El análisis del nivel de exigencia de las pruebas de admisión se hizo en términos de la dificultad, la que se relaciona con la proporción de postulantes que respondieron adecuadamente a un ítem o a toda la prueba:

D = Nº de postulantes que aprobaron / Nº de postulantes evaluados

Se midió para cada uno de los 80 ítems que conformaron cada una de las pruebas y para el calificativo total, obtenidos por los postulantes, para el cálculo fueron de gran ayuda el paquete estadístico SPSS.15 y el MINITAB 6,0. La magnitud del nivel de exigencia se expresa en proporciones que fluctúan entre 0,00 y 1,00. Los resultados para cada examen y por tipo de prueba y área respectiva se presentan en el siguiente cuadro:

Examen de admisión 2008-I

Los cinco tipos de prueba del examen tuvieron un nivel de exigencia DIFÍCIL, para fines psicométricos, esto se obtuvo comparando con el Cuadro de Clasificación de Nivel de Dificultad (Cortada, 1999, p.182).

Examen de admisión 2008-II

Los dos tipos de prueba del examen tuvieron un nivel de exigencia DIFÍCIL para fines psicométricos, esto se obtuvo comparando con el Cuadro de Clasificación de Nivel de Dificultad (Cortada, 1999, p.182).

Examen de admisión de primera selección 2009

Los dos tipos de prueba del examen tuvieron un nivel de exigencia DIFÍCIL para fines psicométricos, esto se obtuvo comparando con el Cuadro de Clasificación de Nivel de Dificultad (Cortada, 1999, p. 182).

Análisis del poder discriminativo de las pruebas de admisión aplicadas en la UNCP

El poder discriminativo de las pruebas de admisión representa el grado de diferenciación, separación, distanciamiento o dispersión de los resultados observados mediante las respuestas que el postulante manifieste ante cada pregunta planteada. Desde la perspectiva psicométrica, se espera que, mayoritariamente, las respuestas acertadas, correctas o buenas provengan de aquellos postulantes que también muestran un rendimiento o desempeño general adecuado en el total de la prueba, y que las respuestas erradas u omitidas provengan del grupo de postulantes que presente un rendimiento general también deficiente en la prueba. Es decir, se espera que cada ítem sea capaz de permitir una diferenciación lo más nítida posible entre los postulantes de alto y bajo rendimiento, lo que, cuantitativa e idealmente, equivaldría a 100% o, en proporciones, a 1,00. La magnitud de esta capacidad diferenciadora de los ítems se expresa por índices de discriminación, cuyo cálculo se realizó mediante el método correlacional, coeficiente de correlación punto serial (r _p.bis)

r _p.bis = (p. - X.)/s. .(p/q)^1/2

Donde:

p. : promedio de las puntuaciones totales del postulante que respondió bien el ítem analizado.

X. : promedio de las puntuaciones totales de todos los postulantes considerados en el análisis. s. : desvío de las puntuaciones totales de todos los postulantes considerados en el análisis.

p y q : proporciones de los postulantes que, respondieron bien, mal u omitieron el ítem analizado.

Se calculó para cada uno de los 80 ítems que conformaron cada una de las pruebas y para el calificativo total, obtenidos por los postulantes, para el cálculo fueron de gran ayuda el paquete estadístico SPSS.15 y el MINITAB 6,0. La magnitud del poder de discriminación se expresa en proporciones que fluctúan entre 0,00 y 1,00. Los resultados para cada examen y por tipo de prueba y área respectiva se presentan en el siguiente cuadro:

Examen de admisión 2008-I

Los promedios del poder de discriminación de los 80 ítems, para los cinco tipos de prueba del examen tuvieron un poder de discriminación entre intermedio y aceptable, lo que se obtuvo comparando con el Cuadro de Clasificación de la Discriminación (Cortada, 1999, p.192) pero, para fines psicométricos, es necesario que el poder discriminativo sea de 0,30 como mínimo. Entonces sólo serían aceptadas como pruebas con poder de discriminación a las pruebas de las áreas I, IV y V.

Examen de admisión 2008-II

Los promedios del poder de discriminación de los 80 ítems, para los dos tipos de prueba del examen tuvieron un poder de discriminación entre intermedio y aceptable, lo que se obtuvo comparando con el Cuadro de Clasificación de la Discriminación (Cortada, 1999, p. 192) pero, para fines psicométricos, es necesario que el poder discriminativo sea de 0,30 como mínimo. Entonces sólo serían aceptadas como pruebas con poder de discriminación a las pruebas del grupo II.

Examen de admisión de primera selección 2009

Los promedios del poder de discriminación de los 80 ítems, para los dos tipos de prueba del examen tuvieron un poder de discriminación entre intermedio y aceptable, lo que se obtuvo comparando con el Cuadro de Clasificación de la Discriminación (Cortada, 1999, p. 192) pero, para fines psicométricos, es necesario que el poder discriminativo sea de 0,30 como mínimo. Entonces sólo serían aceptadas como pruebas con poder de discriminación a las pruebas del grupo II.

Prueba de hipótesis “t Student” para el poder discriminativo de las pruebas de admisión aplicadas en la UNCP, la prueba de hipótesis se realizó a un grupo muestral tomado aleatoriamente para cada examen de admisión: En el examen de admisión 2008-I, se tomó aleatoriamente a la prueba del Área II, cuyo número total de postulantes fueron 368, se tomó al 5% de ellos como conformantes de la muestra (18 postulantes), el 27% eran aprobados y 27% desaprobados. Intencionalmente se tomaron los resultados de los postulantes a la Facultad de Ciencias Forestales y del Ambiente por ser la de mayor cantidad de postulantes.

En el examen de admisión 2008-II, se tomó aleatoriamente al Grupo I cuyo número total de postulantes fueron 2043, se tomó al 1% de ellos como conformantes de la muestra (20 postulantes), el 27% eran aprobados y 27% desaprobados. Intencionalmente se tomaron los resultados de los postulantes a la Facultad de Medicina Humana por ser la más representativa y apetecida por los postulantes.

En el examen de admisión de Primera Selección, se tomó aleatoriamente al Grupo II cuyo número total de postulantes fueron 1851, se tomó al 1% de ellos como conformantes de la muestra (18 postulantes), el 27% eran aprobados y 27% desaprobados. Intencionalmente se tomaron los resultados de los postulantes a la Facultad de Contabilidad por ser la de mayor cantidad de postulantes.

Para realizar las pruebas de hipótesis, con los datos provenientes de los resultados de los tres exámenes de admisión, se procedió a enunciar en términos estadísticos formales, los resultados se obtuvieron mediante la aplicación del paquete SPSS (VER ANEXO), de la siguiente manera:

Hipótesis nula (Ho): No existe diferencia significativa entre los resultados obtenidos por el 27% de los postulantes aprobados y el 27% de los postulantes desaprobados, por lo tanto las pruebas de admisión a las que fueron sometidos no tienen poder discriminativo.

Hipótesis alterna (H.): Existe diferencia significativa entre los resultados obtenidos por el 27% de los postulantes aprobados y el 27% de los postulantes desaprobados, por lo tanto las pruebas de admisión a las que fueron sometidos tienen poder discriminativo.

Prueba estadística: Se elige la prueba t de Student para muestras relacionadas.

Nivel de confianza: 95%.

Distribución de la muestra: la distribución de la muestra es la distribución t de Student con grados de libertad (gl) = 4.

Región crítica: t _tabulada = +/- 2,776. Puesto que H1 es bilateral, la región crítica abarca todos los valores de t ≥ +2,776 o t ≤ -2,776.

-2,776 +2,776

Resultados de la prueba t de Student

Decisión: Puesto que las t calculadas están ubicadas dentro de la región crítica, es decir, las t _calculadas > t _tabuladas, para los tres exámenes de admisión, se acepta la H1

INTERPRETACIÓN:

Existe diferencia significativa entre los resultados obtenidos por el 27% de los postulantes aprobados y el 27% de los postulantes desaprobados, por lo tanto las pruebas de admisión a las que fueron sometidos tienen poder discriminativo.

La investigación aplicada y descriptiva comparativa que realizó el análisis e interpretación de los estadígrafos de poder discriminativo y dificultad de los exámenes de admisión a la UNCP; se corrobora por los resultados obtenidos.

Todos los tipos de prueba de los exámenes de admisión administrados durante el año 2008 ––tomado como espacio temporal–– tuvieron un nivel de exigencia alto, tal como lo manifiesta Cortada (1999, p.182) para fines psicométricos en el Cuadro de Clasificación de Nivel de Exigencia; este nivel, medido en términos de índice de dificultad se considera difícil, ya que todos los índices de dificultad obtenidos estuvieron comprendidos entre 0,26 y 0,44 (Nunnally y Berstein, 1995) es decir, inferiores a 0,5 que vendría a ser el índice de dificultad intermedio, adecuado.

Respecto al poder de discriminación de todos los tipos de prueba de los exámenes de admisión aplicados, en el espacio temporal ya mencionado; presentaron un nivel discriminativo entre intermedio y aceptable, lo que se dedujo comparando con el Cuadro de Clasificación de la Discriminación (Cortada, 1999, p. 192) pero, para fines psicométricos, es necesario que el poder discriminativo sea de 0,30 como mínimo (Nunnally y Berstein, 1995) Entonces sólo serían aceptadas como pruebas con poder de discriminación 5 de las 9 pruebas aplicadas; pero, realizada la prueba de hipótesis t de student y tomando los resultados de ésta como criterio válido (Visauta y Martori, 2003) se acepta que todas los tipos de prueba de los exámenes de admisión, discriminan contundentemente, por su grado de conocimientos a los postulantes, ya que aprueban e ingresan sólo los postulantes con alto grado de conocimientos y los que aún no lo poseen se siguen preparando o en su defecto toman otras opciones académicas.

1.- En el examen de admisión 2008-I, los cinco tipos de prueba tuvieron un nivel de exigencia DIFÍCIL; en el examen de admisión 2008-II, los dos tipos de prueba tuvieron un nivel de exigencia DIFÍCIL; en el examen de admisión de Primera Selección 2009, los dos tipos de prueba tuvieron un nivel de exigencia DIFÍCIL.

2.- En el examen de admisión 2008-I, sólo los ítems de las pruebas de las áreas I, IV y V serían aceptados como ítems con poder de discriminación; en el examen de admisión 2008-II, sólo los ítems de las pruebas del grupo II serían aceptados como ítems con poder de discriminación; en el examen de admisión de Primera Selección 2009, sólo los ítems de las pruebas del grupo II serían aceptados como ítems con poder de discriminación.

3.- Mediante la prueba de hipótesis “t de student” se determinó que en los tres exámenes de admisión administrados durante el año 2008, existen diferencias significativas entre los resultados obtenidos por el 27% de los postulantes aprobados y el 27% de los postulantes desaprobados, por lo tanto las pruebas de admisión a las que fueron sometidos tienen poder discriminativo.