Análisis estadístico del índice de dificultad de los ítems politómicos en las pruebas pedagógicas

Entre los años 2004 al 2011, el autor del presente proyecto, realizó investigaciones centradas en el cálculo de los estadígrafos psicométricos y edumétricos, tales como, la validez, confiabilidad, dificultad, sensibilidad e índice de discriminación de los diferentes tipos de instrumentos de recolección de datos, habiendo quedado como sugerencias reiterativas, realizar el análisis estadístico y la interpretación del índice de dificultad de los ítems politómicos en las pruebas pedagógicas y fichas de observación.

Por otro lado, el desarrollo de la asignatura de Estadística Aplicada a la Investigación Educativa, en la Unidad de Post Grado de la Facultad de Educación, implica, entre otros temas, el cálculo del estadígrafo edumétrico: índice de dificultad, para ítems dicotómicos; quedando sin desarrollar, por falta de una sistematización matemática, el algoritmo y la interpretación; para los ítems politómicos de las pruebas pedagógicas y fichas de observación.

Entonces, para poder subsanar, en parte, el inconveniente citado, en el presente trabajo se diseñaron algoritmos de cálculo del índice de dificultad de los ítems politómicos, de las pruebas pedagógicas y fichas de observación que se aplican a los alumnos de las instituciones educativas de la Región Junín.

Población

Se tomó como población de la investigación a todas las pruebas pedagógicas que aplicaron a sus alumnos, en las diferentes instituciones educativas del nivel secundario de la Región Junín, los estudiantes de la Maestría en Educación, hasta el año académico 2011; los egresados del Pregrado de la Facultad de Educación hasta el año 2011 en sus respectivas tesis; así como a las fichas de observación utilizadas, para evaluaciones procedimentales y actitudinales, por los egresados de la Maestría en Educación, hasta el Año Académico 2011; las que están consignadas en los anexos de las tesis de grado.

Muestra

Para la elección de la muestra se utilizó un diseño muestral no aleatorio dirigido, de tal manera que, la muestra estuvo conformada por una prueba de pensamiento creativo, una prueba pedagógica, ambas politómicas, que se aplicaron a los alumnos de dos instituciones educativas de la UGEL-Huancayo y fichas de observación politómica para la evaluación procedimental en la Universidad Peruana “Los Andes”.

Nota: Las pruebas pedagógicas y fichas de observación politómicas fueron bastante escasas.

Tipo de investigación

Dentro del campo de la investigación educativa y de acuerdo a las características de la hipótesis y los objetivos se enmarcó dentro del tipo de investigación tecnológico–aplicada.

Método básico de la investigación El método básico fue el descriptivo.

Diseño de la investigación

El diseño que se empleó en esta investigación fueel descriptivo, porque resulta imposible el control experimental riguroso de las variables. Además, este diseño se adecua perfectamente a la presente investigación.

Dentro de los diseños descriptivos se encuentra el diseño descriptivo simple, el que se aplicó para determinar los índices de dificultad de los ítems politómicos en las pruebas pedagógicas que se aplicaron a los alumnos de las instituciones educativas de la Región Junín.

En el caso concreto de la presente investigación, se aplicaron las pruebas pedagógicas con ítems politómicos, luego con los datos recolectados para cada ítem, se calculó los índices de dificultad, los que fueron analizados e interpretados. Sánchez (2006.p.103).

El diseño se diagrama de la siguiente manera:

M Importar imagen O

Donde:

M: Pruebas pedagógicas con ítems politómicos que se aplican a los alumnos de las instituciones educativas de la Región

O: Observación del índice de dificultad de los ítems politómicos de las pruebas pedagógicas que se aplican a los alumnos de las instituciones educativas de Región Junín.

Variables de la investigación

Variables principales

a) Ítems politómicos de las pruebas pedagógicas que se aplican a los alumnos de las instituciones educativas de Región Junín.

b) Índices de dificultad de los ítems politómicos de las pruebas pedagógicas que se aplican a los alumnos de las instituciones educativas de Región Junín.

Instrumentos de recopilación de datos

Las dos pruebas pedagógicas que se seleccionaron como muestra fueron las que aplicaron las Profesoras actoras del trabajo (Piantoy Tinoco) en la I.E. “La Victoria” – El Tambo; en el Área de C.T.A. 4º grado de secundaria. Durante el III bimestre del Año Académico Escolar 2006. En la I.E. Mariscal Castilla – El Tambo; en la asignatura de Matemática, Nivel Secundario, Tercer Grado. Durante el II bimestre del Año Académico Escolar 2010 (Gamero y Ortega); en la Universidad Peruana “Los Andes”-Facultad de Ciencias de la Salud, E.A.P. de Medicina Humana – Huancayo; en la asignatura de Ginecología y Obstetricia. Durante el X semestre del Año Académico 2002 (Ortega) Se consideraron a estos instrumentos de recolección de datos, debido a que los resultados de los estadígrafos psicométricos calculados –coeficiente de confiabilidad, coeficiente de validez– fueron óptimos para los objetivos del presente estudio.

Procedimientos de recopilación de datos

Los docentes –mencionados líneas arriba– fueron capacitados (oportunamente) en el diseño, elaboración y aplicación de pruebas. Así como, en el análisis estadístico y el cálculo de los estadígrafos psicométricos de confiabilidad y validez. Los tres instrumentos de recolección de datos, fueron aplicados por los docentes a sus estudiantes, en sus respectivas instituciones educativas; las docentes, Pianto y Tinoco, hicieron la aplicación como parte de su trabajo de tesis de pregrado; la docente Gamero, hizo la aplicación como parte de su labor pedagógica, es más , como parte de un proceso de entrenamiento propio del desarrollo de la asignatura de Estadística Aplicada a la Investigación Educativa, de la Maestría en Educación, para la elaboración de su trabajo de tesis; finalmente, el docente Tito, hizo lo propio como partede su trabajo de tesis de maestría en Didáctica Universitaria. Técnicas y procedimientos de procesamiento y análisis de datos

Siendo la investigación de carácter cuantitativo, en primer lugar fueron calculados, mediante procedimientos estadísticos, el paquete estadístico IBM SPSS Statistics 20 y la aplicación de las fórmulas respectivas, los estadígrafos psicométricos de confiabilidad y validez de los tres instrumentos, porque la condición sine qua non de todo instrumento de recolección de datos, previo al cálculo de otros estadígrafos psicométricos y edumétricos es que sean confiables y válidos. Todos los coeficientes de confiabilidad de las pruebas se calcularon aplicando la fórmula alfa de crombach (porque ésta se aplica a los ítems politómicos), siendo los resultados mayores o iguales que 0,60; por lo que las tres pruebas son confiables.Todos los coeficientes de validez de criterio-predictiva, de cada uno de los ítems de las pruebas, fueron calculados aplicando la fórmula de correlación item-total, siendo los resultados mayores o iguales que 0,2000; por lo que las tres pruebas son válidas.

ANÁLISIS PSICOMÉTRICO DE LAS PRUEBAS PEDAGÓGICAS Y FICHA DE OBSERVACIÓN

ANÁLISIS EDUMÉTRICO DE LAS PRUEBAS PEDAGÓGICAS Y FICHA DE OBSERVACIÓN

a) PROPUESTA DE ALGORITMOS PARA EL CÁLCULO DEL ÍNDICE DE DIFICULTAD DE LOS ÍTEMS POLITÓMICOS DE LOS INSTRUMENTOS DE RECOLECCIÓN DE DATOS

Conceptualmente unítem dicotómico es aquel cuya calificación es de cero (0) si está mal respondido, y de uno (1) si está bien respondido; entonces, un ítem politómico será aquel cuya calificación es de cero (0) si está mal respondido, pero si está bien respondido puede tener calificativos de 1; 2; 3; 4; … u otros valores enteros o inclusive fraccionarios.

El cálculo del índice de dificultad de los ítems mediante la aplicación de la fórmula, implica que todos los ítems de las pruebas sean dicotómicos (0 ó 1) y como el objetivo general del presente trabajo de investigación es identificar los índices de dificultad de los ítems politómicos en las pruebas, se propone en primer lugar establecer equivalencias entre ítems politómicos y dicotómicos, así como,factores ponderativos equivalentes a 0 ó 1, de los calificativos asignados a los ítems politómicos de las pruebas, lo que se plasma en el cuadro de equivalencias, para poder realizar los cálculos del índice de dificultad de cada uno de los ítems politómicos que conforman cada una de las pruebas tomadas como espacio muestral de la presente investigación.

CUADRO 1
CUADRO DE EQUIVALENCIAS DE ÍTEMS POLITÓMICOS CON DICOTÓMICOS

Fuente: Elaboración del autor (2010)

b) CÁLCULO DE LOS ÍNDICES DE DIFICULTAD

- Índice de dificultad de cada uno de los ítems El cálculo, se realiza a través de la fórmula:

Índice de dificultad (ID) = Σ RC/ n

Dónde:

Σ RC : sumatoria de respuestas correctas (Nº de participantes que respondieron bien el ítem analizado). n : Nº total de participantes evaluados.

Esta fórmula se aplica directamente cuando los ítems son dicotómicos, es decir, los ítems han sido totalmente respondidos; pero cuando los ítems son politómicos, primero se tienen que establecer las equivalencias de ítem politómico a dicotómico (con el cuadro de equivalencias propuesto), porque un ítem puede haber sido parcialmente respondido; lo que implica que a la matriz de ítems politómicos reales (con valores de 0; 1; 2; 3 ó 4) se la modifique para obtener una nueva matriz de ítems equivalentes a dicotómicos, mediante una multiplicación del calificativo real del ítem por el factor ponderativo, lo que da como resultado ítems ponderados, así como un calificativo total modificado. En esta nueva matriz de ítems ponderados, los valores, ahora, están comprendidos entre cero (0) y uno (1), tal como se aprecian en el cuadro de equivalencias.

Con estas modificaciones, los componentes de la fórmula para el cálculo del índice de dificultad, quedan como: Índice de dificultad (ID) = Σ RCP/ n

Dónde:

Σ RCP: sumatoria de los ítems total o parcialmente respondidos (valores ponderados en función al Nº de participantes que respondieron bien, de manera total o parcial el ítem analizado). n : Nº total de participantes evaluados.

El valor obtenido debe ser positivo y estar comprendido entre 0,00 y 1,00 para discernir el grado de dificultad del ítem.

- Índice de dificultad de todo el instrumento

El cálculo para toda la prueba, se realiza a través de la fórmula:

Índice de dificultad (IDT) = X/ Pmáx (fórmula Nº1)

Dónde: X : Promedio de los puntajes totales obtenidos por los participantes en la prueba Pmáx: Puntaje máximo que vale la prueba.

Esta fórmula se aplica directamente cuando los ítems son dicotómicos, es decir, los ítems han sido totalmente respondidos, pero cuando los ítems son politómicos, al igual que para el cálculo que se hizo para cada ítem, primero se tienen que establecer las equivalencias de ítem politómico a dicotómico (con el cuadro de equivalencias propuesto), porque un ítem puede haber sido parcialmente respondido; lo que implica que a la matriz de ítems politómicos reales (con valores de 0; 1; 2; 3 ó 4) se la modifique para obtener una nueva matriz de ítems equivalentes a dicotómicos, mediante la multiplicación del calificativo real del ítem por el factor ponderativo, lo que da como resultado ítems ponderados, así como un calificativo total modificado. En esta nueva matriz de ítems ponderados, los valores, ahora, están comprendidos entre cero (0) y uno (1), tal como se aprecian en el cuadro de equivalencias.

Con estas modificaciones, los componentes de la fórmula para el cálculo del índice de dificultad para toda la prueba, queda como:

Índice de dificultad (IDT) = X/ Pmáx(fórmula Nº2-modificada)

Dónde:

X : Promedio de los puntajes totales modificados por la ponderación, obtenidos por los participantes en la prueba Pmáx: Puntaje máximo ponderado que vale la prueba.

Nota: Se puede calcular el Índice de Dificultad de la prueba, aplicando directamente la fórmula Nº1, pero es mejor aplicar la fórmula Nº2, porque puede haber incrementos en el índice de dificultad, calculados con la primera. No perder de vista de que se están tomando hasta dos cifras significativas en los decimales.

CUADRO 2
CUADRO CLASIFICADOR DE LOS ÍTEMS POR EL ÍNDICE DE DIFICULTAD

Fuente: adaptado de Cortada 1999

Todos los instrumentos de recolección de datos, específicamente las pruebas pedagógicas con ítems dicotómicos, deben de tener un índice de dificultad adecuado, es decir, tener un índice de dificultad comprendido entre 0,51 y 0,65 Nunnally / Berstein (1995).

La facilidad para un ítem dicotómico se calcula contabilizando las respuestas acertadas de los participantes, en la prueba, que lo resolvieron bien; mientras más participantes lo resolvieron bien, más fácil es el ítem y mientras menos lo resolvieran más difícil, Shiefelbeim (1995).

La forma de cálculo del índice de dificultad para un ítem dicotómico, también es posible hacerla para un ítem politómico, sólo que hay que tener en cuenta el grado en que fueron resueltos, éste es gradual a la intensidad de cómo fueron resueltos , siendo así, si la resolución fue total entonces el ítem es fácil, pero si la resolución fue parcial la dificultad del ítem varía, haciéndose desde menos fácil a más difícil, hasta llegar al punto de no ser resuelto, en otras palabras difícil; este efecto se pudo medir con el cuadro de equivalencias de ítems politómicos con dicotómicos, previo al empleo de fórmula pertinente; concluyendo que es posible calcular el índice de dificultad de los ítems politómicos.

Los índices de dificultad de cada uno de los ítems de los instrumentos de recolección de datos seleccionados como parte de la muestra fueron calculados mediante la aplicación de la fórmula y con la ayuda del paquete informático estadístico IBM SPSS Statistics 20.

Cuadro 3
RESULTADOS PARA LA PRUEBA DE CREATIVIDAD

Como se puede apreciar los índices de dificultad de los ítems, de acuerdo al cuadro clasificador, están comprendidos como relativamente fáciles (8 ítems) y muy fáciles (1 ítem) y tan sólo el ítem 10 es difícil; es más, la prueba en su totalidad tiene una dificultad adecuada.

Cuadro 4
RESULTADOS PARA LA PRUEBA PEDAGÓGICA

Como se puede apreciar los índices de dificultad de los ítems, de acuerdo al cuadro clasificador, están comprendidos como muy fáciles (2 ítems), relativamente difíciles (4 ítems), relativamente fáciles (1 ítem) y de dificultad adecuada (3 ítems); es más, la prueba en su totalidad tiene una dificultad adecuada.

Cuadro 5
RESULTADOS PARA LA FICHAS DE OBSERVACIÓN–EVALUACIÓN PROCEDIMENTAL

Como se puede apreciar los índices de dificultad de los ítems, de acuerdo al cuadro clasificador, están comprendidos como muy fáciles (9 ítems), relativamente fáciles (11 ítems); es más, la ficha de observación en su totalidad es muy fácil.

1.- Se elaboró un cuadro de equivalencias de ítems politómicos con ítems dicotómicos, mediante la aplicación de factores ponderativos, de las pruebas pedagógicas que se aplican a los alumnos de las instituciones educativas de la Región Junín.

2.- Se diseñaron algoritmos para el cálculo de los índices de dificultad de los ítems Politómicos, de las pruebas Pedagógicas que se aplican a los alumnos de las instituciones educativas de la Región Junín.

3.- Se determinaron los índices de dificultad de los ítems politómicosde las pruebas pedagógicas que se aplican a los alumnos delas instituciones educativas de la Región Junín.

4.- De acuerdo a los análisis y discusión de los resultados, son pertinentes, el cuadro de equivalencias y el algoritmo de cálculo propuesto, para determinar el índice de dificultad de los ítems politómicos de las pruebas pedagógicas que se aplican a los alumnos de las instituciones educativas de la Región Junín.