La escasa investigación previa sobre el conocimiento del profesor en inferencia se ha centrado, generalmente, en el conocimiento matemático (HARRADINE et al., 2011). Entre ellas encontramos la llevada a cabo por Haller y Krauss (2002), en la que se describen errores de profesores de cursos de metodología al interpretar el p-valor (probabilidad de encontrar un valor del estadístico muestral igual o más extremo que el observado, suponiendo la hipótesis nula cierta).

Por su parte, Liu y Thompson (2009) analizan las dificultades de ocho futuros profesores de matemáticas sobre inferencia, encontrando en ellos una concepción determinista del contraste de hipótesis y falta de comprensión de la lógica del mismo. Inzunsa y Jiménez (2013) caracterizan en cinco niveles el razonamiento de once futuros profesores de matemáticas sobre diversos conceptos ligados al contraste de hipótesis.

Los autores (INZUNSA; JIMÉNEZ, 2013) encontraron un alto porcentaje de estudiantes situados en el nivel más bajo de comprensión del nivel de significación, p-valor, relación con el tamaño de muestra, significado de una prueba de hipótesis e interpretación de resultados de una prueba de hipótesis. Asimismo, señalan que son pocos los estudiantes ubicados en los niveles superiores. El mejor desempeño se encontró en la formulación de hipótesis y en relacionar el p-valor con la significación estadística.

Estas dificultades no desaparecen con las nuevas propuestas de enseñanza de la inferencia con métodos informales basados en la formulación, pues en la experiencia de Biehler, Frischemeier y Podworny (2015) los profesores participantes continúan teniendo mucha dificultad con la formulación de hipótesis e interpretación del p-valor. No hemos encontrado antecedentes que describan el conocimiento matemático sobre el intervalo de confianza y el único que trata del conocimiento didáctico de los futuros profesores sobre el contraste de hipótesis es una versión preliminar y más limitada del trabajo que ahora presentamos (LOPEZ-MARTÍN; BATANERO; GEA, 2018).

El principal error en el contraste de hipótesis consiste en intercambiar los términos de la probabilidad condicional en la definición del nivel de significación, interpretándolo como probabilidad de que la hipótesis nula sea cierta, una vez que se ha rechazado (VALLECILLOS, 1999).

Badenes-Ribera et al. (2015) y Caperos y Pardo (2013) encontraron el mismo error en la interpretación del p-valor. Otros errores ocurren cuando, por ejemplo, los estudiantes no identifican el tipo de contraste bilateral o unilateral (ESPINEL; RAMOS; RAMOS, 2007). Es también frecuente confundir la hipótesis nula con la alternativa, plantear hipótesis no complementarias o que no cubren el espacio paramétrico (VALLECILLOS, 1999; VERA; DÍAZ; BATANERO, 2011). Igualmente, se ha observado el uso de los estadísticos muestrales, en vez de los parámetros poblacionales en el establecimiento de las hipótesis (ESPINEL; RAMOS; RAMOS, 2007; HARRADINE et al., 2011; RAMOS; ESPINEL; RAMOS, 2009; VALLECILLOS, 1999; VERA et al., 2011).

Respecto al intervalo de confianza, Fidler y Cumming (2005) mostraron que los intervalos de confianza eran considerados como estadísticos descriptivos, ignorando su naturaleza inferencial. Otros estudios señalan la dificultad en percibir la relación entre amplitud del intervalo, tamaño de la muestra y coeficiente de confianza (BEHAR, 2001; CUMMING; WILLIAMS; FIDLER, 2004).

En un trabajo con estudiantes universitarios, de máster y futuros investigadores (HOEKSTRA et al., 2014), se observó en todos los grupos una alta proporción de sujetos que suponen que el nivel de confianza es la probabilidad de que la media muestral pertenezca al intervalo, o el porcentaje de muestras diferentes en que el intervalo coincidiría al repetir su cálculo.

Otros estudiantes confunden estadístico y parámetro o no recuerdan la expresión de la distribución muestral (BATANERO, 2000). A todo ello se ha de añadir la tipificación o uso incorrecto de la tabla de probabilidades de la distribución Normal e interpretar erróneamente los resultados (ESPINEL; RAMOS; RAMOS, 2007).

El estudio sistemático y clasificación de estos errores nos ha permitido elaborar una pauta para analizar el conocimiento de los futuros profesores de Educación Secundaria y Bachillerato sobre las dificultades a las que, previsiblemente, se enfrentarán sus estudiantes al trabajar con la inferencia. A continuación, presentamos el método, resultados y discusión de nuestra investigación.

Una versión piloto del mismo (LÓPEZ-MARTÍN; BATANERO; GEA, 2018) sirvió para realizar una identificación previa de las categorías utilizadas respecto al contraste de hipótesis. En el trabajo actual se revisan y extienden estas categorías, se completan con las correspondientes al intervalo de confianza y se desarrolla y extiende la comparación con las investigaciones previas.

Los 55 errores que se citaron en esta categoría, exclusiva del contraste de hipótesis, se han clasificado tal y como se muestra a continuación:

Confunde hipótesis nula y alternativa. Este error, descrito por Vallecillos (1999) y Vera et al. (2011), conlleva realizar incorrectamente el resto del procedimiento, intercambiando las regiones críticas y de aceptación y, concluyendo con una decisión errónea:

Plantea hipótesis que no complementarias. Este error, recogido en investigaciones realizadas con estudiantes (ESPINEL; RAMOS; RAMOS, 2007; VALLECILLOS, 1999) implica que las hipótesis del contraste no cubrirían en su totalidad los valores posibles del espacio paramétrico, por lo que el resultado podría no ser concluyente.

En la Tabla 3 se desglosan los 55 errores asociados al planteamiento de la hipótesis, la mayor parte de los cuales se relacionan con la confusión entre la hipótesis nula y alternativa.

Es menos frecuente reconocer que las hipótesis podrían no ser complementarias y un quinto de los futuros profesores son imprecisos al citar errores sobre el planteamiento de las hipótesis. No se describen los errores consistentes en hacer uso de los estadísticos muestrales en el planteamiento de las hipótesis, confundir una hipótesis unilateral con otra bilateral, o uso de una notación no adecuada, descritos en diferentes investigaciones (ESPINEL; RAMOS; RAMOS, 2007; HARRADINE et al., 2011; RAMOS; ESPINEL; RAMOS, 2009; VALLECILLOS, 1999; VERA et al., 2011).

En segundo lugar, clasificamos los errores descritos en referencia a la correcta selección de un contraste de hipótesis o un intervalo de confianza adecuado.

Error al identificar la distribución muestral. La selección de la distribución muestral adecuada es fundamental tanto en la realización de un contraste como en el cálculo de un intervalo de confianza, debido a que los cálculos posteriores, por ejemplo, el p-valor, o la amplitud del intervalo de confianza, se basan en ella. El error en la elección de la distribución muestral (por ejemplo, utilizar la distribución t en lugar de la normal o tomar unos parámetros erróneos para la distribución normal) es señalado por algunos estudiantes, como ACG, que indica que se puede confundir la distribución muestral, al expresar el intervalo en función de la distribución normal N(0,1).

Error al identificar el tipo de contraste o de intervalo. Una elección incorrecta del tipo de contraste o intervalo (unilateral o bilateral) implica errores posteriores. Recordemos que, si el contraste es bilateral, se establecen dos regiones con probabilidades α/2 respectivamente, mientras que si este es unilateral, únicamente se cuenta con una región de rechazo con probabilidad α. El mismo problema se presenta entre intervalo de confianza unilateral o bilateral. Este error fue descrito por Espinel, Ramos y Ramos (2007).

De la información recogida en la Tabla 4 se observa que pocos participantes han señalado posibles errores en la elección del contraste o intervalo adecuado, y la mayoría de los que los citan en el contraste de hipótesis son imprecisos, lo que indica que los participantes en el estudio son poco conscientes de que sus alumnos podrían cometer estos errores.

Son muchos los conceptos que intervienen tanto en el contraste de hipótesis como en el intervalo de confianza. Respecto a los conceptos comunes a ambos procedimientos, los participantes en el estudio citaron los siguientes errores:

Confunde estadístico y parámetro. En esta categoría se han considerado aquellas respuestas en las que los estudiantes confunden los parámetros poblacionales (resúmenes desconocidos y constantes de una población) con los estadísticos (valores conocidos y que varían de una muestra a otra) (VALLECILLOS, 1999; VERA et al., 2011). Este error está relacionado con la falta de discriminación de los tres tipos de distribución que intervienen en inferencia: distribución de los datos de la muestra, distribución de la variable en la población y distribución muestral (HARRADINE et al., 2011). En el siguiente ejemplo, un participante en el estudio cita este error:

Comprensión incorrecta del Teorema Central del Límite. Este teorema asegura que la suma de variables aleatorias independientes, con varianza finita, tiende a distribuirse normalmente cuando aumenta el tamaño muestral. Puesto que la media muestral se calcula como suma de variables aleatorias, permite al aplicarlo, identificar la distribución muestral, si el tamaño de la muestra es adecuado y el muestreo es aleatorio. Además, se deben asignar unos valores correctos a la media y desviación típica de la distribución normal resultante, lo que es resaltado por algunos futuros profesores. Aunque son varios los estudiantes que citan este error, las respuestas son algo ambiguas ya que únicamente se indica la no correcta aplicación del mismo o el desconocimiento de su uso.

Interpreta incorrectamente el nivel de significación o el nivel de confianza. Algunos futuros profesores sugieren errores de comprensión del nivel de significación, aunque no suelen ser precisos para describir si el error consiste en el cambio entre los dos términos de la probabilidad condicionada o en la creencia de que el nivel de significación es la probabilidad de error al rechazar la hipótesis nula, u otro de los errores asociados a dicho concepto (FALK, 1986, VALLECILLOS, 1999). Por tanto, no queda claro si realmente los participantes conocen los errores típicos asociados a este concepto.

Igual ocurre con los estudiantes que indican errores en la interpretación del nivel de confianza. Mostramos a continuación la respuesta, muy imprecisa, dada por MHB, que sugiere un error no citado en las investigaciones previas, consistente en confundir el nivel de significación con su complementario (nivel de confianza).

Confunde otros conceptos: se considera aquellos casos en los que se sugiere la confusión entre conceptos propios de estadística descriptiva (como confundir desviación típica y varianza) o relacionados con la estimación puntual; por ejemplo, confundir el estimador de la proporción con su complementario.

Adicionalmente, se citaron los siguientes errores específicos del contraste de hipótesis.

Interpreta incorrectamente el p-valor. El p-valor se define como la probabilidad de obtener el valor observado del estadístico u otro más extremo, supuesta cierta la hipótesis nula. Dicho concepto es interpretado por algunos estudiantes como la probabilidad de que la hipótesis sea cierta si se obtuvo el valor observado del estadístico, como la probabilidad de que el valor obtenido del estadístico se deba al azar o como la probabilidad de que la hipótesis nula sea cierta (CASTRO-SOTOS et al., 2007). Ninguno de estos errores fue citado por los futuros profesores, pues sólo MSM sugiere la confusión entre el p-valor y el nivel de significación. Esta confusión es importante, pues mientras que el nivel de significación es constante y, lo fija el investigador antes de realizar el contraste, el p-valor es variable y se calcula como consecuencia del mismo.

Confunde los errores Tipo I y Tipo II. Una vez tomada la decisión sobre la hipótesis nula, existe la posibilidad de cometer errores dependiendo de la decisión tomada. Mientras que el error Tipo I consiste en rechazar la hipótesis nula siendo cierta, el Error Tipo II reside en no rechazar la hipótesis nula cuando es falsa. La importancia de diferenciarlos se debe a que la probabilidad asociada al primer error (nivel de significación) queda determinada antes del contraste, y la probabilidad asociada al segundo es variable y dependiente de diversos factores. Un ejemplo de cita de este error se reproduce a continuación:

La Tabla 5 recoge los errores conceptuales citados por los futuros profesores.

La Tabla 5 muestra que, en ambas tareas, fue frecuente citar el error asociado a la confusión entre parámetro y estadístico, en especial, en el contraste de hipótesis, donde los participantes lo ven más previsible que en la construcción de un intervalo de confianza. El segundo error conceptual más citado es el relacionado con los tipos de errores en un contraste de hipótesis; de hecho, este es un error no evitable; es consustancial al contraste de hipótesis, mientras que el resto se debe a un aprendizaje deficiente del procedimiento y pueden corregirse.

El resto de errores conceptuales son citados con poca frecuencia. Asimismo, observamos que los errores asociados a la aplicación del Teorema Central del Límite no son considerados en la construcción del intervalo de confianza. Por último, resaltar que el número de citas de errores conceptuales asociados al contraste de hipótesis casi duplica a los relacionados con los intervalos de confianza, lo que sugiere que los participantes encuentran conceptualmente más difícil el primer procedimiento y le asocian más conceptos diferentes.

Destacamos que apenas se ha aludido a los errores de interpretación del nivel de significación y del p-valor, lo que nos hace sospechar que los participantes pudieran no ser conscientes de los errores relacionados con la interpretación de estos conceptos, que, de acuerdo a Badenes-Ribera et al. (2015), Batanero (2000) y Caperos y Pardo (2013), están muy extendidos.

Una vez seleccionado el contraste o intervalo de confianza adecuado se requiere una serie de pasos para completarlo, en los cuales pueden producirse diferentes errores. Los citados en el presente trabajo se analizan a continuación:

Error en la identificación de los datos. El primer paso del procedimiento, citado por algunos futuros profesores, consiste en identificar los diferentes datos del enunciado, por ejemplo, tamaño de la muestra, valor de la media muestral o tipo de distribución en la población.

Determinación del estadístico de contraste. La realización de un contraste, o la construcción de un intervalo, requiere la elección de un estadístico muestral en relación al parámetro que se desea estimar o contrastar. Por ejemplo, el intervalo de confianza de la media poblacional se fundamenta en el uso de la media muestral, estimador insesgado de la misma. Un error señalado por algunos participantes es la elección inadecuada del estadístico.

Error de tipificación o al operar con desigualdades. En el cálculo asociado al intervalo de confianza o al contraste de hipótesis, se recurre a la tipificación de la variable, para convertirla en una normal estándar. Ello requiere una serie de operaciones con desigualdades donde el estudiante podría cometer errores, como describen Espinel et al. (2007) y lo recoge la respuesta JLS:

Error en el cálculo de probabilidades. En ocasiones se citan los errores de cálculo de probabilidades, como, por ejemplo, al calcular probabilidades de que la variable en estudio esté comprendida entre dos valores. Este hecho requiere hallar la diferencia entre las probabilidades de que la variable tome un valor menor o igual que cada uno de los extremos del intervalo:

Lectura incorrecta de las tablas estadísticas. El uso adecuado de las tablas estadísticas adquiere cierta importancia pues, un error en la lectura de la tabla, podría suponer la determinación de regiones de rechazo o amplitudes de intervalos incorrectas, entre otros. La lectura de las tablas tiene su dificultad, descrita por Espinel et al. (2007), debido a la diversidad de tablas existentes, lo que ha sido señalado por los participantes:

Error en el cálculo del p-valor. El cálculo del p-valor puede ser erróneo cuando se calcula como probabilidad simple, en lugar de condicionada, error descrito por Falk (1986), o bien si, en lugar de tomar la desigualdad apropiada para el tipo de contraste, se toma la contraria. Los estudiantes que indican este error procedimental suelen ser muy imprecisos, como el siguiente:

Determinación del punto crítico. Mientras que el cálculo del p-valor parte de un valor observado del estadístico para calcular su probabilidad, la determinación del punto crítico se realiza mediante la operación inversa, pues se toma un valor de probabilidad (nivel de significación) para determinar el valor del estadístico que corresponde a dicha probabilidad, lo que es citado en forma confusa por ciertos futuros profesores.

Determinación incorrecta de las regiones de rechazo/no rechazo. La región de rechazo está formada por un conjunto de valores posibles del estadístico de contraste alejados del valor supuesto en la hipótesis nula, siendo poco probable obtener dichos valores si la hipótesis nula es cierta. Un error relacionado consiste en intercambiar las regiones de un contraste, descrito por Vallecillos (1994), y citado en el siguiente ejemplo:

Errores al establecer los límites del intervalo. La obtención del extremo inferior y superior del intervalo de confianza implica restar y sumar al estadístico el error de estimación, respectivamente. Consecuentemente, un intervalo puede quedar incorrectamente determinado si alguno de estos valores no es adecuado o si el extremo inferior se obtiene como resultado de la suma y el superior como resultado de la resta. A modo de ejemplo se tiene la siguiente respuesta.

Errores de cálculos o en la terminología. Dentro de esta categoría se han incluido aquellas respuestas que hacen alusión a los posibles errores de cálculo que se cometen en la elaboración del contraste o en el uso de la notación.

Los errores procedimentales citados en ambas tareas (véase Tabla 6) son bastante variados y numerosos, aunque la mayor parte de las veces hay poca precisión al describirlos. Los errores procedimentales citados con mayor frecuencia son los relacionados con la lectura de las tablas de la distribución normal y tipificación, identificados por Espinel y Ramos (2007), y determinación de las regiones.

La última etapa en la realización de un contraste de hipótesis o en el cálculo de un intervalo de confianza es la interpretación de los resultados de los cálculos matemáticos, en el caso del contraste de hipótesis para tomar una decisión sobre la misma y en los dos procedimientos para contextualizar en el contexto del problema. Respecto al contraste de hipótesis se citan los siguientes errores de interpretación:

No ser capaz de tomar una decisión sobre la hipótesis nula. Incluso realizando correctamente el procedimiento asociado a un contraste de hipótesis, se puede no llegar a tomar la decisión adecuada, si no comprende a fondo el proceso por el cual se toma la decisión. Este es un error poco citado en la literatura.

Aceptar la hipótesis nula. El contraste de hipótesis es un procedimiento diseñado para proporcionar evidencia empírica que permite contradecir la hipótesis nula. Por ello, si la hipótesis nula no llega a rechazarse, sólo se puede indicar que los datos de la muestra no ofrecen suficientes evidencias sobre su falsedad (Batanero, 2000). Por el contrario, si los datos contradicen la hipótesis, esta se rechaza. Algunos futuros profesores indican la posible confusión que al respecto podrían tener los estudiantes:

Cometer un error tipo I o un error tipo II. Debido a la aleatoriedad presente en el muestreo, existen dos tipos de errores; mantener la hipótesis nula siendo falsa (Error Tipo II) o bien rechazarla siendo verdadera (Error Tipo I). Los futuros profesores han aludido a este tipo de error en algunas de sus respuestas.

No se contextualiza el resultado. Algunos estudiantes realizan todos los cálculos matemáticos llegando a tomar una decisión correcta en relación al rechazo o no de la hipótesis nula, sin embargo, no interpretan dicho resultado dentro del contexto del problema. Esta falta de competencia de contextualización ha sido descrita por el siguiente ejemplo.

En relación a los posibles errores de interpretación del intervalo de confianza, hemos encontrado los siguientes:

Interpretación del nivel de confianza o nivel de significación. Dependiendo del libro de texto utilizado se da como dato en la construcción del intervalo de confianza el nivel de confianza o su complementario (nivel de significación). Este hecho, y dada la estrecha relación que tienen ambos niveles, los estudiantes pueden confundirlos, o interpretarlos erróneamente.

Considerar fijos los extremos del intervalo. Son varios los autores que han descrito errores en la interpretación del significado del intervalo de confianza, como suponer que los extremos del intervalo tienen un valor fijo. Sin embargo, la interpretación correcta es que los extremos son variables y lo que es constante es el valor desconocido del parámetro (BEHAR, 2001).

Considerar el parámetro dentro del intervalo. Otro error frecuente es considerar que el valor del parámetro está dentro de cualquier intervalo de confianza, aunque en realidad sólo un porcentaje de intervalos (dado por el coeficiente de confianza) lo contendrá (CUMMING et al., 2004). En la siguiente respuesta se refleja este error.

Aceptar el intervalo sin comprobar que contiene a la media verdadera. Por otro lado, algunos participantes en el estudio consideran erróneamente que el intervalo de confianza contiene con seguridad al parámetro poblacional y suponen que un error en el estudiante es no interpretar el intervalo en esta forma:

Interpretación incorrecta de factores que afectan al resultado. Por último, y común a los dos métodos puede darse una interpretación incorrecta de factores que afectan al resultado. Por ejemplo, no tener en cuenta la importancia de la muestra o los factores de los que depende la amplitud del intervalo.

La Tabla 7 resume los errores citados sobre interpretación donde se observa que un alto porcentaje de futuros profesores es consciente de que los extremos de un intervalo de confianza son aleatorios. También se percibe la importancia que los futuros profesores le otorgan a la contextualización de los resultados y a la interpretación del intervalo de confianza. Con mucha menor frecuencia se citan el resto de errores, como por ejemplo, no ser capaz de tomar una decisión sobre el rechazo de la hipótesis o aceptar una hipótesis nula.