La población objeto de estudio la componen el total de estudiantes de la Universidad de Jaén (UJA) y de la Universidad de Granada (UGR) matriculados en 2º y 4º de las 24 titulaciones de grado comunes en ambas universidades, y postgrado de todo el conjunto de estudios universitarios, divididos en hombres y mujeres. La determinación de estudiantes de 2º, 4º, máster o doctorado obedece al criterio de comprobar en qué medida afecta, en su caso, la orientación recibida durante el periodo universitario. De la misma, se ha extraído la muestra correspondiente, mediante un sistema de muestreo aleatorio estratificado y proporcional, con un nivel de confianza del 95% y un error muestral del 5%. A esta muestra se suman las otras instituciones participantes en el estudio general, Instituto Politécnico de Coímbra (Portugal) y Queen Mary University of London (Reino Unido), si bien los participantes de estas universidades no han sido seleccionados de manera proporcional, al no haber coincidencia en la denominación de los estudios en estos países. En la tabla 1 se detalla la distribución de los participantes en función de los objetivos definidos para el estudio. La muestra tomada en consideración para la validación del instrumento está compuesta por 4003 estudiantes.

Tabla 1
Muestra del estudio en sus principales variables

Se construyó y validó ad hoc la escala “La práctica orientadora y tutorial en el alumnado y egresados universitarios (POTAE-17)”, un instrumento de evaluación de las diferentes acciones que en orientación desarrolla el alumnado a lo largo de su vida universitaria y al término de la misma, cuando de alguna manera sigue ligado a la institución. Como se verá más adelante, analiza cuatro grandes dimensiones: orientación académica, orientación personal, orientación profesional y orientación y TIC. La fiabilidad de las puntuaciones (Alfa de Cronbach, consistencia interna) obtenidas en cada una de las dimensiones del instrumento, en la aplicación de la prueba piloto ha sido .89 para Orientación Académica, .85 para Orientación Personal, .94 para Orientación Profesional y .87 para Orientación y TIC; siendo la fiabilidad total de las puntuaciones del cuestionario de .96.

En función de los objetivos principales que se definieron para la investigación, tras una profunda búsqueda bibliográfica y una serie de reuniones del equipo investigador, se realizaron varias versiones de la escala y se llevaron a cabo las estrategias de definición de su validez y fiabilidad hasta llegar a los valores de calidad que permitieron configurar el instrumento definitivo. En su construcción participó, como se verá a continuación, profesorado de diferentes universidades públicas de España, Portugal y Reino Unido, y se garantizó en todo momento la confidencialidad de los datos. Para el análisis de los datos se utilizó el paquete R Project for Statistical Computing y Lavaan de R.

Morales, Urosa, y Blanco (2000) señalan diversos pasos en la construcción de una escala, que se concretan en cuatro, una vez se tiene clara la actitud o rasgo que se desea medir: preparación del instrumento, obtención de datos de una muestra, análisis del instrumento y análisis adicionales. Tomando estas fases como referencia, el equipo investigador estuvo formado por un total de 14 profesores de universidad: UJA (4), UGR (5), Coimbra (3) y Londres (2). En primer lugar, valoran, tras una amplia revisión de la literatura y de diversos instrumentos de similares características, la agrupación de los ítems en torno a cuatro grandes dimensiones: orientación académica, personal, profesional y orientación y TIC. En las diferentes sesiones de trabajo se definen los distintos rasgos que se desean medir en cada dimensión, hasta que queda configurada una primera versión del instrumento. De forma paralela, se toma la decisión de evaluar la pertinencia de los ítems en relación con una serie de criterios considerados importantes para garantizar la calidad psicométrica de los mismos y, por tanto, validar la hipótesis de que representan adecuadamente el constructo. Estos indicadores son:

• Claridad: el ítem se comprende fácilmente.

• Coherencia: el ítem tiene relación lógica con la dimensión que está midiendo.

• Relevancia: es esencial la inclusión del ítem.

Con estas características, se diseña la primera versión de la escala “La práctica orientadora y tutorial en el alumnado y egresados universitarios (POTAE-17)”, que cuenta con un total de 73 ítems, repartidos conforme se aprecia en la Tabla 2. Todos ellos incorporan un apartado para que cada juez pueda realizar observaciones en el sentido de añadir, cambiar o eliminar cualquier ítem o expresión que considere oportuno. Seguidamente, se eligen 10 jueces al azar (5 hombres y 5 mujeres), buscando representación en las cuatro universidades participantes y una experiencia como tutores entre 5 y más de 15 años. Valoran el grado de pertinencia de cada ítem en los tres indicadores en una escala de cuatro opciones de respuesta (1= deficiente; 4= excelente). Una vez recogidas las respuestas, se reúne de nuevo el equipo investigador para realizar una valoración de las mismas, comprobándose frecuencias, porcentajes, medias y desviación típica de la concordancia con el constructo y con la pertinencia del ítem a la dimensión evaluada. Se eliminan aquellos ítems que no obtienen al menos un 75% de unanimidad y que corresponden con medias cercanas o por debajo de 2 en los tres indicadores. Seguidamente, se realiza la prueba W de Kendall, con la finalidad de conocer el grado de asociación entre k conjuntos de rangos (Siegel y Castellan, 1995); en este caso, la concordancia entre las respuestas de los jueces, valorando las respuestas sin eliminar y eliminando los ítems mencionados anteriormente. De forma global el coeficiente W es igual a .343 y no es significativo χ² (215) = 224.155 p ≤ .373, lo que indica que hay un adecuado índice de concordancia entre los jueces. Tras el filtrado correspondiente, la escala definitiva queda formada por 61 ítems.

Una vez modificados o excluidos los ítems, tras los análisis estadísticos, se realizó una revisión semántica, tomando como referencia las indicaciones emanadas de una mayoría de jueces. Se unificaron varios de los enunciados y se mejoró la redacción y comprensión de algunos ítems, buscando un lenguaje más apropiado a los estudiantes universitarios. De igual forma, se definieron 5 opciones de respuesta (1= totalmente en desacuerdo; 5= totalmente de acuerdo).

Tabla 2
Versiones inicial y final de la escala

A continuación, se analizan las evidencias de validez de constructo de los ítems del instrumento, mediante un análisis factorial exploratorio. Se ha utilizado la matriz de correlación policórica al tratarse de variables ordinales con cinco categorías; es decir, solo se utilizan en la validación estos ítems y no la variable final de cada escala que se puntúa de 1 a 10. El propósito ha sido establecer los componentes principales del cuestionario y determinar la varianza que estos explican y ver si existía una concordancia con los factores propuestos por los revisores en la validación del contenido del mismo.

El grado de significación de los coeficientes, obtenido en la matriz de correlaciones entre variables, en un contraste unilateral, resulta significativo en todos los casos p < .000. La medida de adecuación muestral de Kaiser-Meyer-Olkin (KMO) es de un valor próximo a la unidad, siendo por tanto el análisis factorial un procedimiento adecuado. El valor de KMO en nuestro estudio análisis es de .853 y se puede considerar como que procede la realización del análisis factorial.

Tabla 3
Valor de la prueba KMO y prueba de esfericidad de Bartlett

Al utilizar el test de Bartlett verificamos si la matriz de correlaciones es una matriz de identidad; es decir, si todos los coeficientes de la diagonal son iguales a la unidad y los extremos de la diagonal iguales a 0. A través de las transformaciones Chi cuadrado del determinante de la matriz de correlaciones comprobamos que cuanto mayor sea su valor, y por tanto, menor su grado de significación, es más improbable que la matriz sea una matriz de identidad. Para nuestro instrumento, Chi cuadrado tiene un valor de 6701.698 y una significación p = .000, por lo que queda de manifiesto que no es una matriz de identidad. Esto nos lleva a afirmar que el análisis factorial resulta pertinente.

De igual forma, se halló la medida de adecuación muestral (MSA) con la finalidad de comparar las magnitudes de los coeficientes de correlación observados y las correspondientes a la correlación parcial (Gil, 2003). Se obtiene un índice de .97, que se puede considerar muy alto, al igual que los distintos valores entre ítems que se aprecian en la Tabla 4, que además se mantienen muy estables.

Tabla 4
MSA ítem a ítem

El modelo de extracción de factores utilizado es el de Componentes Principales (MCP), ya que es, posiblemente, la técnica más empleada y aceptada en la investigación socioeducativa (Gaviria, 2000). Para llevarlo a cabo se realiza un análisis paralelo para determinar el número de factores, al comparar los autovalores empíricos con los aleatorios. Este tipo de análisis es válido para variables categóricas -tal es el caso del cuestionario POTAE - como señalan Liu y Rijmen (2008), Weng y Cheng (2005). La figura 1 muestra la existencia clara de tres factores y un cuarto que también permite considerarse por proximidad. Por su parte, el análisis factorial correspondiente, explica un 50% de la varianza (Tabla 5).

Figura 1
Análisis paralelo y factores extraídos

Tabla 5
Análisis de varianza

A continuación, se determina la estructura factorial de la escala, mediante un análisis factorial exploratorio, para lo cual se emplea el método de extracción con rotación Varimax, quedando agrupados los ítems tal y como se aprecia en la Tabla 6. Los cuatro factores identificados corresponden, como se ha expuesto con anterioridad, a Orientación Académica (OA); Orientación Personal (OP); Orientación Profesional (OPR) y Orientación y TIC (OT).

Tabla 6
Estructura factorial de la escala (rotación Varimax)

Aun cuando algunos valores de los factores son reducidos, se han dejado en blanco las cargas que son inferiores al valor del factor. Por otra parte, el análisis de fiabilidad de las escalas y el análisis factorial confirmatorio han corroborado la estructura factorial que muestra la Tabla 6.

El último paso en el proceso de validación ha sido el análisis factorial confirmatorio (AFC) mediante la técnica SEM (Structural Equation Modeling), que permite representar el efecto causal entre las variables existentes en cualquier modelo teórico formulado, como continuación de técnicas multivariadas como el análisis factorial (Byrne, 2006), ya realizado anteriormente. Para ello se ha utilizado el paquete estadístico Lavaan de R. Como una medida de ajuste general de modelo se calcula el estadístico chi-cuadrado (χ²) que, al ser significativo (χ² = 31984.829; p = .000), solo nos sirve para graduar la aproximación entre distintos modelos de ajuste. Por tanto, se necesita la confluencia de otros índices para dirimir si el ajuste del modelo a los datos es apropiado. Uno de los más apropiados es el RMSEA (Error Medio Cuadrático de Aproximación) al estar modulado por los grados de libertad de la muestra. No obstante, también se han utilizado otros índices de ajuste, que se muestran en la Tabla 7. En la misma, se aprecia cómo algunos indicadores están fuera del valor estándar, pero muy próximos al mismo, por los que se asumen como adecuados. En el caso del RMSEA presenta un buen ajuste de acuerdo a Steiger y Lind (1980).

Tabla 7
Medidas de ajuste del modelo

Las relaciones estructurales observadas en las diferentes variables analizadas, se muestran representadas en la figura 2. Los valores existentes en las flechas unidireccionales señalan la influencia que existe entre las variables latentes representadas con una elipse (factores) y los valores de la escala. En el centro se muestran los pesos que cada uno de los ítems tienen sobre el factor y en la parte izquierda se representan los errores de medida (error aleatorio + la varianza sistemática debida a otros elementos que el indicador mide, además del factor subyacente, tales como los efectos de un particular método de medida).

Figura 2
Estimaciones del modelo para la escala POTAE

En nuestro caso, dada la situación en las que nos encontramos de un estudio piloto, no ha sido posible el cálculo de la fiabilidad de las puntuaciones a través de la vía test-retest, por tanto, la fiabilidad del cuestionario fue estimada a través del cálculo del coeficiente α (alfa de Cronbach), para determinar la consistencia interna, obteniéndose un coeficiente igual a .96 para toda la escala. En cada dimensión, la fiabilidad obtenida ha sido de .89 para Orientación Académica, .85 para Orientación Personal, .94 para Orientación Profesional y .87 para Orientación y TIC.