INTRODUCCIÓN

En los últimos años, el vertiginoso crecimiento de las tecnologías de la información (TI) ha cambiado la forma de comunicar, estudiar, trabajar y acceder a la información. Este escenario ha generado que ―en la actualidad― las organizaciones, tanto públicas como privadas, incrementen su capital en software, hardware y comunicaciones. Por ello, es indispensable determinar la efectividad de las inversiones en tecnologías de la información y conocer el valor y los factores que influyen en su contribución a la organización. La valoración del impacto de las TI es una de las veinte cuestiones más determinantes, indicadas por los integrantes de la asociación para la gestión de la información (SIM). Esto hace necesario disponer de instrumentos que permitan medir el rendimiento de los sistemas de información (SI). La medición del éxito de los SI dispone de estudios previos como los de Robert W. Zmud, Sauder y Jones, McLean y Delone, Gable y Sedera, Medina, entre otros. Los modelos de evaluación de impacto tienen una larga historia, dado que comienzan con pequeños destellos para medir o hacer medibles cosas intangibles (satisfacción, calidad, etc.). Por tanto, esta investigación plantea un modelo de valoración de los elementos y componentes críticos de éxito en el desempeño individual y cooperativo, con énfasis en los factores político, social y ético, teniendo en cuenta que los SI operan en organizaciones humanas provocando impactos políticos, sociales y éticos.

El estudio recae sobre el Modulo de Gestión de Recursos Humanos (MGRRHH) del Ministerio de Economía y Finanzas del Perú, el cual brinda soporte al proceso del presupuesto anual de personal (PAP), como se muestra en la Figura 1.

PRINCIPALES MODELOS DE EVALUACIÓN DE IMPACTO DE SISTEMAS DE INFORMACIÓN

• Modelo de DeLone y McLean para la evaluación de sistemas de información (SI). La estructura de esta propuesta se basa en la taxonomía desarrollada por Mason (1978), la cual a su vez surgió de la teoría de la información de Shannon y Weaver (1964). El modelo se muestra en la Figura 2

• Actualización del modelo de DeLone y McLean. Después de diez años de intentos de validación y de críticas, el modelo de éxito de sistemas de información DeLone y McLean recibió una actualización, como lo muestra la Figura 3

• Otros modelos investigados. Para el desarrollo del modelo de investigación se revisaron estructuras alternativas de éxito de sistemas de información, basadas en el modelo de Delone y Mclean. La Tabla 1 presenta un resumen de dicha revisión

METODOLOGÍA

El presente caso de estudio es no experimental, pues implica correlación/causalidad y trata de conocer la percepción de los usuarios operativos del Módulo de Gestión de Recursos Humanos (MGRRHH), sin realizar algún tipo de manipulación intencional. En tal sentido, esta investigación se encuentra orientada a evaluar el impacto del MGRRHH en la asignación de presupuestos en materia de personal. El modelo propuesto se muestra en la Figura 4.

Diseño de la muestra

Considerando la población N=1740 y aplicando un muestreo aleatorio simple de proporciones con P=Q=0,5, se obtiene el tamaño muestra igual a 207.

Encuesta piloto

Se desarrolló una encuesta piloto mediante correo electrónico, con un total de treinta encuestas seleccionadas mediante muestreo sistemático aleatorio simple, las cuales presentaron una tasa de no respuesta de 37%. El cuestionario piloto estaba formado por 5 preguntas control y 90 preguntas divididas en los 13 factores considerados. La consistencia interna, medida a través del coeficiente alfa de Cronbach, muestra un resultado general adecuado, siendo bajo para los factores político, ético y técnico.

RESULTADOS Y DISCUSIÓN

Para verificar la confiabilidad de la encuesta, se aplicó el coeficiente alfa de Cronbach para cada factor definido, teniendo en cuenta un total de 91 ítems. En líneas generales, el mencionado coeficiente resulta mayor a 0,5 para todos los factores y, al ser superior a 0,7 en todos los casos, se clasifica como “bueno” (3/13 factores), “aceptable” (3/13 factores) o “excelente” (7/13 factores). Véase la Tabla 2.

Análisis factorial exploratorio

A continuación, se aplicó el análisis factorial exploratorio. En el cuadro siguiente, se observa que en todos los casos se ha extraído un solo factor. Todos los valores del KMO son aceptables (mayores a 0,5), lo que indica una buena adecuación conjunta de las variables al modelo factorial. Véase la Tabla 3.

Análisis del modelo estructural

En el cuadro siguiente, se muestra el valor del índice de confiabilidad compuesta (CR), el cual excede con el valor de 0,7 para todos los factores. Además, se muestra el valor de AVE, el cual es menor que el valor de CR en todos los factores. Sin embargo, el valor AVE no excede el valor de 0,5 para todos los factores, por ese motivo, para estos constructos no se cumpliría la validez convergente. Además, la Tabla 4 presenta el valor de R2, el cual para todos los factores es menor que 0,8; con lo se comprueba la ausencia de multicolinealidad.

Validez discriminante

En la diagonal de la Tabla 5, no se cumple la validez discriminante, ya que los valores de la diagonal, equivalentes a la raíz de los valores estimados de AVE (varianza de los indicadores que forman cada constructo), resultan ser en algunos casos menores que las correlaciones entre los constructos (que se encuentran en las casillas fuera de las diagonales).

Reformulación del modelo

Debido a que los constructos en el modelo planteado no alcanzan el valor de AVE esperado (mayor a 0,5), se procedió a reformular el modelo, eliminando las variables que forman parte de los constructos respectivos y que presentan las menores cargas factoriales, estos son: factor “político”: V4; factor “social”: V13, V9, V14; factor “planeación, ejecución y control”: V29, V33; y factor técnico: V39, V37, V36. Suprimiendo estos indicadores, es posible hallar los valores esperados de AVE, los cuales resultan ser mayor que 0,5 para todos los constructos.

Mejora del modelo

De acuerdo a lo anterior, contamos con un total de 75 variables (64 observadas y 11 constructos); 71 son endógenas (64 observadas y 7 constructos endógenos); 4 son exógenas (4 constructos exógenos); 66 son dependientes (64 observadas y 2 constructos endógenos); 4 son independientes (los constructos exógenos); y 5 son ―a la vez― dependientes e independientes (5 constructos endógenos).

Validez convergente (varianza extraída mediaAVE)

En la Tabla 6, se muestra el valor del índice de confiabilidad compuesta (CR), el cual excede con el valor de 0,7 para todos los factores. Además, se muestra el valor de AVE, el cual es menor que el valor de CR en todos los factores y excede al valor de 0,5; para todos los factores (todos los constructos) se cumpliría la validez convergente. El valor de R2 para todos los factores es menor que 0,8, con lo se comprueba la ausencia de multicolinealidad.

Cargas factoriales, ratios críticos y significancia

La Tabla 7 muestra los valores significativos de los pesos de regresión no estandarizados o cargas factoriales que corresponden a la variación que se produce en la variable dependiente (observada o constructo) cuando la variable independiente (constructo) varía en una unidad y el correspondiente error estándar (S. E.). Al observar la proporción crítica (C. R.) del cuadro señalado, se detecta que todas las cargas factoriales resultan significativas, a un nivel de significancia de 0,05. Las siguientes relaciones son significativas (radios críticos mayores/menores que ±1,96).

Interpretación de las cargas factoriales significativas

Las cargas factoriales significativas pueden interpretarse del modo siguiente:

• Toma de decisiones/satisfacción ← Calidad de la información. Cuando la calidad de la información se incrementa en una categoría, la toma de decisiones/satisfacción se incrementa en 0,517.

• Toma de decisiones/satisfacción ← Calidad del sistema. Cuando la calidad del sistema se incrementa en una categoría, la toma de decisiones/satisfacción se incrementa en 0,427.

• Intención de uso ← Calidad del sistema. Cuando la calidad del sistema se incrementa en una categoría, la intención de uso se incrementa en 0,401.

• Intención de uso ← Calidad de la información. Cuando la calidad de la información se incrementa en una categoría, la intención de uso se incrementa en 0,492.

• Desempeño individual ← Intención de uso. Cuando la intención de uso se incrementa en una categoría, el desempeño individual se incrementa en 0,192.

• Desempeño cooperativo ← Intención de uso. Cuando la intención de uso se incrementa en una categoría, el desempeño cooperativo se incrementa en 0,225.

• Desempeño individual ← Toma de decisiones/ satisfacción. Cuando la toma de decisiones/ satisfacción se incrementa en una categoría, el desempeño individual se incrementa en 0,573

• Desempeño cooperativo ← Toma de decisiones/satisfacción. Cuando la toma de decisiones/satisfacción se incrementa en una categoría, el desempeño cooperativo se incrementa en 0,479.

Presentación final del modelo

En base a los resultados obtenidos y la mejora del modelo, omitiendo las relaciones que no han sido significativas en el análisis, a continuación se presenta el modelo final aceptado. Véase la Figura 5.

CONCLUSIONES

Para el modelo presentado de los factores de implementación, y a partir del análisis estadístico realizado, se detecta que los factores político, social y ético no evidencian una influencia significativa en los factores de calidad de servicio, calidad de la información y calidad del sistema. Esto, a su vez, expresa que la percepción de los encuestados considera que los factores político, social y ético, en el Modulo de Gestión de Recursos Humanos (MGRRHH) del Ministerio de Economía y Finanzas, no influyen de una manera positiva en la calidad del servicio, de la información, ni en la del sistema. Se puede decir que los encuestados tienen dicha percepción porque el enfoque de las preguntas para los factores político, social y ético no comprende el amplio espectro del MGRRHH.

El factor organizacional y el factor planeación, ejecución y control no son significativos para el factor calidad de la información, calidad del sistema y calidad de los servicios. El factor técnico no resulta significativo, ya que no presenta relaciones significativas con los factores calidad de la información, calidad del sistema y calidad de los servicios. La calidad de la información presenta relaciones significativas con la intención de uso y toma decisiones, dado que es un aplicativo informático para la asignación presupuestal, la calidad de la información es importante en términos de garantizar una buena información, generando el presupuesto previsto. La calidad del sistema presenta relaciones significativas con la intención de uso y la satisfacción del usuario, esto debido a la afabilidad, rapidez y fiabilidad de la información del MGRRHH. La calidad de los servicios no presenta relaciones significativas con la intención de uso y la toma de decisiones. La intención de uso y la toma de decisiones presentan relaciones significativas con el desempeño individual y con el cooperativo.

Referencias

Cabrera, M. del C. (2013). Un modelo de evaluación de éxito de los sistemas de información con énfasis en la seguridad de información a nivel del desempeño individual de instituciones públicas en Perú. Caso de estudio: Poder Judicial, sistema de notificaciones electrónicas. (Tesis de maestría). Universidad Nacional Mayor de San Marcos, Lima.

DeLone, W. H. y McLean, E. R. (1992). Information Systems Success: The Quest for the Dependent Variable. Information Systems Research, 3(1), 60-95.

DeLone, W. H. y McLean, E. R. (2003). The DeLone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems, 19(4) , 9-30.

Eldrandaly, K. A., Naguib, S. M. y Hassan, M. M. (2015). A Model for Measuring Geographic Information Systems Success. Journal of Geographic Information System, 7(4), 328-347.

Gable, G. G., Sedera D. y Chan T. (2008). Reconceptualizing Information System Success: The IS-Impact Measurement Model. Journal of the Association for Information Systems, 9(7), 377-408.

Ghassan, A. G., Bin, S. B. y Shahzad, A. (2016). A Conceptual Model for E-Government Success Factors in Developing Countries. International Journal of Scientific and Research Publications, 6(12), 39-44.

Karat J. y Karat, C. M. (2003). The Evolution of User-Centered Focus in the Human-Computer Interaction Field. IBM Systems Journal, 42(2), 532-421.

Lian, J.-W. (2017). Establishing a Cloud Computing Success Model for Hospitals in Taiwan. Inquiry: The Journal of Health Care Organization, Provision, and Financing, 54, 1-6.

Mason, R. O. (1978). Measuring Information Output: A Communication Systems Approach. Information & Management, 1(4), 219-234.

Medina, J. M. (2005). Evaluación del Impacto de los Sistemas de Información en el Desempeño Individual del Usuario: Aplicación en Instituciones Universitarias. (Tesis doctoral). Universidad Politécnica de Madrid, Madrid.

Nugroho, Y. y Prasetyo, A. (2018). Assessing Information Systems Success: A Respecification of the DeLone and McLean Model to Integrating the Perceived Quality. Problems and Perspectives in Management, 16(1), 348-360.

Rammutloa, M. (2017). Application of the DeLone and McLean’s Model to Assess the Effectiveness of an Intranet in an Open Distance Learning Library. (Tesis de maestría). Stellenbosch University, Cabo Occidental.

Romi, I. M., Awad, I. A. y Elkordy, M. (2008). A Model of Organizational Politics Impact on Information Systems Success. Recuperado de https://www.academia.edu/9751502/A_ Model_of_Organizational_Politics_Impact_on_Information_Systems_Success

Shannon, C. E. y Weaver W. (1964). The Mathematical Theory of Communication. Illinois, EE. UU.: The University of Illinois Press.

Venkatesh, V. y Bala, H. (2008). Technology Acceptance Model 3 and a Research Agenda on Interventions. Decision Sciences, 39(2), 273-315.

Vidal, M. E. (2018). Determinantes de la aceptación del mobile learning como elemento de formación del capital humano en las organizaciones. (Tesis doctoral). Universidad Complutense de Madrid, Madrid.

Villegas, J. H. (2010). Un modelo de evaluación de los atributos críticos de éxito de los sistemas de información en el desempeño individual, cooperativo y organizacional. (Tesis de maestría). Universidad Nacional Mayor de San Marcos, Lima

Yu, P. y Qian, S. (2018). Developing a Theoretical Model and Questionnaire Survey Instrument to Measure the Success of Electronic Health Records in Residential Aged Care. PLOS ONE, 13(1), 1-18.