Introducción

Las auditorías internas se han utilizado con el fin de controlar y prevenir pérdidas y desperdicios, mejorando el desempeño económico en diversas organizaciones. Para ello, los sectores responsables de Auditoría Interna se utilizan principalmente para el análisis de los diferentes controles internos, la evaluación de la integridad y la eficacia de su trabajo (Alic y Rusjan, 2011; Enyue, 1997; Feizizadeh y Brozzetti, 2016; Subramaniam, Ng y Carey, 2004).

Sin embargo, tan importante como la realización de auditorías, para el análisis de los controles internos de una organización, la monitorización y la implantación de las recomendaciones, realizadas después de los trabajos de auditoría, para el perfeccionamiento de los controles internos, también surge como actividad imprescindible para garantizar El cumplimiento de los objetivos de la Auditoría Interna (Alic y Rusjan, 2011; Brozzetti, 2016; Neidermeyer y Neidermeyer, 2005).

La actividad de monitorización, para la Auditoría Interna, tiene por fin averiguar si las recomendaciones emitidas, a partir de los hallazgos y de las constataciones encontradas en trabajos de auditoría en las áreas de la gestión, fueron o están siendo providenciadas (Alic y Rusjan, 2011; Soh y Martinov-Benhie, 2011). Se trata de un seguimiento para el mantenimiento de las áreas consideradas deficientes o que tienen riesgo razonable de ocurrir problemas (Neidermeyer y Neidermeyer, 2005). En este sentido, se hace necesaria la existencia de un fuerte proceso de gestión para la referida actividad, en el cual su gestor tenga pleno conocimiento y control sobre los aspectos que juzgue como esenciales –necesarios y suficientes– y que proporcione informaciones oportunas para apoyar las sus decisiones (Rupsys y Boguslauskas, 2007; Subramaniam, Ng y Carey, 2004).

Entre las organizaciones que poseen en las auditorías internas una función primordial para asegurar la confiabilidad de sus controles internos, las universidades se presentan como entidades complejas, las cuales involucra actividades de investigación, enseñanza y extensión, además de gran importancia social frente a la sociedad, apalancando la formación profesional y el desarrollo de la ciencia (Ensslin et al., 2014). En este sentido, el desarrollo de las actividades de auditoría interna en estas entidades se presenta como de fundamental importancia para la continuidad y fortalecimiento de la gestión universitaria.

En vista de lo expuesto, demostrada la importancia de la función de monitorización insertada en actividades de auditorías internas, se busca identificar cómo realizar la gestión de esta función, sabiendo de las diversas incongruencias y de múltiples factores que pueden interferir para su administración. Así que la pregunta de investigación establecida para marcar este estudio es: ¿cómo apoyar la gestión de las recomendaciones del sector de auditoría interna, teniendo en cuenta las percepciones y particularidades de su gerente?

Con el fin de responder a la pregunta de investigación, se define como un objetivo general de la obra Construir un modelo de apoyo para el seguimiento de la gestión del departamento de Auditoría Interna de la Universidad Federal, utilizando las percepciones y las particularidades del gestor responsable.

El objetivo general definido será atendido después de la conclusión de los siguientes ítems: (i) identificar los aspectos esenciales para el gestor en lo que se refiere a la gestión del monitorización de la Auditoría Interna; (ii) medir, ordinariamente y cardinalmente, los aspectos clave identificados mediante la integración de los criterios para permitir la visión holística del modelo y el status quo; y (iii) apoyar la gestión por medio de las recomendaciones para el perfeccionamiento de los aspectos esenciales, para explicitar posibles factores de mejora para el gestor.

El instrumento de intervención seleccionada para el desarrollo del objetivo de trabajo, frente al enfoque constructivista fue la metodología mcda-c, que utiliza las percepciones y los valores de la gerencia para el modelo de gestión de la construcción (Ensslin, Dutra y Ensslin, 2000).

Se justifica la realización de este estudio frente a su importancia, originalidad y viabilidad (Castro, 1977). La ufsc se presenta como la 8ª mejor universidad brasileña, según el ranking divulgado por la Folha de São Paulo (2016), con más de 48.000 alumnos y con un presupuesto anual de más de mil millones de reales (ufsc, 2016), lo que acarrea en la gran necesidad de tener control interno para el mantenimiento de sus actividades. Único, porque desde el estudio de la literatura no demostró la existencia de modelos para evaluar el desempeño de la actividad de supervisión de las auditorías internas, incluso considerado como fundamental (Subramanian et al., 2004). Se presenta viable, por el interés del gestor de la auditoría interna en la construcción del modelo personalizado, para apoyar sus decisiones.

Este artículo se presenta en cinco secciones, incluida esta introducción. La segunda sección trata del referencial teórico, lidiando con orígenes y fundamentos de metodologías multicriterios constructivistas y sobre gestión de la monitorización en Auditorías Internas, permitiendo un conocimiento sobre lo que existe en la literatura en relación al tema central de este trabajo. Los procedimientos metodológicos utilizados durante la investigación son presentados en la sección tres. La sección cuatro presenta los resultados de la construcción del modelo de gestión, demostrando las etapas realizadas para la estructuración y la finalización de la herramienta. Las consideraciones finales se presentan en la quinta sección. Por último, las referencias bibliográficas se presentan.

1. Revisión de la literatura

Este referencial teórico está dividido en dos secciones, buscando fundamentos para el instrumento de intervención y para el tema de investigación, gestión de la monitorización en auditoría interna.

1.1. Metodologías multicriterio constructivistas. Origen y Fundamentos

El objetivo de las herramientas dirigidas a evaluar el desempeño organizacional es hacer que el gestor realice las mejores decisiones en sus contextos. Sin embargo, el significado de mejor puede asumir diversas caras, dependiendo del enfoque en que se propone visualizar un problema (Roy, 1993, 2016). Este trabajo se ocupa del enfoque del apoyo a la decisión.

El apoyo a la decisión puede ser definido como la actividad utilizada para ayudar en la obtención de elementos esenciales para el soporte a la decisión de los agentes involucrados en el proceso decisorio, proporcionando condiciones más favorables y coherentes para subsidiar y aclarar las informaciones necesarias para este agente, aumentando la consistencia del proceso de toma de decisiones (Roy, 1993, 2016). Para este enfoque, se cree que el gestor es libre para comportarse frente a sus particularidades, y no lo ve como un usuario racional de las informaciones, el cual debería elegir solamente las decisiones óptimas proporcionadas por modelos genéricos (Roy, 2016).

El creciente debate sobre los métodos de aproximación con soporte de decisiones se fortalece a partir de la década de 1980, con los estudios de Keeney, Roy, Skinner, Landry y Bana o Costa (Bortoluzzi, Ensslin, Ensslin, 2011; Lacerda, Ensslin y Ensslin, 2011a), principalmente donde se fortalece la visión del multicriterio, a partir del paradigma que en un proceso decisorio los actores toman en cuenta un conjunto de aspectos a ser considerados, y no más criterios únicos (Roy, 2016). En este sentido, la Multiple-Criteria Decision Analysis (mcda) se fortalece, que consideran la existencia de criterios diferentes y contradictorios para un entorno de toma de decisiones. La Metodología Multicriterio de Apoyo a la Decisión-Constructivista (mcda-c) trae nuevas miradas para realizar la gestión de evaluación de desempeño organizacional, utilizando la lógica constructivista para el desarrollo de entendimiento del contexto y consecuencias de decisiones tomadas para los administradores (Azevedo et al., 2013; Lacerda et al., 2014; Roy, 1993; Tasca, Ensslin y Ensslin, 2012). En este sentido, el mcda-c no busca las alternativas óptimas de decisión como en las tradicionales mcda, y sí, la búsqueda de la construcción del conocimiento en el gestor para estructurar, evaluar y mejorar la gestión (Ensslin et al., 2010).

Para la mcda-c, el objetivo de realizar la gestión del contexto es dar soporte a los responsables en entornos complejos, conflictivos e inciertos, con múltiples aspectos, conocidos o poco conocidos, donde el gestor necesita desarrollar comprensión sobre la situación y las consecuencias de sus decisiones (Ensslin et al., 2013; Lacerda, Ensslin y Ensslin, 2011b; Zamcopé et al., 2010). El enfoque constructivista que la metodología adopta presupone la existencia un gestor que desea desarrollar conocimientos sobre el contexto, el cual desarrolla un cuerpo coherente de conocimientos capaz de permitirle comprender las consecuencias de sus decisiones en los aspectos que éste considera importantes, sin imponer los racionalismos de la objetividad, pero disociado de los contextos de toma de decisiones específicas en que los que gestores están actuando (Ensslin et al., 2010).

De esta forma, la mcda-c se presenta como un instrumento apropiado para el problema de investigación referido, buscando la construcción de un modelo de gestión personalizado para el gestor del sector de Auditoría Interna de la ufsc, en lo que se refiere al proceso de monitorización.

1.2. Gestión de la monitorización en la Auditoría Interna

La auditoría interna tiene un papel clave para salvaguardar los intereses de las organizaciones y dirigir los esfuerzos y recursos para lograr los objetivos estratégicos de estas entidades (Alic y Rusjan, 2011; Feizizadeh, 2012; Friedman, Akaaboune y Margolis, 2013; Minder, Leinicke y Rexroad, 2014; Rensburg y Coetzee, 2016; Rupsys y Boguslauskas, 2007; Soh y Martinov-Benhie, 2011; Subramaniam, Ng y Carey, 2004).

Para realizar la gestión de la auditoría interna, permitiendo el logro de los objetivos estratégicos y el cumplimiento de los planes de auditoría, la literatura ha discutido la importancia del uso de la evaluación del desempeño (Feizizadeh, 2012; Minder, Leinicke y Rexroad, 2014; Rensburg y Coetzee, 2016; Rupsys y Boguslauskas, 2007; Soh y Martinov-Benhie, 2011). Sin embargo, a pesar de la importancia creciente, no se trata de algo común (Alic y Rusjan, 2011).

La información proporcionada por la evaluación de las auditorías internas tiene la intención de promover la eficiencia y efectividad de las auditorías, mantener la integridad de los controles internos, motivar y estimular la mejora operacional, riesgo de control y ayudar a la organización a alcanzar sus objetivos (Alic y Rusjan, 2011; Feizizadeh, 2012; Rensburg y Coetzee, 2016; Rupsys y Boguslauskas, 2007; Soh y Martinov-Benhie, 2011; Subramaniam, Ng y Carey, 2004).

Dentro de las actividades de auditoría interna, monitorización merece una atención especial (Brozzetti, 2016; Niedermeyer y Niedermeyer, 2005; Subramaniam, Ng y Carey, 2004). Esta actividad es responsable de supervisar las recomendaciones formuladas por el sector de auditoría interna con el fin de corregir las desconformidades (Alic y Rusjan, 2011), que ayudan en la mejora y el fortalecimiento de los controles internos de gestión (Feizizadeh, 2012; Friedman, Akaaboune y Margolis, 2013; Neidermeyer y Neidermeyer, 2005). Así, la monitorización busca la mitigación de las debilidades evidenciadas durante los trabajos de auditoría, hasta la atención plena de las recomendaciones emitidas (Enyue, 1997).

En este sentido, algunos trabajos encontrados utilizan métricas para evaluar el desempeño de sectores de auditoría interna, utilizando datos e informaciones de las actividades de monitorización, como tasa de cumplimiento de las auditorías planificadas en el período; El tiempo transcurrido desde el inicio de la auditoría hasta la entrega del informe; Volumen de recomendaciones genéricas emitidas; Volumen de recomendaciones repetidas; Las solicitudes canceladas; Cumplimiento del plan de trabajo; Cumplimiento de los plazos definidos; y la tasa de asistencia de las recomendaciones (Minder, Leinicke y Rexroad, 2014; Rupsys y Boguslauskas, 2007; Soh y Martinov-Benhie, 2011).

Rupsys y Boguslauskas (2007) contribuyen, afirmando que estas métricas no deben ser vistas como factores aislados, localmente, sino como partes de un conjunto global que permita la visualización del desempeño integrado de toda la actividad.

Sin embargo, incluso evidenciada la importancia de un sistema de gestión para la actividad de monitorización de la auditoría interna, no se encontraron modelos que tratase específicamente del referido tema, representando la laguna de investigación que se desea llenar con este trabajo.

3. Método

Los procedimientos metodológicos de esta investigación se presentan en tres diferentes partes: (i) un marco metodológico; (ii) proceso de selección del referencial teórico; y (iii) instrumento de intervención: metodología Multicriterio de Apoyo a la Decisión-Constructivista (mcda-c).

3.1. Encuadre

En relación a la naturaleza del objetivo de esta investigación, en virtud de la intención de crear un modelo de gestión para la actividad de monitorización del sector de Auditoría Interna de la ufsc, que permitirá a su gestor la generación de conocimiento sobre el contexto y sobre los aspectos esenciales para su gestión, esta es enmarcada como exploratoria (Gray, 2013). Para la construcción del modelo de gestión específico al decisor, según el paradigma constructivista, se utilizaron datos primarios, pues todas las informaciones empleadas fueron recolectadas durante interacciones entre los investigadores (facilitadores) y el gestor (Richardson, 1999).

El enfoque del problema de esta investigación involucra características cualitativas y cuantitativas. Las características cualitativas son evidenciadas, principalmente, durante la fase de estructuración del modelo, en el cual construye una Estructura jerárquica de valor con los aspectos juzgados como esenciales por el gestor, y durante la fase de recomendaciones, en el cual el facilitador, con auxilio del gestor, Las posibles acciones de perfeccionamiento para mejorar la gestión. La fase de evaluación del modelo justifica la característica cuantitativa de la investigación, en la cual se pudo medir el modelo cualitativo a partir de funciones de valores para cuantificar los juicios del gestor, transformando escalas ordinales en cardinales, e identificando las tasas de compensación del modelo (Gray, 2013).

En cuanto al procedimiento técnico, se utilizó un estudio de caso (Gray, 2013), buscando construir un modelo de gestión personalizado para apoyar las decisiones en las actividades de monitorización del sector de Auditoría Interna de la ufsc, basándose en la Metodología Multicriterio de Apoyo a la Decisión (mcda-c).

3.2. Proceso de revisión de literatura

A fin de construir la fundamentación teórica de este trabajo, se buscó un método reconocido científicamente para realizar la selección de artículos y su posterior análisis. Por lo tanto, hemos elegido utilizar el Knowledge Development Process-Constructivist (ProKnow-C), de manera que, a partir de la visión del mundo de los autores, se seleccionó una cartera bibliográfica alineada con el tema de investigación. La figura 1 representa las etapas en el método ProKnow-C (Dutra et al., 2015).

Como el objetivo de este trabajo no es explorar la literatura acerca del asunto de investigación, sólo la primera fase del proceso se realizará, seleccionando dos diferentes carteras, sobre (i) metodologías multicriterio constructivistas y (ii) gestión de la monitorización en la auditoría interna. Así, a partir de estas carteras, se construirá el capítulo de revisión de esta investigación.

Para la primera cartera, se buscó en seis bases de datos reconocidas: Science Direct, Web of Science, Scopus, Emerald, Wiley y ebsco. La línea de comandos utilizada para la búsqueda fue: ("multicriteria method*" or "multi-criteria method*" or "multiple-criteria method*" or "decision aid*" or "decision support*") and ("constructivist" or "constructivism"). A partir de estos datos, se identificaron 159 referencias, que pasaron por los análisis de adherencia y alineación en cuanto a título, resumen y texto integral, restando 15 artículos como portafolio final.

Para la segunda selección de la cartera, se basó sobre la misma base establecida anteriormente, con la siguiente línea de comandos: ("performance evaluation" or "performance assessment" or "performance appraisal" or "performance measurement" or "performance management") and ("internal audit" or "internal auditing"). Con estos datos, se identificaron 112 referencias en las seis bases investigadas, las cuales pasaron por los análisis de adherencia y alineamiento al tema buscado, finalizando en una cartera bibliográfica representativa con 11 artículos. Es importante señalar que, en un primer momento, se intentó incluir el uso de un eje en las palabras clave para delimitar las actividades de monitorización en los artículos, sin embargo, esa inclusión no retornó buenos resultados y, de esta forma, se realizó este análisis a partir de la lectura de los resúmenes.

3.3. Metodología multicriterio de apoyo a la decisión-constructivista

Se propone, aquí, presentar los procedimientos para la construcción del modelo de gestión y los aspectos referentes al instrumento de intervención, la Metodología Multicriterio de Apoyo a la Decisión-Constructivista (mcda-c).

La metodología mcda-c tiene como objetivo apoyar a los responsables de la toma de decisiones en sus procesos de gestión, admitiendo que éste pretende construir conocimiento sobre los múltiples factores que interfieren en el contexto y que existe una diversidad de puntos de vista que pueden ser tenidos en cuenta. En este sentido, la metodología busca crear la comprensión necesaria, a partir de la identificación y organización de los aspectos juzgados por el gestor como esencial para su gestión, lo que permite la evaluación y mejora de los procesos de gestión (Ensslin et al., 2008; Lacerda, Ensslin y Ensslin, 2011a; Marafon et al., 2015).

El desarrollo del modelo de gestión por la metodología mcda-c consta de tres pasos principales (Ensslin et al., 2000), como se muestra en la figura 2 (i) fase de estructuración, (ii) fase de evaluación, y (iii) fase de recomendaciones.

4. Resultados

Esta sección tiene por objeto presentar los procesos involucrados para la construcción del modelo de gestión dirigido al apoyo a la decisión del área de monitorización del sector de Auditoría Interna de la Universidad Federal de Santa Catarina, considerando el sistema de valores, intereses y preferencias de su gestor.

Las actividades de monitorización de la auditoría interna tienen una importancia fundamental para la gestión de la Universidad Federal de Santa Catarina, ayudando en el fortalecimiento de los controles internos, imprescindibles para el alcance de la eficiencia y transparencia de las acciones de la organización. El modelo de gestión para la actividad de monitorización, personalizado para el Auditor Jefe de la ufsc, posibilitará mayor poder de análisis de los aspectos esenciales para el gestor y también conocer el impacto de sus decisiones sobre las acciones potenciales.

De esta forma, como se ha informado anteriormente, el modelo construido con base en la metodología mcda-c permite servir como una herramienta para incrementar mayor comprensión, en el gestor, sobre las consecuencias de sus acciones y los reflejos en los sistemas de valores.

4.1. Fase de estructuración

Como se afirma en Ensslin, Dutra y Ensslin (2000), esta fase consiste en la evidencia y organización de los aspectos juzgados por el gestor como esenciales para ser tomados en consideración en el proceso de monitorización y perfeccionamiento, promoviendo un lenguaje común entre las partes que constituyen el núcleo. Para la metodología mcda-c, se entiende como aspectos esenciales aquellos que, según la percepción del gestor, son necesarios y suficientes para explicar el proceso de gestión que se está trabajando, función de monitorización en la auditoría interna de la Universidad Federal de Santa Catarina, en este caso.

Inicialmente, se hace necesario definir a los actores involucrados en los procesos de gestión del ambiente que se está buscando la estructuración. Así, los actores se explicitan en el cuadro 1.

Después de la definición de los actores involucrados en el proceso, se buscó dilucidar una etiqueta para el problema a ser gestionado. En este sentido, a través de un proceso de diálogo interactivo –llamada en la metodología como brainstorming– entre los facilitadores y el gestor, se le preguntó a hablar con el director sobre sus preocupaciones y objetivos con el fin de planificar el contexto que busca construir conocimiento. Así, quedó definido como título del problema: "Gestión de la monitorización de las recomendaciones realizadas por el sector de Auditoría Interna de la ufsc". También se definió un resumen, conteniendo la contextualización del problema, la justificación, el objetivo y el producto final esperado, que se utilizan para orientar los trabajos de estructuración.

Posteriormente, la segunda etapa de la metodología, denominada Familias de Puntos de Vista, comienza con la exploración del discurso del decisor, buscando evidenciar los Elementos Primarios de Evaluación (epe), los cuales representan las preocupaciones iniciales que emergieron del gestor al explicitar sobre sus problemas de gestión. Estos elementos sirven de base para la identificación de los aspectos esenciales para el gestor. Durante esta etapa se identificaron 33 epe.

Para cada uno de los epe, se construye, al menos, un concepto dirigido a la acción (Bortoluzzi, Ensslin, Ensslin, 2011), que es la expansión del conocimiento del respectivo epe. Estos conceptos deben poseer dos polos, presente y opuesto psicológico. El polo presente debe apuntar la dirección de preferencia del gestor, y el polo opuesto psicológico debe apuntar la consecuencia que se desea mitigar o eliminar al tener éxito con el referido objetivo propuesto, generando conocimiento sobre lo que el gestor desea evitar y sus ambiciones para el desarrollo de sus actividades. Para completar el concepto, se utilizan puntos suspensivos (...), los cuales separan el polo presente y el opuesto psicológico, y deben ser leídas como la expresión "en vez de". Un recorte de los epe y dichos conceptos se presentan en el cuadro 2.

Se identifican los conceptos para cada uno de los epe, se realiza la agrupación de los conceptos en áreas de preocupaciones estratégicas similares, según las percepciones del gestor. Esta agrupación permite la exposición de los macro-conceptos que explican los valores que el gestor juzga como esenciales para la gestión del contexto evaluado.

Después de la agrupación, se realiza la organización de los conceptos, desarrollando el entendimiento de cada concepto estratégico en conceptos más operativos. Para que esto se haga realidad, hacemos uso de los mapas de relaciones o mapas cognitivos (Tasca, Ensslin y Ensslin, 2012), haciendo la vinculación de los conceptos finales a los medios para alcanzarlos y evaluarlos. Cuando sea necesario, los nuevos conceptos se construyen para relacionar diferentes conceptos, hasta el momento en que el tomador de decisiones toma el tiempo suficiente conceptos existentes y así completar el valor de la Estructura Jerárquica de Valor (ejv) (Lacerda et al., 2011a), haciendo operacionales aquellos conceptos más estratégicos.

El ejv construido a partir de la organización de los conceptos, se divide en clusters, de acuerdo con la similitud de contexto y con la percepción del gerente. Estos clusters etiquetan conceptos previamente construidos, lo que permite la visualización de Puntos de Vista Fundamentales (pvfs), más estratégicos, y Elementales (pves), más operacionales. Al final, para cada punto de vista operativo, se define un descriptor, el cual introduce una escala de medida ordinal, con la descripción de lo que debe ser medido y con niveles de referencia para indicar el nivel de evaluación desde este punto de vista, conteniendo al menos dos niveles de buen anclaje, neutral, que se define por el tomador de decisiones (Ensslin et al., 2008). El nivel neutro representa la situación que el gestor juzga como el mínimo aceptable para la situación, y el nivel bueno como el limítrofe para llegar a niveles de excelencia. Según Marafon y otros (2015), los descriptores son herramientas de gestión utilizadas para medir las propiedades en un contexto, realizado a partir de esa escala ordinal.

La finalización de la fase de estructuración se realiza con la evaluación del rendimiento actual, o status quo, lo que permitirá al gestor la visualización, cualitativa, del nivel de evaluación de los aspectos que surgieron de las interacciones con los facilitadores. La figura 3 presenta el foco en el punto de vista fundamental "Acciones de Monitorización" al final de la fase de estructuración. Este fragmento del modelo representa el máximo de informaciones cualitativas que se pueden demostrar, posibilitando al gestor la visualización de los aspectos preocupantes de su gestión y de los locales donde se deben aplicar mayores esfuerzos.

Con base en el modelo desarrollado en esta fase, el gestor suscita conocimiento acerca de los factores críticos de la gestión, visualizándolos gráficamente a partir del resultado del mapeo estructurado. El modelo permite al gestor ver puntos necesarios de mejoras, pues, a pesar de que el gestor tiene el conocimiento sobre los puntos críticos, estos se presentaban nebulosos y dispersos, no organizados.

4.2. Fase de evaluación

Después de la estructuración del modelo específico al gestor, en el que puede visualizar los aspectos esenciales para la gestión del contexto evaluado, la metodología mcda-c propone una evolución del modelo cualitativo para un modelo cuantitativo, permitiendo la integración de los aspectos y transformación de éstos en criterios medibles (Azevedo et al., 2013). Hasta entonces, a pesar de tener los números en las escalas, estos son sólo representaciones alfanuméricas, y no forman parte del grupo de los números reales (ℜ), y sería un gran error realizar operaciones estadísticas y matemáticas para la evaluación.

Por lo tanto, es necesario realizar la conversión de las escalas ordinales en escalas cardinales (Lacerda et al., 2014) e identificar las tasas de compensación (Zamcopé et al., 2010) para los puntos de vistas del modelo, permitiendo la construcción de la ecuación general del modelo holístico (Ensslin et al., 2013), respetando las propiedades de la teoría de las mediciones (Ensslin et al., 2010).

Para realizar la transformación de las escalas cualitativas ordinarias para escalas cuantitativas cardinales, se debe realizar la construcción de las funciones de valor para cada descriptor, asignando puntuaciones para cada nivel de referencia. Por definición de la metodología, se asigna la puntuación de puntos para el nivel bueno y 0 (ninguno) punto para el nivel neutro. Los otros niveles de referencia se obtuvieron por las funciones de valor construidos, que se calculan a partir del método macbeth (Measuring Attractiveness by a Cathegorical Based Evaluation Technique) (Marafon et al., 2015), dado el reconocimiento Científico de la herramienta y de la capacidad de transformar juicios semánticos en valores cuantitativos. Así, a partir de juicios de valor del gestor en relación a la diferencia de atractivo entre los niveles de referencia del descriptor, las puntuaciones se suministran. La figura 04 presenta una muestra de la transformación de la escala cualitativa (a) para cuantitativa (f(a)), por medio del software Macbeth-Scores, para el SubPVE "Respeto a los plazos". A partir de esta transformación, se tiene el modelo compuesto de criterios de evaluación (figura 4).

Después de la construcción de los criterios, la metodología prevé la construcción de tasas de compensación, de manera que posibilite la integración del modelo y permitir su puntuación global. La tasa de compensación demuestra la contribución relativa de cada criterio al modelo global, así como permite transformar el valor de las evaluaciones locales en valores de una evaluación global. Para esto, es necesario primero identificar el orden de preferencia del gestor, evaluando por pares de puntos de vista que están abajo del punto de vista superior, utilizando la matriz de Roberts (1979 citado en Bortoluzzi, Ensslin, Ensslin, 2011). En secuencia, una vez más, se utiliza el software MacBeth-Scores (Bana e Costa y Vansnick, 1995, citado en Marafon et al., 2015) para el cálculo de los pesos de cada punto de vista para el modelo, de acuerdo con la percepción y preferencia del gestor.

Por lo tanto, después de la transformación de las escalas en criterios y la identificación de tasas de compensación, se puede establecer la ecuación general (Lacerda, Ensslin y Ensslin, 2011b) de evaluación del modelo construido para la gestión de la monitorización del sector de auditoría interna de la UFSC:

La puntuación de cada pvf se calcula, entonces, según el status quo evaluado. Para el pvf "acciones de monitorización", respondido por los tres puntos de vista inferiores, la puntuación totalizó 18 puntos, como se ve en la Figura 05. El modelo general puntuó 16 puntos, que representa un rendimiento dentro del limítrofe inferior y superior denominado como una situación normal para la metodología mcda-c, pero muy cerca del nivel neutro de evaluación, lo que puede representar una situación comprometida en el futuro. Para la metodología mcda-c, esta situación no sólo se ve como un riesgo de problemas en el futuro, sino como grandes oportunidades de mejora (figura 5).

Por lo tanto, completado la fase de evaluación, existe un modelo integrado, que permite la toma de decisiones para visualizar los criterios correspondientes a su gestión en el contexto específico al que se propuso evaluar, y el conocimiento construido, el que toma las decisiones en cuanto a sus procesos gestión, por lo que es posible saber acerca de las cuestiones críticas que exigen una mayor atención para lograr niveles más altos de rendimiento. En este sentido, como se describe en la tercera etapa de la metodología mcda-c, el facilitador elige y describe las posibles acciones de perfeccionamiento para la mejora de la gestión, apoyando el gerente en sus decisiones, actuando principalmente aquellos criterios que contienen mayores oportunidades de mejora, o sea, donde la auditoría interna de la ufsc presenta un rendimiento comprometedor.

4.3. Fase de recomendaciones

Una de las principales preocupaciones de la metodología mcda-c es proporcionar una mejora de posibilidades a sus usuarios. En este sentido, las recomendaciones de fase tienen como objetivo contribuir a la toma de decisiones, en relación posibilidades de acciones de mejora para el medio ambiente, con el objetivo de lograr mayores niveles de rendimiento de la organización y descripción de las actividades que se pueden realizar, de acuerdo con el conocimiento de la toma de decisiones a sí mismo. Es importante indicar que las propuestas no se ocupan de las recetas, pero ayuda a la decisión, lo que demuestra el impacto que provocan las acciones a nivel local como a nivel global en el modelo construido y entender sus consecuencias.

Para la etapa de recomendaciones, aquellas situaciones consideradas como problemáticas y comprometidas se convierten en grandes oportunidades de mejora y reciben mayor atención. Las situaciones en que la auditoría interna de la ufsc está en el nivel de desempeño de excelencia, o cerca de ella, no son menos importantes, pero reciben contribuciones sólo para desarrollar acciones para mantener su rendimiento.

De esta manera, ya que hay limitaciones de recursos temporales, financieras y de otro tipo, que busca apoyar inicialmente las decisiones en esos criterios que aumentan el rendimiento tendría un impacto mayor participación en la plantilla global. Por lo tanto, las acciones de mejora, se mostró a subpves "Acciones no completadas" y "Respecto de los plazos" y el pve "Comprobación", que participan en 10,2%, 10,9% y 12% para el pvf "Acciones de monitorización ", respectivamente. Las recomendaciones se describen en el cuadro 3, que contiene el impacto en la evaluación de pvf se hace referencia y el modelo global, proporcionando información importante al gestor sobre las consecuencias de sus acciones.

5. Consideraciones finales

En este artículo se propone ampliar los conocimientos científicos sobre el apoyo a decisiones en la gestión de la función de la monitorización en la auditoría interna, con la meta de construir un modelo de evaluación del desempeño, utilizando las percepciones y las particularidades del gestor responsable de la auditoría interna del sector la Universidad Federal de Santa Catarina (cuadro 3).

Se utiliza la base teórica del instrumento de intervención mcda-c y sobre el tema gestión de la monitorización en auditoría interna, seleccionándose los fragmentos representativos de la literatura, con el método ProKnow-C (Dutra et al., 2015), donde se encontró la brecha para las investigaciones existentes sobre la existencia de modelos de valoración de esta actividad de la auditoría interna, que necesitan una especial atención (Soh, Martinov-Benhie, 2011).

Por lo tanto, para llenar la brecha, ha sido elegida una metodología para tener en cuenta las peculiaridades de un gestor específico tratando de ampliar su conocimiento del contexto dado, de acuerdo con el enfoque del constructivismo (Roy, 1993). En este sentido, se utilizó la metodología mcda-c, desarrollando un modelo para generar conocimiento para proporcionar apoyo a la toma de decisiones, con el fin de permitir la transparencia y la coherencia de las acciones del gestor.

El funcionamiento de la metodología mcda-c permitió la identificación de 33 Elementos Primarios Evaluación, que se expanden y se desarrollan en la forma de conocimiento, direccionando a los objetivos estratégicos. Este modelo, hasta entonces cualitativo, fue transformado en un modelo cuantitativo, a partir de la utilización de funciones de valor, con la identificación de los valores de los niveles de referencia y de las tasas de compensación, las cuales permitieron la integración del modelo.

El modelo completo se estructuró con una composición de dos puntos de vista fundamentales, operacionalizado por 18 criterios. Como puntuación global, se presentó la puntuación de 16 puntos, lo que representa una situación por debajo de lo esperado. Por lo tanto, se han desarrollado acciones de mejora, con el fin de mejorar el contexto evaluado, ofreciendo al gestor una secuencia de acciones necesarias para alcanzar los niveles más altos de desempeño.

Algunos de los criterios resaltados en el modelo ya habían sido tratados en la literatura, tales como el volumen de las recomendaciones quitadas y volumen de recomendaciones consideradas genéricas. Otros criterios demuestran la contribución del trabajo para el área de la evaluación del desempeño de la monitorización de la actividad de auditoría interna, proporcionando una gama de criterios que no habían sido encontrados en la literatura y demuestran puntos de vista que pueden ser tomados en cuenta en los modelos de gestión para actividades de auditoría interna.

Las limitaciones del trabajo, es importante tener en cuenta que, debido al enfoque constructivo adoptado, la metodología asume la singularidad de un tomador de decisiones específicas, que el modelo fue diseñado y construido a medida, en función de sus percepciones, creencias y necesidades. Por lo tanto, el modelo construido no debe ser generalizado a contextos similares, pero la metodología se puede replicar al desarrollo de modelos específicos para otros gestores, de acuerdo con sus propias particularidades.

Como proposiciones para futuras investigaciones, se recomienda el estudio profundo de los métodos de gestión de auditoría interna, especialmente en relación con la gestión de riesgos, citado considerablemente en la literatura sobre la evaluación del desempeño de las auditorías internas, así como la necesidad de explorar en mayor volumen la función de las auditorías internas como vehículos de control del buen uso de recursos, sean públicos, como en esta investigación, o privados. Los temas apuntados presentan carencia de investigaciones para llenar las lagunas de intereses de los profesionales y gestores en educación y de los investigadores del área.

Agradecimientos

Los autores del trabajo agradecen a la editorial y a los evaluadores anónimos de REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación por todas las consideraciones para la mejora del artículo. Agradecen además a Irene Oliveira, Carlos Paredes y Silmara Ramos por la revisión del manuscrito.

Referencias

Azevedo, R. C., de Oliveira Lacerda, R. T., Ensslin, L., Jungles, A. E. y Ensslin, S. R. (2012). Performance measurement to aid decision making in the budgeting process for apartment-building construction: Case study using MCDA-C. Journal of Construction Engineering and Management, 139(2), 225-235. https://doi.org/10.1061/(ASCE)CO.1943-7862.0000587

Alic, M. y Rusjan, B. (2011). A model for measuring an ISO 9000 internal audit outcome. African Journal of Business Management, 5(13), 5388-5404.

Bortoluzzi, S. C., Ensslin, S. R. y Ensslin, L. (2011). Avaliação de desempenho multicritério como apoio à gestão de empresas: Aplicação em uma empresa de serviços. Gestão & Produção, 18(3), 633-650. https://doi.org/10.1590/S0104-530X2011000300014

Brozzetti, M. (2016). Guardians of integrity. Internal Auditor, 73(2), 52-56.

Castro, C. M. (1977). A prática da pesquisa. São Paulo: McGraw-Hill.

Dutra, A., Ripoll-Feliu, V. M., Ensslin, S. R., Ensslin, L. y Gonçalves, L. R. P. (2015). Opportunities for research on evaluation of seaport performance: A systemic analysis from international literature. African Journal of Business Management, 9(20), 704-717. https://doi.org/10.5897/AJBM2015.7833

Ensslin, L., Dutra, A. y Ensslin, S. R. (2000). MCDA: A constructivist approach to the management of human resources at a governmental agency. International Transactions in Operational Research, 7(1), 79-100. https://doi.org/10.1111/j.1475-3995.2000.tb00186.x

Ensslin, L., Giffhorn, E., Ensslin, S. R., Petri, S. M. y Vianna, W. B. (2010). Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão-construtivista. Pesquisa Operacional, 30(1), 125-152. https://doi.org/10.1590/S0101-74382010000100007

Ensslin, S. R., Carvalho, F. N., Gallon, A. V. y Ensslin, L. (2008). Uma metodologia multicritério (MCDA-C) para apoiar o gerenciamento do capital intelectual organizacional. Revista de Administração Mackenzie, 9(7), 23-45. https://doi.org/10.1590/S1678-69712008000700007

Ensslin, S. R., Ensslin, L., Back, F. y Lacerda, R. T. O. (2013). Improved decision aiding in human resource management: A case using constructivist multi-criteria decision aiding. International Journal of Productivity and Performance Management, 62(7), 735-757. https://doi.org/10.1108/IJPPM-04-2012-0039

Ensslin, S. R., Ripoll Feliu, V. M., Ensslin, L. y Dutra, A. (2014). Performance evaluation to support the university management activity. La Pensée, 76, 2-17.

Enyue, Z. (1997). Development trends of internal auditing in China. Managerial Auditing Journal, 12(5), 205-209. https://doi.org/10.1108/02686909710173894

Feizizadeh, A. (2012). Strengthening internal audit effectiveness. Indian Journal of Science and Technology, 5(5), 2777-2778.

Friedman, M., Akaaboune, O. y Margolis, D. M. (2013). Internal audit: A new lens for cost management. Journal of Corporate Accounting & Finance, 24(4), 27-39. https://doi.org/10.1002/jcaf.21858

Gray, D. E. (2013). Doing research in the real world. Londres: Sage.

Lacerda, R. T. O., Ensslin, L. y Ensslin, S. R. (2011a). A performance measurement framework in portfolio management: A constructivist case. Management Decision, 49(4), 648-668. https://doi.org/10.1108/00251741111126530

Lacerda, R. T. O., Ensslin, L. y Ensslin, S. R. (2011b). A performance measurement view of IT project management. International Journal of Productivity and Performance Management, 60(2), 132-151. https://doi.org/10.1108/17410401111101476

Lacerda, R. T. O., Ensslin, L., Ensslin, S. R. y Dutra, A. (2014). A constructivist approach to manage business process as a dynamic capability. Knowledge and Process Management, 21(1), 54-66. https://doi.org/10.1002/kpm.1428

Marafon, A. D., Ensslin, L., Lacerda, R. T. O. y Ensslin, S. R. (2015). The effectiveness of multi-criteria decision aid methodology: A case study of R&D management. European Journal of Innovation Management, 18(1), 86-109. https://doi.org/10.1108/EJIM-10-2013-0106

Minder, S. W., Leinicke, L. M. y Rexroad, W. M. (2014). What do you measure? Internal Auditor, 71(2), 63-67.

Neidermeyer, A. A. y Neidermeyer, P. E. (2005). Audit anticipation: Does it impact job performance? Managerial Auditing Journal, 20(1), 19-29. https://doi.org/10.1108/02686900510570669

Roy, B. (1993). Decision science or decision-aid science? European Journal of Operational Research, 66(2), 184-203. https://doi.org/10.1016/0377-2217(93)90312-B

Roy, B. (2016). Paradigms and challenges. En B. Naujoks y J. Figueira (Ed.), Multiple criteria decision analysis: State of the art surveys (pp. 19-39). Londres: Springer. https://doi.org/10.1007/978-1-4939-3094-4_2

Rupsys, R. y Boguslauskas, V. (2007). Measuring performance of internal auditing: Empirical evidence. Engineering Economics, 5, 9-15.

Soh, D. S. B. y Martinov-Bennie, N. (2011). The internal audit function: Perceptions of internal audit roles, effectiveness and evaluation. Managerial Auditing Journal, 26(7), 605-622. https://doi.org/10.1108/02686901111151332

Subramaniam, N., Ng, C. y Carey, P. (2004). Outsourcing internal audit services: An empirical study on queens land public-sector entities. Australian Accounting Review, 14(34), 86-95. https://doi.org/10.1111/j.1835-2561.2004.tb00245.x

Tasca, J. E., Ensslin, L. y Ensslin, S. R. (2012). A avaliação de programas de capacitação: Um estudo de caso na administração pública. Revista de Administração Pública, 46(3), 647-675. https://doi.org/10.1590/S0034-76122012000300002

Rensburg, J. y Coetzee, P. (2015). Internal audit public sector capability: A case study. Journal of Public Affairs,16(2), 181-191. https://doi.org/10.1002/pa.1574

Zamcopé, F. C., Ensslin, L., Ensslin, S. R. y Dutra, A. (2010). Modelo para avaliar o desempenho de operadores logísticos: Um estudo de caso na indústria têxtil. Gestão & Produção, 17(4), 693-705. https://doi.org/10.1590/S0104-530X2010000400005