1 INTRODUÇÃO

O uso da gestão de riscos na administração pública brasileira tem sua origem a partir de 2016 com a Instrução Normativa n. 01, do Ministério do Planejamento, Desenvolvimento e Gestão, dirigidos aos órgãos executivos federais (BRASIL. Ministério Público. Controladoria Geral da União., 2016) e se estabelece em seus sistemas de controle interno do processo operacional, com o objetivo de promover o crescimento e a adaptação às demandas dos bens e serviços prestados, impulsionando a eficiência, eficácia e economia.

Nas corporações privadas, a compreensão dos resultados possíveis por meio da gestão de riscos, a necessidade de respostas às rápidas mudanças devido à globalização e à pressão regulatória sobre as organizações (Shad et al., 2019), levou-as a adotar modelos de gestão de riscos e, até mesmo, a exigirem certificações internacionais, como a família de normas ISO 31.000 e o framework do COSO (Committee of Sponsoring Organizations of The Treadway Commission, 2007).

Em 2009, por meio da Associação Brasileira de Normas Técnicas (ABNT), o padrão ISO 31.000 foi incorporado ao acervo de normas brasileiras com o título de “Gestão de riscos: princípios e diretrizes” e em 2018 recebeu sua última atualização, com uma abrangente revisão técnica, recebendo o título de “Gestão de riscos: Diretrizes” e que passou a nortear as normativas de gestão de riscos constituídas no Brasil.

A essência do controle interno nos órgãos públicos é atender ao processo de gestão de riscos corporativos na governança, nas finanças e nas operações (Vieira & Barreto, 2019), bem como aos eventos externos que possam vulnerabilizar a entidade em relação ao cumprimento de suas metas e objetivos (Avdiiskii, Bezdenezhnykh, & Yartseva, 2021). Esse processo busca aumentar o valor de sua existência, embora não seja uma tarefa fácil, tanto em termos de implementação quanto no aspecto cultural (Chen, Jiao & Harrison, 2018). A geração de valor será maximizada por meio do estabelecimento de estratégias e objetivos claros, com o propósito de alcançar um ponto de equilíbrio ideal entre as metas de crescimento, o retorno e os riscos associados (Vieira & Barreto, 2019).

A implementação de práticas de controle e gestão de riscos é múltipla e complexa, constituindo um desafio para as organizações que se deparam continuamente com orçamentos apertados e restrições financeiras (Wolke, 2017; Almeida et al., 2019). Além da falta de linearidade dos padrões, a carência de exemplos abrangentes acaba limitando a utilidade de frameworks (Prewett & Terry, 2018; Gorzeń-Mitka, 2013; Leitch, 2010).

Porém, os atos normativos determinam a implementação de mecanismos para melhorar a Governança Pública frente à possibilidade de eventos adversos aos interesses do bem ou serviço prestado, definindo e estabelecendo sistemas que criem e preservem o valor (Vieira & Araújo, 2020; Ching, Rahim & Chuing, 2021). O risco é a incerteza ou possibilidade de ocorrência de um ou vários eventos que poderiam afetar um ou mais objetivos de uma organização (Hillson, 2010).

Para evitar o impacto e influência negativa sobre os objetivos, é necessário agir proativamente, avaliando a importância significativa e criando respostas (protocolos de ação) que se convertem em oportunidades para evitar, reduzir, minimizar, acompanhar e até transferir os efeitos das ameaças (Hillson, 2010; Calôba, 2018).

O surgimento e a popularidade da Gestão dos Riscos Corporativos (GRC) resultaram da globalização e da pressão regulatória sobre as organizações para gerenciarem o risco de forma holística (Shad et al., 2019). Em adição, Sprcic, Pecina e Orsag (2017) afirmam que a GRC oferece às entidades uma abordagem mais abrangente em relação à tradicional. Haja vista que o uso da GRC aumenta consideravelmente nos últimos anos, devido a uma série de fraudes corporativas e escândalos financeiros (Lechner & Gatzert, 2017; Agarwal & Kallapur, 2018).

Segundo Calôba (2018), o primeiro ponto a ser definido para a gestão de riscos são os princípios. Eles devem ser valorizados e exercidos pela organização, a fim de garantir que a gestão se dê forma efetiva. A ISO 31000 estabelece os critérios para uma gestão de riscos eficaz , que incluem: a) proteger e criar valor para as organizações; b) ser parte integrante de todos os processos organizacionais; c) ser considerada no processo de tomada de decisão; d) ser sistemática, estruturada e oportuna; e) basear-se nas melhores informações disponíveis; f) considerar os fatores humanos e culturais; g) ser transparente e inclusiva; h) ser dinâmica, interativa e capaz de reagir às mudanças e permitir a melhoria contínua dos processos da organização.

As etapas da implementação são realizadas iterativamente ao longo do ciclo de vida da organização e incluem: 1) planejamento da gestão de riscos; 2) identificação de riscos; avaliação e análise de riscos; 3) desenvolvimento de respostas aos riscos; e 4) monitoramento dos riscos e revisão do processo de gestão de riscos (Hillson, 2006).

A proposta é adotada pela Alta Administração da organização para enfrentar problemas relacionados às assimetrias de agência e informação na firma. Em decorrência dessas imperfeições, uma organização pode se engajar na gestão formal de riscos mesmo quando não há atritos externos, ou deixar de utilizar a Gestão de Riscos quando os atritos externos estão presentes (Jankensgård, 2019; Al-Farsi, 2020).

Dessa forma, o Gerenciamento de Riscos Corporativos (GRC) se torna um elemento crucial de um sistema eficaz de governança corporativa. A GRC abrange atividades e estratégias que permitem a identificação, medição, redução ou aproveitamento, bem como o controle e monitoramento da exposição a diversos tipos de riscos corporativos, sejam eles estratégicos, financeiros ou operacionais (Lacković, Kurnoga & Sprčić, 2021). Segundo Vieira e Araújo (2020), na Governança Pública, existem evidências de que a gestão de riscos nos ministérios é incipiente, com poucos atendendo aos princípios, estrutura e processos exigidos por lei.

A construção de soluções, conforme discutido por Gil (2002), Low et al. (2013) e Fraser e Simkins (2016), requer considerações sobre a técnica e metodologia que exigem agilidade. Isso implica na capacidade de incorporar variáveis e envolver atores relevantes em todas as fases da avaliação. Além dos atores ou stakeholders envolvidos, essas soluções também devem ser avaliadas pelo comitê internacional, como apontado por Malik, Zaman e Buckby (2020).

A percepção é uma variável não observável diretamente em um estudo. Esse tipo de variável é referido na literatura como variável latente, traço latente ou construto (Bollen, 1989, 2002) e pode ser inferido a partir de variáveis secundárias que estejam relacionadas a ele, utilizando técnicas como Análise Fatorial ou Teoria da Resposta ao Item (TRI), como foram utilizadas por Faye et al. (2011) e Andrade e Valle (2000).

Os modelos da TRI foram introduzidos pela Psicometria (Lord, 1952) no contexto de avaliação educacional, mas podem ser aplicados em diversas áreas do conhecimento que necessitem da construção de medidas latentes (não observadas diretamente), como atitudes, crenças, habilidades, motivação e percepção social, entre outras (Furr, 2011; Vieira, Moreira Junior & Potrich, 2019; Soares & Alves, 2023). A TRI relaciona as respostas dadas aos itens de um teste ou questionário com a medida, ou traço latente de interesse, por meio de modelos matemáticos. No Brasil, é utilizada para estimar a proficiência de alunos em testes como o Exame nacional do ensino médio (ENEM).

Existem vários modelos da TRI propostos na literatura, que diferem na forma matemática e no número de parâmetros especificado (Hambleton, Swaminathan & Rogers, 1991). A escolha do modelo a ser utilizado depende da natureza da variável, do número de populações envolvidas e da quantidade de traços latentes que estão sendo medidos (Andrade & Valle, 2000). Superando alguns dos problemas associados aos métodos tradicionais, a TRI não pressupõe normalidade e não requer que o erro de medição seja considerado o mesmo para todas as pessoas que fazem um teste ou respondem a um questionário (Faye et al., 2011).

À luz das diretrizes e requisitos normativos, o objetivo desta pesquisa é compreender a percepção dos servidores públicos sobre a eficiência do uso da GRC nas IES, devido à sua imersão, competência e relevância no processo de gestão abrangente dos riscos institucionais. A análise concentra-se nas impressões e opiniões dos servidores públicos diretamente envolvidos nas atividades administrativas das Pró-Reitorias nas Instituições de Ensino Superior (IES) do Estado do Pará.

Utilizando as abordagens mencionadas, foi possível construir o Índice de Teoria da Resposta ao Item (TRI) e o coeficiente Alfa de Cronbach. Por meio da realização de uma survey e da análise utilizando a TRI, as hipóteses confirmadas foram: a) a falta de execução das diretrizes com base nas orientações da Gestão de Risco Corporativo pode resultar em inconsistências na implementação da Governança Pública nas universidades; e b) a falta de conhecimento dos servidores públicos federais em relação às diretrizes estabelecidas é um fator que contribui para a falta de conformidade na mitigação dos riscos institucionais.

2 REFERENCIAL TEÓRICO

Risco é o efeito da incerteza nos objetivos. No contexto corporativo, o risco pode ser considerado como uma incerteza que, se ocorrer, afetará um ou mais objetivos de uma organização (Hillson, 2010). A presença de risco e incerteza permite o desenvolvimento de respostas ao risco, aproveitando oportunidades e reduzindo o efeito das ameaças (Calôba, 2018).

Os eventos de riscos têm o potencial de causar impactos tanto negativos quanto positivos, ou até mesmo ambos, nos objetivos da organização. Os impactos negativos representam ameaças que podem prejudicar a criação ou mesmo destruir o valor da organização, enquanto os impactos positivos podem contrabalançar as ameaças ou representar oportunidades que podem beneficiar a realização dos objetivos, contribuindo para a criação ou a preservação do valor organizacional (Committee of Sponsoring Organizations of the Treadway Commission, 2007).

O propósito fundamental da Gestão de Riscos é a criação e proteção do valor organizacional. Ela não apenas aprimora o desempenho, mas também estimula a inovação e facilita o alcance dos objetivos estabelecidos (ABNT - Associação Brasileira de Normas Técnicas, 2018).

Conforme destacado por Wolke (2017), a Gestão de Riscos desempenha um papel crucial devido à complexidade e multiplicidade das razões que a justificam. Visto que a incerteza pode resultar em eventos de risco que afetam o alcance dos objetivos, e uma vez que esses objetivos são de extrema importância para a organização, é imperativo adotar uma abordagem proativa para garantir que sejam alcançados. Nesse contexto, a Gestão de Riscos assume um papel central (Hillson, 2010).

2.1 Gestão de Riscos Corporativos

De acordo com Sprcic et al. (2017), está ganhando aceitação crescente entre os acadêmicos a noção de que a abordagem de Gestão de Riscos Corporativos (GRC) oferece uma perspectiva mais abrangente em comparação com a abordagem tradicional de Gestão de Riscos. Na Gestão de Riscos Tradicional (GRT), diferentes categorias de riscos são gerenciadas separadamente em várias partes da organização, sem considerar a interação entre eles e o impacto total nos objetivos da empresa. Em contraste, a GRC é uma abordagem sistemática e integrada para gerenciar todos os riscos enfrentados pela organização, direta ou indiretamente, que possam afetar a execução da estratégia do negócio, incluindo seu impacto final no valor da empresa ou da organização.

O surgimento e a crescente adoção dos princípios ligados à Gestão de Riscos Corporativos (GRC) resultam, em grande parte, da necessidade de as organizações se adaptarem às rápidas mudanças no cenário global, bem como às crescentes demandas regulatórias para uma gestão holística de riscos (Shad et al., 2019). A abordagem da Gestão de Riscos Corporativos (GRC) está ganhando popularidade tanto entre pesquisadores quanto entre profissionais do campo (Shad et al., 2019). De acordo com Lechner e Gatzert (2017), essa ascensão da GRC é amplamente impulsionada por uma série de eventos, incluindo escândalos financeiros, fraudes corporativas, a crescente complexidade dos riscos e a pressão exercida pelas entidades reguladoras.

O Committee of Sponsoring Organizations of The Treadway Commission (COSO) definiu a GRC como um processo abrangente que envolve o Conselho de Administração, a alta administração e todos os membros da organização. Esse processo é projetado para moldar a estratégia da empresa, identificar eventos potenciais que possam afetar a entidade e gerenciar os riscos de forma a permanecer dentro dos limites de seu apetite por risco, proporcionando uma garantia razoável quanto ao cumprimento dos objetivos da organização (Committee of Sponsoring Organizations of the Treadway Commission, 2007).

Os princípios da GRC formam a base da gestão de riscos e devem ser incorporados e praticados pela organização para garantir uma gestão eficaz e eficiente (Calôba, 2018). De acordo com a norma ISO 31000 e Calôba (2018), uma gestão de risco eficaz deve abraçar os seguintes princípios: (i) criar e proteger valor para a organização, (ii) ser integrada a todos os processos organizacionais, (iii) ser considerada na tomada de decisões, (iv) ser sistemática, estruturada e oportuna, (v) basear-se nas melhores informações disponíveis, (vi) levar em consideração os fatores humanos e culturais, (vii) ser transparente e inclusiva, (viii) ser dinâmica, interativa e capaz de se adaptar às mudanças, permitindo melhorias contínuas nos processos organizacionais. Esses princípios fornecem orientações essenciais sobre as características de uma gestão de risco eficaz e eficiente, comunicando seu valor e explicando sua intenção e propósito.

A Gestão de Riscos Corporativos é um processo cíclico, iterativo e não consiste em fases isoladas. As etapas da GRC incluem o planejamento da gestão de riscos, a identificação de riscos, a avaliação e análise de riscos, o desenvolvimento de respostas aos riscos e, por fim, o monitoramento dos riscos e a revisão do processo de gestão de riscos (Hillson, 2006). Para implementar a GRC de forma eficaz e eficiente, é fundamental considerar uma série de fatores que podem influenciar seus resultados, o Quadro 1 apresenta boas práticas de GRC com base na literatura contemporânea.

A implementação efetiva da GRC em uma organização desempenha um papel fundamental na garantia razoável do alcance de seus objetivos (Lechner & Gatzert, 2017; Hillson, 2010; Jankensgård, 2019; Al-Farsi, 2020). É importante destacar que o não cumprimento dos objetivos pode acarretar danos substanciais à organização e até mesmo colocar em risco sua reputação. É importante verificar que o apoio que a alta administração deve proporcionar a implementação da GRC na organização é crucial (Ching et al., 2021; Vieira & Araújo, 2020), pois desempenha papel central no estabelecimento das diretrizes da GRC para a organização.

Outro elemento crítico diz respeito à integração da GRC com o planejamento estratégico da organização. De acordo com Fraser & Simkins (2016), o êxito na implementação da GRC depende da disposição da organização em ser aberta, compartilhar informações e promover a colaboração entre a alta administração e a equipe. Além disso, deve-se reconhecer a importância dos gerentes de riscos, que desempenham um papel vital na identificação e gestão eficaz dos riscos. A influência dos gerentes de riscos é também fator crucial para o sucesso da GRC (Al-Farsi, 2020).

Outro ponto essencial diz respeito ao Comitê de Risco, cuja solidez estrutural é fundamental para otimizar a eficácia dos processos de GRC (Malik et al., 2020). A criação de um comitê de risco é uma prática de governança recomendável, uma vez que evita a concentração excessiva de poder e responsabilidades no órgão máximo da organização (Vieira & Araújo, 2020). Por fim, a construção de uma cultura de risco desempenha um papel crucial na eficácia da GRC. Essa cultura integra os princípios da GRC e da governança com a compreensão dos riscos, crenças e valores (Agarwal & Kallapur, 2018). A cultura organizacional e a comunicação desempenham papéis vitais nas práticas de GRC. Em muitos casos, as informações sobre exposições ao risco não chegam aos membros do conselho, resultando na exclusão de riscos corporativos significativos no processo de tomada de decisões. Torna-se evidente que, a menos que a comunicação de informações seja eficaz, a gestão de riscos não impactará o desempenho da organização, mesmo quando implementada tecnicamente de maneira eficiente (Sprcic et al., 2017).

2.2 Gestão de Riscos Corporativos no Serviço Público Brasileiro e as Instituições Públicas de Ensino Superior

No Brasil, a promoção da adoção das práticas de GRC é incentivada pelos órgãos reguladores com o objetivo de consolidar avanços e assegurar o alcance dos objetivos, proporcionando assim melhores serviços à sociedade. No entanto, no país, a GRC parece estar em uma fase inicial de desenvolvimento. Apesar dos esforços para criar normativas visando à sua implementação, ainda persistem várias dificuldades na execução da Gestão de Riscos no setor público. A Instrução Normativa nº 01, do Ministério do Planejamento, Desenvolvimento e Gestão, em conjunto com a Controladoria Geral da União, e o Decreto de Governança Pública (Decreto nº 9.203, de 22 de novembro de 2017, alterado pelo Decreto nº 9.901, de 8 de julho de 2019), da Presidência da República, foram publicados com o propósito de auxiliar e promover a implementação da GRC no Brasil.

A GRC é apresentada como a solução adotada pela alta administração das organizações para lidar com problemas relacionados a assimetrias de agência e de informação na firma. Devido a essas imperfeições, uma organização pode adotar a gestão formal de riscos mesmo na ausência de atritos externos, ou pode deixar de utilizar a Gestão de Riscos quando esses atritos se tornam evidentes (Jankensgård, 2019).

No estudo conduzido por Vieira & Araújo (2020), foram analisados os passos da Gestão de Riscos em uma abordagem ministerial. Os resultados indicam que, apesar dos sistemas de Gestão de Riscos terem sido incorporados às novas estruturas de governança definidas pelos ministérios após a publicação da Instrução Normativa Conjunta MP/CGU, na maioria dos casos, as atividades necessárias para uma implementação eficaz desses sistemas têm sido interrompidas de forma consistente. Isso se deve não apenas à adequação às diretrizes estabelecidas no Decreto de Governança de 2017, mas também à reconfiguração ministerial de 2019, que levou à "revisão completa das estruturas de governança" em muitas dessas entidades, resultando na completa reestruturação dos sistemas que estavam em diferentes estágios de formulação ou implementação.

Conforme Lacković et al. (2021), o GRC é considerado um componente vital do sistema de governança corporativa eficaz, abrangendo atividades e estratégias que possibilitam à empresa identificar, medir, reduzir ou explorar, além de controlar e monitorar sua exposição a diversos tipos de riscos corporativos, incluindo riscos estratégicos, financeiros e operacionais. A pesquisa conduzida por Vieira & Araújo (2020) fornece evidências de que a Gestão de Riscos nos ministérios do Brasil está em estágio incipiente, e poucos ministérios aderem aos princípios, estruturas e processos característicos de uma nova perspectiva de Governança Pública.

De acordo com uma revisão bibliométrica publicada em 2021, sem delimitação de período, apenas cinco artigos foram encontrados em periódicos brasileiros abordando a gestão de riscos no serviço público (Silva, Silva, Alves, & Santos, 2021). Esses números indicam que os esforços dos órgãos controladores ainda carecem de uma análise mais profunda da eficácia, visando o aprimoramento desta disciplina no setor público.

Considerando o setor público, a gestão de riscos corporativos assume um papel crítico nas Instituições de Ensino Superior (IES) do Brasil, dada a complexidade e a natureza multifacetada do ambiente em que operam. Segundo Sedrez e Fernandes (2011), as IES enfrentam uma série de desafios, desde limitações orçamentárias até pressões para fornecer serviços educacionais de alta qualidade em um ambiente com alta competição por recursos.

Além disso, questões como governança, conformidade regulatória e segurança da informação são de suma importância para as IES, dada sua responsabilidade de gerir recursos públicos e proteger dados sensíveis dos alunos e da comunidade acadêmica. A implementação de um robusto programa de gestão de riscos permite que as IES identifiquem e avaliem proativamente os riscos potenciais, desenvolvam estratégias de mitigação eficazes e melhorem continuamente seus processos e práticas. Isso não só fortalece a resiliência das IES diante de adversidades, mas também promove a transparência, a prestação de contas e a confiança do público, garantindo que essas instituições possam cumprir sua missão de promover o ensino, a pesquisa e a extensão de forma eficaz e sustentável.

Assim, há ainda a necessidade de institucionalizar uma cultura de Gestão de Riscos no serviço público e nas Instituições de Ensino Superior brasileiras, sobretudo, de adotar uma perspectiva de longo prazo nessas organizações, a fim de possibilitar a efetiva implementação de sistemas de Gestão de Riscos. Isso é crucial para que esses sistemas auxiliem na consecução dos objetivos da gestão pública brasileira, que visa atender ao interesse público e manter a confiança da sociedade nos órgãos públicos.

3 MATERIAIS E MÉTODOS

A pesquisa bibliográfica foi conduzida por meio do portal de periódicos CAPES, utilizando palavras-chave, como "Enterprise Risk Management" e "Budget" e "Financial". Em outra busca, foram utilizadas as palavras-chave "Enterprise Risk Management" e "Risk Manager", "Enterprise Risk Management" e "Risk Culture". Além disso, uma pesquisa na base de dados Scopus foi realizada com os termos "Enterprise Risk Management" e "Public Organization". Para ambos os levantamentos, foi estabelecido um período de análise compreendendo os anos de 2017 a 2022.

A análise da BIG-DATA dos dados textuais foi realizada aplicando a estatística multivariável, por meio da lematização (estudo da etimologia das palavras), contabilizando a frequência das palavras nos artigos e realizando a caracterização da hierarquia dos dados, agrupações e a análise fatorial dos componentes principais. Esse método foi utilizado por Mendoza et al. (2023). Os resultados da análise fatorial de componentes principais foram representados cartograficamente.

Aplicando a survey, foram coletadas as opiniões e impressões dos servidores das seguintes instituições: Universidade Federal do Pará (UFPA), Universidade Rural da Amazônia (UFRA), Universidade Federal do Sul e Sudeste do Pará (UNIFESSPA), Universidade Federal do Oeste do Pará (UFOPA) e Instituto Federal do Pará (IFPA), que atuam diretamente em atividades administrativas ligadas às Pró-Reitorias, conforme demonstrado no Quadro 2. Dentre um universo de 913 servidores, participaram da pesquisa um total de 215 servidores, no período compreendido entre 26 de setembro de 2022 e 18 de janeiro de 2023. O nível de confiança adotado foi de 95%, com uma margem de erro de 6%. As questões foram agrupadas em dimensões para facilitar a análise dos dados.

Quadro 2 – Pró-Reitorias pesquisadas das IES do estado do Pará

O questionário utilizado nesta pesquisa foi adaptado de Lacković, Kurnoga e Sprčić (2021) e consiste em um total de 29 questões. As cinco primeiras questões são relacionadas à identificação da instituição à qual cada entrevistado pertence, enquanto as 24 questões restantes abordam especificamente a Gestão de Riscos Corporativos. Para responder às questões, foi utilizada uma escala Likert de 5 pontos. As opções de resposta fornecidas foram as seguintes: 1. Discordo totalmente, 2. Discordo parcialmente, 3. Nem discordo nem concordo, 4. Concordo parcialmente e 5. Concordo totalmente.

Na análise tradicional, a percepção geral de cada respondente é calculada pela soma das pontuações obtidas para cada afirmação, resultando no escore total. Como abordagem alternativa ao escore total, foi utilizada a Teoria da Resposta ao Item (TRI).

Os pressupostos básicos do modelo são a unidimensionalidade, o que significa que todos os itens do questionário medem o mesmo traço latente, e a independência local, que pressupõe a independência entre as respostas dadas aos diferentes itens do questionário para um determinado nível de percepção do servidor. A unidimensionalidade, que implica em independência local (Hambleton, Swaminathan & Rogers, 1991), foi confirmada por meio de Análise Fatorial realizada a partir da matrizde correlação policórica. Essa abordagem considerou a natureza ordinal das respostas, conforme recomendado por Bollen (1989).

Adicionalmente, foi realizada a análise de escalas de Mokken (MSA) para confirmar os pressupostos e verificar a adequação da técnica (Ark, 2007; Faye et al., 2011). De acordo com (Faye et al., 2011), embora o MSA seja baseado em modelos não-paramétricos, a medida é válida para modelos TRI paramétricos, porque os pressupostos dos modelos são os mesmos. A consistência interna será mensurada pelo coeficiente Alfa de Cronbach, que quantifica e mensura a confiabilidade de um questionário em uma escala graduada de 0 a 1. Considerando a natureza das respostas do questionário aplicado (escala Likert), neste trabalho será utilizado o modelo de resposta gradual proposto por Samejima (1969).

No modelo gradual de Samejima, adotado neste trabalho, assume-se que as 5 alternativas para cada item i podem ser colocadas em ordem crescente, e Y é uma variável aleatória que expressa a resposta gradual para o item i, assumindo os valores y = 1,2,3,4,5.

Para a análise, os 24 itens serão analisados nas seguintes dimensões: 1) Criação de Políticas e Normas sobre GRC (5 itens); 2) Mapeamento dos Riscos nas IES (5 itens); 3) Análise e Tratamento dos Riscos (2 itens); 4) Comunicação Interna e Externa sobre o processo de GRC (8 itens); e 5) Avaliação de Risco e Planejamento Estratégico (4 itens).

A partir do agrupamento em dimensões, será realizada a análise dos dados com o intuito de facilitar a compreensão e apresentação dos resultados. Inicialmente, será avaliada a consistência da escala e os percentuais por categoria de respostas.

Para confirmar a consistência da medida, foi feita a correlação entre o escore de percepção total, que é a soma dos pontos de cada usuário, e a estimativa de percepção proposta pela Teoria da Resposta ao Item (TRI). Ademais, com o objetivo de compreender quais itens estão mais relacionados ao nível de percepção dos servidores, a escala de percepção foi segmentada, facilitando a compreensão ao relacionar o indicador criado pela TRI aos itens que o compõem.

Para evitar a divisão em quartis, a variável latente foi estimada pelo modelo gradual na formação dos grupos que seriam interpretados. A opção por não dividir em quartis, como na maioria dos estudos que usam segmentação, reside no fato de que a análise exploratória revelou alto nível de concordância nos itens e a divisão em quartis poderia formar grupos desnecessários para as características da amostra.

Usando a técnica de análise de agrupamento hierárquico (Cluster Analysis), os casos foram agrupados de acordo com as probabilidades de resposta em cada item/categoria. A escolha dos grupos foi realizada por meio da análise do dendrograma, que é um diagrama que apresenta a organização dos grupos formados durante a análise de agrupamento hierárquico.

Para a análise, os 24 itens serão analisados nas seguintes dimensões: 1) Criação de Políticas e Normas sobre GRC (5 itens); 2) Mapeamento dos Riscos nas IES (5 itens); 3) Análise e Tratamento dos Riscos (2 itens); 4) Comunicação Interna e Externa sobre o processo de GRC (8 itens); e 5) Avaliação de Risco e Planejamento Estratégico (4 itens).

A partir do agrupamento em dimensões, será realizada a análise dos dados com o intuito de facilitar a compreensão e apresentação dos resultados. Inicialmente, será avaliada a consistência da escala e os percentuais por categoria de respostas.

4 RESULTADOS E DISCUSSÃO

O resultado da análise bibliográfica é apresentado na Figura 1, mostrando o relacionamento das palavras que evidenciam a abordagem do risco corporativo. Essa abordagem se baseia na observação das incertezas e busca criar um sistema de resposta que permita e assegure a governança; perspectiva consonante com o exposto por Calôba (2018) na observação dos princípios, assim como com as contribuições de Chen Jiao & Harrison (2018), Vieira e Barreto (2019) e Avdiiskii, Bezdenezhnykh, & Yartseva (2021), a fim de alcançar um ponto de equilíbrio ideal entre as metas de crescimento.

A gestão, em especial dos órgãos públicos, volta-se à atenção aos processos, considerando os objetivos da organização, como discutido por Hillson (2010), Shad et al. (2019) e Vieira e Araújo (2020). O importante é criar processos e sistemas resilientes, com capacidade de adaptação, que incluam a abordagens interdisciplinares e multidisciplinares, como proposto por Mendoza e Lima (2022) no contexto do constructo de soluções polímatas.

Em relação à consistência de escala, o coeficiente alfa de Cronbach total foi de 0,97, o que indica alta consistência interna. Em relação às dimensões, os coeficientes de alfa de Cronbach variaram entre 0,67 e 0,93; sendo os maiores coeficientes observados nas dimensões 1, 2 e 3, indicando maior consistência interna nessas dimensões. Os resultados são apresentados na Tabela 1.

Na análise das proporções de respostas (Tabela 2), verifica-se que na dimensão 1 os maiores percentuais de respostas estão na escala de neutralidade e concordância (“Não concordo nem discordo” e “Concordo”) em todos os itens, exceto no item 2 - “Me sinto bem-informada/informado sobre as práticas de Gestão de Riscos s corporativos”, onde a escala de discordância parcial supera a de neutralidade. Observa-se, também, que esse item apresenta percentual de discordância total relevante, com aproximadamente 19% dos respondentes. Destaca-se que apenas no item 3 - “A alta administração (Reitor, Vice-Reitor, Pró-Reitores) está de forma contínua e proativa apoiando o processo de Gestão de Riscos s na IES que você faz parte”, o percentual de neutros é superior ao de concordância.

Nas dimensões 2 e 3, a neutralidade recebeu o maior percentual de respostas em todos os itens, seguida da concordância, destacando que no item 7 - “Na IES que você faz parte, de forma geral ou no seu setor de trabalho, a identificação e análise de riscos corporativos são realizadas pelo menos uma vez por ano”, o percentual de discordância total ficou em torno de 18%. As dimensões 2 e 3 tratam essencialmente da execução das análises de riscos no âmbito corporativo, o que se percebe pelas respostas dos servidores é que, apesar da existência de normas internas, não se percebe a ação do processo de GRC nas IES. Ou seja, a norma implantada não está refletindo nos regulamentos internos das unidades e subunidades, fazendo com que as IES não incorporem realmente a cultura da GRC.

Na dimensão 4, seis itens tiveram maior percentual de respostas neutras, chegando à proporção de 55% dos respondentes optando por não discordar nem concordar com a afirmativa “A alta administração da organização recebe relatório formal sobre a Gestão de Riscos Corporativos da IES periodicamente”. Segundo a norma ISO 31000, o gestor e a liderança da organização necessita comunicar o valor da gestão de riscos para toda a organização e ainda às suas demais partes interessadas, portanto, os resultados desta dimensão apontam para essa lacuna conceitual e prática, uma vez que não se percebe a comunicação entre a gestão organizacional e as unidades e subunidades sobre o tema da GRC.

Por outro lado, a concordância recebeu maior proporção nos itens 13 e 15. O que indica que os servidores têm tido a oportunidade de ampliar os seus conhecimentos sobre a gestão de riscos e as IES tem demonstrado quem são os responsáveis por tratar o assunto internamente. No entanto, esse aumento no nível de informação dos servidores e a designação de responsáveis pela GRC ainda não conseguiram alterar a cultura das organizações para lidar com o risco.

Os destaques estão no item 18, em que cerca de 20% dos respondentes discordam totalmente da afirmativa “A alta administração discute abertamente a Gestão de Riscos com dirigentes de nível inferior, além das situações em que há desvio provável dos objetivos do plano estratégico (por exemplo, para dar feedback sobre relatórios de risco, receber informações adicionais etc.)”, e no item 15, em que 23% concordam totalmente com a afirmativa “Atualmente, na IES que faço parte, há um escritório/setor responsável por disseminar as informações e incentivar as práticas sobre a Gestão de Riscos Corporativos”.

Na dimensão 5, a maioria dos respondentes optou pela neutralidade nas respostas. Esses itens relacionam-se com a capacidade do servidor em perceber a ação da resposta ao risco seja a partir de ações ou alterações nos processos. Essa é a última fase do ciclo de gestão de riscos, o que, se não consegue ser percebida pode indicar um baixo grau de maturidade de GRC nas IES. Por outro lado, apenas no item 23 o percentual de concordância parcial foi acima de 30%, o que pode indicar que os ciclos de consideração dos riscos levantados atualmente sejam nas revisões dos planejamentos estratégicos das IES, o que é importante, mas que, no entanto, não atende à gestão de uma série de riscos de níveis tático ou operacional que possam estar sendo enfrentados pelas unidades e subunidades das IES.

Para a aplicação da TRI, inicialmente foi comprovada a unidimensionalidade por meio de Análise Fatorial que, utilizando diversos critérios de estimação de cargas fatoriais, identificou um fator principal que explica mais de 80% da variabilidade total. Adicionalmente, a confirmação dos pressupostos foi realizada a partir da análise de escalas de Mokken (MSA), que apresentou coeficiente global de 0.65. Esse coeficiente indica uma alta discriminação entre os itens, o que assegura maior confiança na ordenação dos respondentes com base nos coeficientes estimados pelo modelo gradual da TRI. Os parâmetros de discriminação ( ) e dificuldade ( ) estimados do Modelo Gradual são apresentados na Tabela 3.

As estimativas indicam que os itens com maior poder de discriminação são: item 5 na Dimensão 1; itens 6, 9 e 10 na Dimensão 2; item 11 na Dimensão 3; item 14 na dimensão 4; e itens 22 e 23 na Dimensão 5. Esses são os itens que melhor subdividem os servidores entre os níveis de percepção. Os itens 8, 18, 19 e 20 são considerados de maior dificuldade, pois exigem um alto nível de percepção em relação à prática de Gestão de Riscos Corporativos para que os respondentes concordem com as afirmativas com uma probabilidade acima de 50%.

A partir das estimativas dos parâmetros, os indicadores de percepção foram calculados e posteriormente transformados para a escala (50,10) para melhorar sua apresentação. A distribuição de frequência do indicador pode ser visualizada na Figura 2a.

Verifica-se que os valores dos indicadores se concentram em torno da média. Para comparar o indicador gerado pela TRI com a medida de análise tradicional, foi calculado o coeficiente de correlação de Pearson, obtendo-se um valor de 0,99. A Figura 2b apresenta o diagrama de dispersão entre o escore total de percepção e o indicador de percepção gerado pela TRI, evidenciando uma forte associação entre as duas medidas.

O indicador de percepção estimado foi subdividido, com base na Análise de Agrupamento, em quatro níveis crescentes de percepção do servidor em relação à prática de Gestão de Riscos Corporativos, conforme ilustrado na Figura 4. Verifica-se que os níveis foram bem separados pela análise de agrupamentos, e a diferença entre as médias dos níveis foi confirmada por meio da Anova (p-valor = 0.000).

Figura 3 – Box-plot do Indicador da TRI por nível da percepção

Os níveis de percepção foram descritos considerando as dimensões avaliadas na pesquisa. O interesse é verificar quais os itens que mais se destacaram em cada dimensão na visão do servidor.

a) Nível 1 – Servidores com baixa percepção

Neste nível, estão presentes 50 servidores (23% da amostra), que, em geral, discordaram total ou parcialmente das afirmações apresentadas em todos os itens. Na dimensão 1, a maior discordância ocorreu no item 5: “A organização está usando diretrizes claras para a identificação de riscos corporativos, no sentido de padronizar a metodologia e o processo de identificação de riscos”. Na dimensão 2, houve predominância de discordância parcial, sendo o item 7 o que obteve o maior percentual de discordância total. Na dimensão 3, houve maior incidência de discordância total nas duas afirmativas componentes. Na dimensão 4, o item 18 apresentou a maior porcentagem de discordância total; e na dimensão 5, todos os itens estão relacionados à discordância parcial.

b) Nível 2 – Servidores com percepção neutra

Foram alocados a esse nível 62 servidores (29% da amostra), que expressaram neutralidade (não concordam, nem discordam) ou discordância parcial. Na dimensão 1, os servidores apresentaram-se, em geral, neutros, exceto no item 6, onde houve o maior percentual de discordância parcial. Nas dimensões 2 e 3, a maioria dos servidores demonstrou neutralidade. Na dimensão 4, houve neutralidade, mas destacam-se os itens 19 e 20, que registraram os maiores percentuais de servidores com discordância parcial. Na dimensão 5, os servidores, em maioria, foram neutros, mas apresentaram pequeno percentual de concordância parcial em relação ao item 13.

c) Nível 3 – Servidores com percepção alta

Estão nesse nível 55 servidores (26% da amostra), que apresentaram respostas variando de neutra à concordância parcial. Na dimensão 1, o maior percentual de neutralidade foi em relação ao item 2, enquanto o maior percentual de concordância parcial foi registrado no item 1. Na dimensão 2, predominou a neutralidade, exceto no item 6, em que ocorreu o maior percentual de concordância parcial. A dimensão 3 caracterizou-se pela neutralidade, assim como na dimensão 4, destacando-se apenas que, nesta dimensão, o item 13 apresentou grande percentual de concordância parcial. Na dimensão 5, os servidores, em geral, foram neutros, destacando-se o item 24 com o maior percentual de concordância parcial.

d) Nível 4 – Servidores com percepção muito alta

Foram alocados a esse nível 48 servidores (22% da amostra), que, em geral, concordam parcialmente ou concordam totalmente com as afirmações apresentadas em todos os itens. Em relação aos itens relativos à criação de políticas e normas sobre GRC nas IES em que trabalham (Dimensão 1), a concordância total é maior nos itens 1 e 3. Nos itens relativos ao mapeamento dos riscos nas IES (Dimensão 2), os funcionários, de modo geral, apresentaram um nível de concordância com as afirmações. Esse padrão de comportamento também se repete na temática da Análise e tratamento de riscos (Dimensão 3). Em relação à Dimensão 4, os funcionários apresentaram um maior percentual de concordância total com o item 15, destacando-se um aumento na proporção de funcionários que não concordam nem discordam nos itens 18, 19 e 20. Por fim, os servidores concordam com as afirmações apresentadas em relação à Avaliação de risco e Planejamento Estratégico (Dimensão 5), sendo o maior percentual de concordância total registrado no item 23.

Após a análise, foi possível verificar e confirmar a hipótese 1: a não execução das diretrizes à luz das orientações pode gerar inconsistências na implementação da Governança Pública no ambiente das universidades. Os resultados apontam que as IES estão no seu estágio inicial na implementação, e ainda não possuem algo concreto e bem determinado em relação às diretrizes. Portanto, a hipótese 1 foi confirmada.

Em relação à hipótese 2: O desconhecimento dos servidores públicos federais acerca das diretrizes estabelecidas pela GRC é um vetor de desconformidade quanto à mitigação dos riscos institucionais, foi possível verificar nas entrevistas que os servidores têm conhecimento ou já ouviram falar nas suas instituições. No entanto, desconhecem as diretrizes, os procedimentos para a execução ou a existência de normas, políticas ou documentos formais. Muitos servidores optaram pela neutralidade, o que indica desconhecimento sobre o processo. Apesar de já haver um movimento crescente de capacitação dos servidores, os resultados só serão observados no futuro. Dessa forma, a hipótese 2 foi confirmada.

Nos resultados do estudo conduzido por Araújo e Gomes (2021) em universidades federais brasileiras, constatou-se que a falta de treinamento da equipe representou um fator limitante para o sucesso, assim como a falta do engajamento pelos servidores. No entanto, nas Instituições de Ensino Superior (IES) do Pará, o treinamento em gestão de riscos é percebido como disponível, indicando um nível mais elevado de maturidade em GRC em comparação com a pesquisa anterior, já o engajamento aparentemente necessita de outros estímulos para além da capacitação no tema.

Além disso, conforme destacado na pesquisa de Araújo e Gomes (2021), as universidades analisadas ainda não contavam com uma estrutura adequada para a realização eficaz da gestão de riscos. No contexto paraense, a percepção dos servidores indica a existência de um setor encarregado da implantação e regulamentação da GRC nas instituições. Entretanto, essa regulamentação não tem sido eficientemente disseminada entre os servidores, o que dificulta a execução adequada da gestão de riscos.

A pesquisa de Pinto, Nogueira e Cerquinho (2020) constatou um grau equilibrado de conformidade com a Instrução Normativa nº 01/2016, indicando que a maioria das políticas de gestão de riscos cumpriu mais da metade do que a normativa estabeleceu. Isso sugere um esforço significativo para elaborar políticas de gestão de riscos visando à implementação efetiva do processo, em vez de apenas atender a uma exigência regulatória.

Por outro lado, os resultados desta pesquisa revelam que, nas IES paraenses, embora as diretrizes de GRC existam, ainda não estão funcionando plenamente. Elas permanecem em um nível elevado, sem serem traduzidas em ações práticas para as unidades internas das instituições de ensino superior. Essa diferença sugere que, embora as políticas e diretrizes possam ter sido desenvolvidas com dedicação, sua implementação eficaz nas universidades paraenses ainda não foi alcançada, deixando-as em um estágio inicial de aplicação prática.

A GRC, nas IES paraenses, está em seu estado inicial e requer um olhar mais atento para que possa ser executada com o intuito de gerar resultados positivos para as instituições. Existe uma mobilização por parte das autoridades para implementá-la de forma eficaz, porém é evidente a dificuldade por ser uma nova vertente de gestão. Mesmo com normativas sendo criadas há mais de seis anos, até o momento a implementação não foi totalmente alcançada, embora os gestores das unidades estejam investindo em capacitação.

5 CONCLUSÕES E RECOMENDAÇÕES

A gestão de riscos corporativos é um assunto que requer o comprometimento de todos os stakeholders, com canais de comunicação abertos, contínuos, persistentes, competentes, pertinentes e transparentes, com prestação de contas clara e precisa, além da participação ativa de colaboradores, clientes, fornecedores, legisladores e controladores.

É importante considerar a necessidade de uma abordagem ágil, que permita a participação de todos os stakeholders, independentemente de sua profissão, incentivando a colaboração e promovendo o trabalho interdisciplinar.

Os resultados das entrevistas e questionários aplicados aos servidores das Instituições de Ensino Superior no Pará, Brasil, analisados por meio da Teoria da Resposta ao Item e do coeficiente Alfa de Cronbach, confirmam que a não execução das diretrizes da Gestão de Riscos Corporativo, de acordo com as orientações, pode resultar em inconsistências na implementação da Governança Pública nas universidades. Além disso, o desconhecimento dos servidores públicos federais em relação às diretrizes estabelecidas é um obstáculo para a mitigação dos riscos institucionais.

As dimensões da comunicação interna e externa, com um coeficiente Alfa de Cronbach de 0,67, e da avaliação e planejamento estratégico, com um coeficiente Alfa de Cronbach de 0,73, indicam a oportunidade de evitar, reduzir, minimizar, administrar e até transferir os riscos por meio da implementação de programas de comunicação e transparência na prestação de contas.

A criação, monitoramento e acompanhamento de indicadores, como o coeficiente Alfa de Cronbach e a Análise Fatorial ou Teoria da Resposta ao Item, fornecem ferramentas de controle no processo de melhoria contínua. Assim, recomenda-se a repetição dos procedimentos e técnicas utilizados para gerar um histórico dos indicadores, permitindo avaliações periódicas e identificando práticas que devem ser replicadas por sua precisão, eficácia e assertividade, bem como outras que devem ser evitadas ou deixadas de lado.

Além dos achados destacados, é crucial reconhecer as limitações encontradas durante a condução deste estudo. Uma das principais dificuldades foi a obtenção dos endereços de e-mail funcionais de todos os servidores das Instituições de Ensino Superior participantes, apesar dos esforços realizados através do contato com as Pró-Reitorias de Gestão e da aplicação da Lei de Acesso à Informação. Isso resultou na impossibilidade de garantir um equilíbrio proporcional de respondentes entre as diferentes instituições.

Para pesquisas futuras, é importante considerar abordagens alternativas para superar essas limitações, como explorar novos métodos de coleta de dados ou buscar parcerias adicionais com as instituições para garantir uma representação mais abrangente.

Além disso, há oportunidades significativas para pesquisas futuras nesta área. A gestão de riscos corporativos é um tema que requer o comprometimento de todos os stakeholders, com canais de comunicação abertos e participação ativa. Uma abordagem ágil e colaborativa, independentemente da profissão dos envolvidos, pode promover a eficácia da gestão de riscos e fortalecer a implementação da Governança Pública nas universidades, logo, todos esses pontos podem ser explorados de forma mais profunda e abrangente.

Agradecimentos

Agradecemos à Pró-Reitoria de Pesquisa e Pós-Graduação (PROPESP) e da Pró-Reitoria de Gestão de Pessoas (PROGEP) da Universidade Federal do Pará, que contribuíram no financiamento e apoio desta pesquisa e, ainda, à Universidad Nacional de Costa Rica, pelas contribuições valiosas.

REFERÊNCIAS

Associação Brasileira de Normas Técnicas. (2018). NBR ISO 31000: gestão de riscos – diretrizes. ABNT. https://edisciplinas.usp.br/pluginfile.php/4656830/mod_resource/content/1/ISO31000.pdf

Agarwal, R., & Kallapur, S. (2018). Cognitive risk culture and advanced roles of actors in risk governance: a case study. Journal of Risk Finance, 19(4), 327–342. https://doi.org/10.1108/JRF-11-2017-0189

Al-Farsi, H. A. H. (2020). The influence of chief risk officer on the effectiveness of enterprise risk management: evidence from Oman. International Journal of Economics and Financial Issues, 10(1), 87–95. https://doi.org/10.32479/ijefi.8932

Almeida, R., Teixeira, J. M., Silva, M. M., & Faroleiro, P. (2019). A conceptual model for enterprise risk management. Journal of Enterprise Information Management, 32(5), 843–868. https://doi.org/10.1108/JEIM-05-2018-0097

Andrade, D. F., & Valle, C. (2000). Teoria da resposta ao item: conceitos e aplicações. Associação Brasileira de Estatística.

Araújo, A., & Gomes, A. (2021). Risk management in the public sector: challenges in its adoption by Brazilian federal universities. Revista Contabilidade & Finanças, 32(86), 241-254. doi:10.1590/1808-057x202112300

Ark, L. A. (2007). Mokken Scale Analysis in R. Journal of Statistical Software, 20(11), 1–19. https://doi.org/10.18637/jss.v020.i11

Avdiiskii, V. I., Bezdenezhnykh, V. M., & Yartseva, N. M. (2021). The risk-based approach in the development of the management of organizations. International Journal of Agricultural Extension, 9(Special Issue 2), 11–17. https://doi.org/10.33687/ijae.009.00.3957

Brasil.Ministério Púlico. Controladoria Geral da União. (2016). Instrução normativa conjunta no 1,de 10 de maio de 2016: Dispõe sobre controles internos, gestão deriscos e governança no âmbito do PoderExecutivo federal. 1–10.

Brasil. (2019). Decreto No 9.901, De 8 De Julho De 2019: Altera o Decreto no 9.203, de 22 novembro de 2017, que dispõe sobre a política de governança da administração pública federal direta, autárquica e fundacional.https://www.in.gov.br/materia/ /asset_publisher/Kujrw0TZC2Mb/content/id/21519355/do1-2016-05-11-instrucao-normativa-conjunta-n-1-de-10-de-maio-de-2016-21519197

Bollen, K. A. (1989). Structural equations with latent variables. John Wiley & Sons. https://doi.org/10.1002/9781118356258.ch3

Bollen, K. A. (2002). Latent variables in psychology and the social sciences. Annual Review of Psychology, 53, 605–634. https://doi.org/10.1146/annurev.psych.53.100901.135239

Calôba, G. (2018). Gestão de riscos em projetos. Alta Books.

Chen, J., Jiao, L., & Harrison, G. (2018). Organizational culture and enterprise risk management: The Australian not-for-profit context. Australian Journal of Public Administration, 78(3), 432–448. https://doi.org/10.1111/1467-8500.12382

Ching, W. C., Rahim, F. A. M., & Chuing, L. S. (2021). Enterprise risk management and risk culture in construction public listed companies. Journal of Construction in Developing Countries, 26(2), 17–36. https://doi.org/10.21315/jcdc2021.26.2.2

Committee of Sponsoring Organizations of the Treadway Commission. (2007). COSO Gerenciamento de Riscos Corporativos – Estrutura Integrada. PricewaterhouseCoopers LLP, 1(2), 01–141. https://auditoria.mpu.mp.br/pgmq/COSOIIERMExecutiveSummaryPortuguese.pdf

Faye, O., Baschieri, A., Falkingham, J., & Muindi, K. (2011). Hunger and food insecurity in Nairobi’s slums: An assessment using IRT models. Journal of Urban Health, 88(suppl. 2), 235–255. https://doi.org/10.1007/s11524-010-9521-x

Fraser, J. R. S., & Simkins, B. J. (2016). The challenges of and solutions for implementing enterprise risk management. Business Horizons, 59(6), 689–698. https://doi.org/10.1016/j.bushor.2016.06.007

Furr, R. (2011). Scale construction and psychometrics for social and personality psychology. SAGE Publications Ltd. https://doi.org/https:// doi. org/10.4135/9781446287866

Gil, A. C. (2002). Como elaborar projeto de pesquisa. Atlas S. A.

Gorzeń-Mitka, I. (2013). Risk identification tools – polish msmes companies practices. Problems of Management in the 21st Century, 7(1), 6–11. https://doi.org/10.33225/pmc/13.07.06

Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. SAGE Publications Ltd.

Hillson, D. (2006). Integrated risk management as a framework for organizational success [Conference session]. PMI Global Congress, Seattle, WA, United States. https://www.pmi.org/learning/library/integrated-risk-management-framework-organizational-success-7980

Hillson, D. (2010). Exploiting future uncertainty: creating value from risk. Gower Publishing.

Jankensgård, H. (2019). A theory of enterprise risk management. Corporate Governance, 19(3), 565–579. https://doi.org/10.1108/CG-02-2018-0092

Lacković, D. I., Kurnoga, N., & Sprčić, D. M. (2021). Three-factor model of Enterprise Risk Management implementation: exploratory study of non-financial companies. Risk Management, 24(2), 101–122. https://doi.org/10.1057/s41283-021-00086-3

Lechner, P., & Gatzert, N. (2017). Determinants and value of enterprise risk management: empirical evidence from Germany. European Journal of Finance, 24(10), 867–887. https://doi.org/10.1080/1351847X.2017.1347100

Leitch, M. (2010). ISO 31000:2009 - The new international standard on risk management: Perspective. Risk Analysis, 30(6), 887–892. https://doi.org/10.1111/j.1539-6924.2010.01397.x

Lord, F. (1952). A Theory of Test Scores (Psychometric Monograph No. 7). Psychometric Corporation. https://www.psychometricsociety.org/sites/main/files/file-attachments/mn07.pdf?1576607452

Low, S. P., Liu, J. Y., Ng, S. H. M., & Liu, X. (2013). Enterprise risk management and the performance of local contractors in Singapore. International Journal of Construction Management, 13(2), 27–41. https://doi.org/10.1080/15623599.2013.10773210

Malik, M. F., Zaman, M., & Buckby, S. (2020). Enterprise risk management and firm performance: Role of the risk committee. Journal of Contemporary Accounting and Economics, 16(1), 100178. https://doi.org/10.1016/j.jcae.2019.100178

Matteucci, M., & Stracqualursi, L. (2006). Student assessment via graded response model. Statistica, 66(4), 435–447. https://doi.org/10.6092/issn.1973-2201/1216

Mendoza, R. R., & Lima, A. M. (2022). The abductive method to generate polymath knowledge in technical-scientific production. Civil Engineering Research Journal, 13(3), 1–2 https://doi.org/10.19080/CERJ.2022.13.555864

Mendoza, R. R., Lima A. M., Pimentel, M. A. S., Pontes, A. N., & Rocha, E. (2023). World development and generation of waste. Environmental Science and Pollution Research, 30(6), 14792–14804. https://doi.org/10.1007/s11356-022-23106-5

Pinto, J., Nogueira, R., & Cerquinho, K. (2020). Avaliação das Políticas de Gestão de Riscos das Universidades Federais quanto ao Atendimento à Instrução Normativa 01/2016. Brazilian Journal of Production Engineering, 6(2), 277-244.

Prewett, K., & Terry, A. (2018). COSO’s updated enterprise risk management framework- a quest for depth and clarity. Journal of Corporate Accounting & Finance, 29(3), 16–23. https://doi.org/10.1002/jcaf.22346

Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika, 34, 1–97. https://doi.org/10.1007/bf03372160

Sedrez, C., & Fernandes, F. (2011). Gestão de Riscos nas Universidades e Centros Universitários do Estado de Santa Catarina. Revista Gestão Universitária da América Latina (Edição Especial 2011), 70-93. https://doi.org/10.5007/1983-4535.2011v4nespp70

Shad, M. K., Lai, F. W., Fatt, C. L., Klemeš, J. J., & Bokhari, A. (2019). Integrating sustainability reporting into enterprise risk management and its relationship with business performance: A conceptual framework. Journal of Cleaner Production, 208, 415–425. https://doi.org/10.1016/j.jclepro.2018.10.120

Silva, D., Silva, J., Alves, G., & Santos, C. (2021). Gestão de riscos no setor público: revisão bibliométrica e proposta de agenda de pesquisa. Revista do Serviço Público, 72(4), 824-854. https://doi.org/10.21874/rsp.v72.i4.3991

Soares, J. F., & Alves, M. T. G. (2023). Uma medida do nível socioeconômico das escolas brasileiras utilizando indicadores primários e secundários. SSRN Papers, 1–35. http://dx.doi.org/10.2139/ssrn.4325674

Sprcic, D. M., Pecina, E., & Orsag, S. (2017). Enterprise risk management practices in listed Croatian companies. UTMS Journal of Economics, 8(3), 219–230. http://hdl.handle.net/10419/195310

Vieira, K. M., Moreira Junior, F. J., & Potrich, A. C. G. (2019). Financial education indicator: Proposal of an instrument from the item response theory. Educação e Sociedade, 40, 1–33. https://doi.org/10.1590/es0101-73302018182568

Vieira, J. B., & Araújo, A. B. (2020). Risk management in the Brazilian Federal Government: a ministerial analysis. Revista do Serviço Público, 71, 404–437. https://doi.org/10.21874/rsp.v71ic.4466

Vieira, J. B., & Barreto, R. T. S. (2019). Governança, gestão de riscos e integridade. Enap. https://repositorio.enap.gov.br/bitstream/1/4281/1/5_Livro_Governan%C3%A7a%20Gest%C3%A3o%20de%20Riscos%20e%20Integridade.pdf

Wolke, T. (2017). Risk Management (8a ed.). De Gruyter Oldenbourg.

Información adicional

redalyc-journal-id: 3515