1 INTRODUÇÃO

A evolução das pesquisas no campo da Avaliação de Desempenho (AD) modificou a forma como vinham sendo tratados os Sistemas de Avaliação de Desempenho (SADs), que mudaram a perspectiva de apenas mensurar o desempenho para sistemas que utilizam as informações vindas da atividade de mensuração para orientar a tomada de decisão (Franco-Santos et al., 2012; Okwir et al., 2018). À medida que as organizações se esforçam para atender às necessidades dos clientes, com melhor qualidade, e menor custo, também é necessário adotar programas de melhoria de desempenho (Neely, 1999). A ampla aplicabilidade da AD, em diferentes contextos e setores, a torna uma prática importante para o desenvolvimento dos negócios (Choong, 2013).

Em decorrência dos avanços trazidos pela Tecnologia da Informação (TI) e Comunicação, a quantidade de informações recebidas pelas organizações é crescente e exige análise e decisões rápidas que, se tomadas e subsidiadas por relatórios mal projetados, que distorcem as informações apresentadas, podem comprometer o desempenho do negócio (Yigitbasioglu & Velcu, 2012). Além disso, as constantes modificações que ocorrem no contexto organizacional, alavancadas por inovação, clientes e processos, evidenciam a dinamicidade organizacional, tornando importante o desenvolvimento de Sistemas de Avaliação de Desempenho que acompanhem essa evolução. Por isso, organizações têm destinado tempo e recursos para desenvolver seus SADs, e a literatura de AD sinaliza a importância do uso das métricas de desempenho alinhadas e atualizadas para que continuem retratando as especificidades do negócio. Essa situação ressalta a validade de se observar o Ciclo de Vida do SAD, proposto por Bourne et al. (2000) e ratificado por Ferreira e Otley (2009) e por Nudurupati et al. (2011), como um processo cíclico composto por quatro estágios: (i) concepção/construção (design); (ii) implementação; (iii) uso; e (iv) revisão.

Tais estágios têm sido explorados na teoria e na prática, buscando consolidar o entendimento sobre os elementos que compõem cada um deles no Sistema. Apesar disso, o número de organizações que fazem a gestão contínua das métricas não é expressivo (Kennerley & Neely, 2002), destacando que nem sempre as organizações têm se preocupado em manter o SAD atualizado em função das demandas internas e externas a elas (Bourne et al., 2000). As evidências também apontam que os pesquisadores, em seus trabalhos, têm dedicado mais atenção a estágios específicos em vez de considerar a plenitude do Sistema (Matos et al., 2020; Okwir et al., 2018). Pedersini e Ensslin (2020), ao revisarem a literatura sobre a AD no setor público, verificaram que, embora se perceba um avanço em termos da consideração do Ciclo de Vida, os trabalhos ainda permanecem voltados ao design e à implementação dos sistemas, deixando de evidenciar suas potencialidades no que se refere ao seu uso e revisão. Na área portuária, as autoras constataram que poucos autores consideram as informações geradas pela mensuração na atividade de gestão portuária (Pedersini & Ensslin, 2022). Tal constatação resulta em lacunas de conhecimento no que se refere a uma visão holística (Matos et al., 2020) e restringe a compreensão dos aspectos que interferem no desenvolvimento organizacional (Pedersini et al., 2021).

Dada a escassez de trabalhos que abordem o SAD por meio de uma visão holística, que analisa desde sua idealização até sua manutenção, por meio de processos sistemáticos que garantem a evolução de seus sistemas de AD, tem-se este problema de pesquisa: Como ocorre o processo de ‘amadurecimento’ de um sistema de avaliação de desempenho? Para responder a esse questionamento, o estudo tem por objetivo descrever como ocorre o desenvolvimento dos estágios evolutivos de um sistema de avaliação de desempenho no contexto portuário público brasileiro. Embora a singularidade do contexto deva ser considerada no desenvolvimento dos sistemas, centra-se esta pesquisa em demonstrar o ciclo de vida do sistema de AD, procurando exemplificar aspectos inerentes a cada um dos estágios com base em um caso empírico, mas sem explorar aspectos específicos do setor.

A necessidade de estruturas holísticas para a avaliação de desempenho foi intensificada nos últimos anos (Abdel-Halim & Ahmed, 2021). Contudo, Naslund e Norman (2019) apontam que há poucas evidências empíricas sobre como os sistemas podem ser implementados, avaliados e melhorados. Assim, o estudo contribui ao descrever como ocorreu o desenvolvimento dos estágios do SAD, ressaltando a importância da revisão dos sistemas para que atendam às mudanças organizacionais. Parece também haver uma lacuna entre a academia e o campo prático, quando o assunto é SAD, visto que, apesar da crescente importância da mudança organizacional, poucos estudos retratam esse fenômeno por meio da explanação da revisão dos sistemas (Naslund & Norman, 2019). Ao evidenciar aspectos resultantes do processo de desenvolvimento, que refletem na aprendizagem organizacional, o estudo também oferece contribuições práticas para que gestores possam compreender a importância do desenvolvimento de modelos de AD de acordo com as mudanças no contexto decisional.

2 ESTÁGIOS DO CICLO DE VIDA DOS SISTEMAS DE AD

O ambiente organizacional frequentemente passa por mudanças decorrentes da combinação de fatores diversos, como novos modelos de negócios, sistemas enxutos, inovação e desenvolvimento tecnológico (Melnyk et al., 2014), indícios de que o ambiente organizacional é dinâmico e volátil. Em decorrência das mudanças de demandas de mercado, inúmeros desafios e oportunidades são impostos às organizações que precisam implementar melhorias rigorosas para competirem e se desenvolverem (Holzer et al., 2019). Nesse sentido, os sistemas de AD figuram como ferramentas viáveis no apoio à tomada de decisão por meio da construção, implementação, uso e revisão de métricas de desempenho (Bititci et al., 2012; Neely et al., 2005).

Desde os trabalhos de Johnson e Kaplan (1987), os SADs vêm sendo estudados por diferentes perspectivas (Matos et al., 2020), dentre as quais há a preocupação com o acompanhamento do SAD desde sua idealização até sua revisão por meio de monitoramento contínuo Um dos primeiros estudos que deu atenção a esse aspecto longitudinal é o trabalho de Bourne et al. (2000), apresentando a proposta de um framework (Figura 1) que categoriza e descreve os estágios evolutivos que uma organização percorre no desenvolvimento de um SAD para melhoria contínua, englobando (i) design, (ii) implementação, (iii) uso e (iv) atualização. Os autores atribuíram a esse processo a denominação de Ciclo de Vida do SAD.

Para ser capaz de refletir o contexto e a estratégia organizacional, a concepção (design) de um Sistema requer que as necessidades da organização e das partes interessadas sejam transformadas em métricas de desempenho adequadas (Ferreira & Otley, 2009; Coelho & Simão, 2021; Pedersini et al., 2021). Ou seja, o projeto do sistema é um exercício cognitivo que transforma interesses, objetivos e necessidades em métricas de desempenho (Bourne et al., 2000; Pedersini & Ensslin, 2022). Para Neely et al. (2005), os SADs devem compreender métricas de desempenho individuais, cujo conjunto permite avaliar o desempenho organizacional. Esse processo de construção pode ser proposital ou emergente (Jwijati et al., 2022), sendo considerado emergente quando não há uma iniciativa intencional para projetar um SAD conciso e abrangente.

Após a construção efetiva, o Sistema passa para a fase de implementação, cujas ações são combinadas para articular a sua utilização. O comprometimento de todos os indivíduos da organização é fundamental para coletar, analisar, interpretar e comunicar as informações da medição do desempenho (Nudurupati et al., 2011; Rezaei et al., 2018). Fatores que dificultam a utilização do SAD podem surgir nessa etapa, pois há o envolvimento de pessoas trabalhando ao longo do processo, com diferentes funções e que precisam entender claramente o propósito do Sistema que está sendo implementado. De acordo com Bititci (2015), a falta de clareza resulta em reflexos não intencionais que podem prejudicar a organização. Assim, se as empresas almejam a competitividade de longo prazo, precisam implementar um Sistema adequado e capaz de mensurar e avaliar suas atividades, de forma contínua e sistemática. Papulová et al. (2021) verificaram que 36% da amostra de pequenas e médias empresas investigadas estava insatisfeita com a implementação dos sistemas. Apesar de parecer um número pouco específico, os autores apresentam outros estudos em que esse percentual foi superior a 70%. Um dos fatores apontados pelo estudo como problemático é a falta de um objetivo claro para o Sistema.

Apenas informar o desempenho não é suficiente para melhorá-lo (Busi & Bititci, 2006). Atrelada à necessidade de mais eficiência e flexibilidade nas organizações, bem como a maior preocupação das consequências do SAD, a atenção voltou-se para o processo de gestão do desempenho, ou seja, o uso das informações advindas da atividade de mensuração para orientar a tomada de decisão (Holzer et al., 2019; Okwir et al., 2018). À medida que a função do SAD deixou de ser apenas de monitoramento e controle, mais ênfase foi dada aos aspectos comportamentais que dão sentido ao propósito do Sistema (Pfister & Otley, 2023). Assim, diferentes finalidades podem ser atribuídas ao SAD, contribuindo para o equilíbrio dos objetivos organizacionais (Mura et al., 2021).

Uma questão que preocupa muitos acadêmicos e profissionais é se os sistemas implementados são suficientes para o propósito ao qual são projetados (Lucianetti et al., 2019), levando diversos pesquisadores a questionarem de que forma as medidas de desempenho devem ser usadas para gerenciar o desempenho da organização. Por isso, Bourne et al. (2000) salientam a importância de desafiar as premissas estratégicas. A forma como o SAD é revisado é um aspecto importante, pois, conforme o conhecimento nas pessoas é aprimorado, o Sistema volta a desafiar a estratégia organizacional (Bourne et al., 2000). As organizações precisam avaliar seus resultados a fim de verificar em que medida seus objetivos foram alcançados (Kennerley & Neely, 2002). Nesse processo, é preciso estar atento à tempestividade e utilidade das medidas, bem como à necessidade de incorporação de novas medidas ao Sistema (Domínguez et al., 2019).

Embora poucos estudos tenham explorado todos os estágios do Ciclo de Vida do SAD, algumas contribuições foram encontradas na literatura. Matos et al. (2020) analisaram o alinhamento entre a literatura teórica e a empírica a respeito dos elementos conceituais de cada estágio do Ciclo de Vida do Sistema, evidenciando alguns pontos de alinhamento entre as duas vertentes, com maior foco na etapa do design dos sistemas. Pedersini e Ensslin (2020), ao mapearem as características da literatura internacional no setor público, constataram que os estudos ainda não estão utilizando os SADs em sua plenitude e se beneficiando das potencialidades para alinhamento e melhoria. No âmbito empírico, Naslund e Norman (2019) desenvolveram, implementaram, testaram e aprimoraram uma estrutura para medir iniciativas de mudança organizacional. Os autores apresentaram um modelo para iniciativas de mudança, percorrendo todos os estágios evolutivos do SAD, demonstrando resultados positivos para os casos estudados.

3 METODOLOGIA

Esta pesquisa possui abordagem qualitativa e busca descrever, por meio de um estudo de caso, o processo percorrido na concepção, implementação, uso e revisão de um SAD em uma holding pública do setor portuário. O processo de desenvolvimento do Sistema iniciou com a revisão da literatura, pois, segundo Sampieri et al. (2013), possibilita ao pesquisador desenvolver seus conhecimentos a respeito do contexto de atuação, bem como oferece subsídios suficientes para fundamentar a pesquisa e instigar o decisor à reflexão. Nesse sentido, a revisão da literatura possibilitou que as pesquisadoras aprimorassem seus conhecimentos sobre o contexto da holding. Concomitantemente ao processo de revisão de literatura, deu-se início ao desenvolvimento do modelo (estágio de concepção/design).

Para o desenvolvimento do modelo de AD, foi utilizada a metodologia Multicritério de Apoio à Decisão-Construtivista - MCDA-C (Ensslin et al., 2001), que é uma abordagem integrada de avaliação de desempenho e busca desenvolver o conhecimento a respeito do contexto, principalmente quando não se tem claro quais devem ser os critérios de avaliação (Ensslin et al., 2001; Pedersini et al., 2021). A metodologia é composta por estas três fases: Estruturação, Avaliação e Recomendações (Ensslin et al., 2001).

Para a evidenciação dos estágios do Ciclo de Vida do SAD, as três fases da metodologia MCDA-C foram feitas. Na Fase de Estruturação, ocorreu a identificação do problema, dos objetivos e de suas escalas ordinais de mensuração com a sinalização dos níveis de referência (mínimo e meta), resultando na construção do modelo qualitativo. Na Fase de Avaliação, o modelo qualitativo foi transformado em um modelo quantitativo, no qual, por meio das escalas cardinais (funções de valores), é possível identificar o nível do desempenho da organização em uma escala de 0 (mínimo) a 100 (meta). Pelo motivo de o modelo possuir níveis de referência, o desempenho abaixo de zero significa estar em nível comprometedor; assim, entre 0 e 100 é nível competitivo; e acima de 100, está em nível de excelência. Tais níveis de referência representam a ancoragem, e não os limites de desempenho. Para se transformar em modelo quantitativo, também é necessário identificar as taxas de compensação para a integração das métricas de desempenho local em avaliação global. Nessa etapa, utiliza-se o apoio do software Measuring Attractiveness by a Categorical Based Evaluation Technique .MACBETH) (Bana e Costa & Vansnick, 1994) onde são construídas as escalas de valor.

Já na Fase de Recomendações, foram propostas ações para melhorar o desempenho dos portos delegados da holding. O desenvolvimento do modelo seguiu os procedimentos descritos por Longaray et al. (2019) e por Rodrigues et al. (2020). Por se tratar de uma metodologia com viés construtivista, o modelo foi construído com a participação de um decisor da organização (que representou os demais atores da organização), uma facilitadora (autora da pesquisa) e, na fase de revisão, uma especialista na metodologia (autora da pesquisa).

A pesquisa compreendeu o período de um ano e totalizou 15 entrevistas semiestruturadas para o desenvolvimento do Sistema, sendo cinco para o design e implementação, e dez para a revisão (reestruturação do modelo). O decisor que participou das entrevistas foi escolhido pela organização por estar diretamente relacionado aos assuntos portuários, atuando como intermediário entre a pesquisadora e os demais stakeholders da organização; eventualmente, outros membros da holding participaram das entrevistas. À medida que as entrevistas iam sendo feitas, a facilitadora da pesquisa desenvolvia as etapas do modelo, cada uma delas era legitimada pelo decisor conforme proposto pela metodologia utilizada.

Na primeira entrevista, a facilitadora apresentou ao decisor as contribuições que o modelo poderia oferecer para melhorar o desempenho das subsidiárias, destacando a confidencialidade da pesquisa. As entrevistas, inicialmente, tinham o intuito de entender o contexto analisado. Dessa forma, foi solicitado ao gestor portuário para discorrer sobre o contexto de uma forma aberta. Tendo em vista que o decisor pode esgotar seus argumentos rapidamente, utilizou-se um conjunto de questões abertas, sugeridas pela metodologia (Ensslin et al., 2001) e adaptadas para o contexto estudado para orientar a reflexão do gestor portuário durante seu discurso. As demais foram sendo delineadas com base na análise dos dados da entrevista anterior.

Como estratégia durante as entrevistas, centrou-se em fazer com que o decisor expressasse suas principais preocupações com relação a como a holding deveria gerenciar o processo de uniformização das Práticas de Gestão das atividades portuárias, quais seriam as situações desejadas e quais deveriam ser evitadas. Para tanto, evitaram-se perguntas diretas que pudessem gerar respostas como autorrelato e foram feitas perguntas que transparecessem a percepção do gestor portuário e as necessidades envolvendo as subsidiárias e a holding. Os dados, extraídos das entrevistas, foram interpretados de forma detalhada e reiterativa a fim de captar todas as preocupações do gestor, identificando quais os aspectos que, em sua percepção, são necessários e suficientes para o desempenho e competitividade das práticas adotadas pelos portos delegados. O processo de interpretação dos dados ocorreu de maneira recursiva entre facilitadora e decisor: a cada etapa finalizada, o decisor legitimava as informações ou solicitava ajustes e, então, passava-se para o próximo passo. Por meio dos dados analisados, foi possível constatar as preocupações que se sobressaíam no decisor e, com elas, efetivar a construção do modelo.

Para Sampieri et al. (2013), ao fazer uma pesquisa, os pesquisadores devem preocupar-se em manter o rigor na análise dos dados. Dessa maneira, é importante preservar a confiabilidade, credibilidade, confirmação e aplicabilidade da pesquisa e seus resultados. Desse modo, quanto à confiabilidade dos dados, houve a preocupação em descrever a percepção do decisor (Executivo de Assuntos Portuários) na identificação do problema a ser resolvido e suas preocupações, incluindo a participação de uma especialista na metodologia no processo de revisão e validação da operacionalização das etapas de construção do modelo e ratificação dos resultados. Com relação à credibilidade, preservaram-se as preferências do decisor sem que ocorressem distorções na interpretação dos dados. Exemplo disso, são as modificações feitas no modelo com base na intervenção da especialista na revisão do modelo.

A confirmação se reflete na validação de cada etapa do modelo pela facilitadora e na legitimação pelo decisor, a fim de garantir que as preferências do decisor fossem mantidas, e os direcionamentos da pesquisadora (facilitadora) fossem reduzidos. Por fim, no que se refere à aplicabilidade dos resultados, procurou-se transcrever, de forma detalhada e específica, todos os componentes que foram utilizados no estudo para que seja possível a aplicabilidade da essência do trabalho em outros contextos, ao menos parcialmente.

Com o objetivo inicial de desenvolver um modelo de autoavaliação para a holding analisar seu desempenho perante a gestão dos portos, o design do modelo levou dois meses para ser concluído. Nessa primeira etapa, houve a identificação do problema organizacional e a definição dos objetivos, compreendendo as etapas de estruturação e avaliação do modelo (Figura 3). Na etapa seguinte, a de implementação, foram feitos a coleta dos dados para a mensuração e o diagnóstico do desempenho da organização. Esses procedimentos levaram três meses para serem concluídos. A coleta dos dados foi feita durante as entrevistas para cada item de mensuração, quando o decisor informou qual era a situação da holding. Nesse momento, as escalas ordinais do modelo já haviam sido transformadas em quantitativas (cardinais), sendo então possível estabelecer um diagnóstico do desempenho a respeito da atuação da gestora.

Na sequência, a etapa de uso foi iniciada e feita a avaliação dos resultados. Com o desempenho identificado, analisou-se qual era a situação geral da holding e de que forma ela deveria atuar para melhorar o desempenho. Para isso, identificaram-se as métricas cujo desempenho estava abaixo do mínimo aceitável e as que trariam maior ganho, em caso de intervenção de melhoria. Com base nisso, o decisor e os demais membros da organização tinham informações necessárias para refletir em quais áreas deveriam intervir para melhorias. Nesse momento, para auxiliar a reflexão da gestão, algumas ações foram propostas pela pesquisadora, indicando de que maneira impactariam no desempenho organizacional.

O acompanhamento do modelo pelo decisor, durante os três meses seguintes (estágio de uso), permitiu identificar que o modelo não atendia exatamente aos objetivos pelos quais sua construção foi deflagrada. Embora inicialmente seu objetivo fosse uma autoavaliação para verificar sua capacidade de gerenciamento, ao utilizar o Sistema e com o conhecimento gerado durante o projeto do modelo, constatou-se que seria necessário, primeiro, verificar se existia alinhamento entre as práticas de gestão dos portos delegados para, depois, autoavaliar o desempenho da holding. Assim, foi iniciado o processo de revisão do Sistema para adequá-lo às necessidades organizacionais.

Com a dificuldade encontrada para definir o objetivo do Sistema, uma especialista foi convidada a participar desse processo, dada sua experiência com gestão e conhecimento da metodologia MCDA-C. Nesse processo de revisão do SAD, por meio de uma discussão aprofundada entre a pesquisadora, o decisor e a especialista, todo o modelo foi revisto, desde seu objetivo até as métricas desenvolvidas, resultando em mudanças substanciais no modelo para atender ao contexto.

4 ANÁLISE E DISCUSSÃO DOS RESULTADOS

A Avaliação de Desempenho (AD), de modo geral, possui dois papéis na gestão do desempenho. O primeiro deles é deixar claro os objetivos organizacionais, de modo que a comunicação dissemine a estratégia de forma clara; e o segundo é medir o desempenho desses objetivos e dar um feedback sobre a situação do desempenho organizacional (Naslund & Norman, 2019). Tais papéis são cumpridos nos estágios de design, implementação e uso dos sistemas. Já no estágio de revisão do Sistema, o papel da AD é verificar a necessidade de alterações, garantindo a aderência das métricas de desempenho ao ambiente decisional (Okwir et al., 2018).

4.1 Aspectos do estudo de caso

Com a promulgação da Lei n.º 8.630/93, de Modernização dos Portos, de 25 de fevereiro de 1993, o cenário portuário brasileiro teve sua estrutura alterada em busca de investimentos da iniciativa privada no setor (Sousa et al., 2020). Outras mudanças importantes nos arranjos regulatórios do setor, como flexibilizar e desburocratizar a gestão, modernizar e expandir as estruturas e incrementar a movimentação de cargas, foram implementadas pensando no desenvolvimento do setor, tornando os portos um elemento importante no desenvolvimento econômico do país (Coelho & Simão, 2021). Com a edição da Lei n.º 14.047/20, de 24 de agosto de 2020, houve também a preocupação em aproximar os regimes jurídicos de exploração dos arrendamentos portuários (portos públicos) e das autorizações (Terminais de Uso Privado – TUPs).

A empresa estudada atua na gestão portuária e, apesar de ter como uma de suas prioridades a ampliação, modernização e construção de portos, não vinha exercendo esse trabalho de forma efetiva até que reivindicações governamentais da gestão portuária exigiram da holding uma atuação mais participativa. Mesmo com o interesse de aproximar-se dos portos e tornar a gestão efetiva, a holding ainda não possuía uma uniformização de práticas de gestão que atendesse aos critérios desejados pelo governo local, vislumbrando a AD como um instrumento de apoio à gestão, um meio para desenvolver o conhecimento necessário para a atuação portuária.

4.2 Design do modelo

Para o design de um Sistema, os decisores devem ser instigados a pensar em sua estratégia de negócios e fazer as seguintes perguntas: Qual é o objetivo a ser alcançado? Como isso pode ser feito? (Bourne et al., 2000). Tais perguntas auxiliam na obtenção de um entendimento mais claro a respeito do problema que se quer resolver ao implementar um Sistema de AD. Durante as entrevistas iniciais, o decisor mencionou a importância de serem feitas reuniões com as subsidiárias (objetivo) para alinhamento de algumas questões. Quando questionado sobre como essas reuniões seriam contributivas para a gestão, a resposta foi que a holding precisa estar alinhada com os portos delegados sobre aspectos relacionados a planejamento, questões jurídicas e regulatórias, assuntos técnicos, além de ser importante para o monitoramento dos resultados para efetivar sua gestão. Tal objetivo pode ser alcançado por meio de reuniões entre os Conselhos para não haver distanciamento entre as partes. Esse processo instigativo ocorreu por meio da construção de Mapas Cognitivos que serviram como base para a construção inicial da Estrutura Hierárquica de Valor, representada na parte superior da Figura 4.

Naslud e Norman (2019) apontam que a perspectiva das partes interessadas é frequentemente mencionada como um aspecto relevante para a construção de SADs. Embora as entrevistas tenham sido feitas com um decisor, antes de iniciar a construção do modelo, foi identificado quem seriam os atores que pudessem causar interferência nas decisões tomadas. Bititci (2015) destaca que esse processo é importante para desenvolver a aprendizagem organizacional, pois estimula o exercício cognitivo de considerar diferentes perspectivas no desenvolvimento dos modelos. Contudo, uma análise de estudos na área portuária, feita por Pedersini e Ensslin (2022), evidenciou que a maioria das pesquisas apresenta uma replicação de indicadores extraídos da literatura, desconsiderando particularidades organizacionais e interesses dos stakeholders.

Com base nos questionamentos feitos ao decisor nas entrevistas, foi possível identificar pontos de preocupação que auxiliaram na definição do problema organizacional e do objetivo da organização com o SAD, bem como obter um direcionamento para modelar as métricas de desempenho. Jamkhaneh e Ghadikolaei (2022) mencionam que é importante projetar uma estrutura de medição de desempenho, no âmbito da prestação de serviços, que identifique, melhore e fortaleça pontos fortes e fracos para integrar as diferentes partes dos processos organizacionais. Por isso, o processo reflexivo utilizado foi importante para determinar os principais pontos de atenção para a construção do modelo.

Nesse momento inicial de desenvolvimento das métricas de desempenho, havia dúvidas quanto ao papel que deveria ser desempenhado pela holding, principalmente devido à inexistência, no Brasil, de um benchmarking que pudesse direcionar a construção do modelo. Toda essa incerteza de atuação gerou dificuldades para definir o que era importante para o desenvolvimento da atividade portuária e, consequentemente, como a gestora deveria se posicionar nesse processo, conforme relatos 1 e 2.

Relato 1: É difícil encontrar uma estrutura parecida com a nossa [empresa] para a área portuária... até que ponto a holding entra na operação, são políticas, mas que nível de políticas que ela deve estabelecer para todas as subsidiárias? ...

Relato 2: Hoje existe uma dúvida sobre que tipo de decisão que a nossa subsidiária pode tomar sozinha? Até que ponto eles [portos] estão soltos para fazer suas negociações, seus investimentos, qual a real autonomia que eles têm? Até que ponto a holding tem que intervir dentro da subsidiária?...

Após um longo processo de discussões e análise do contexto, identificou-se que a holding necessitava de um sistema de autoavaliação para saber se estava preparada para a gestão portuária e estabelecer padrões mínimos de avaliação e identificar as exigências que seriam demandadas. Com essa reflexão inicial sobre qual a finalidade do modelo de avaliação, foi iniciada a operacionalização da concepção do modelo. O processo de concepção abrangeu as fases de Estruturação e de Avaliação da metodologia MCDA-C.

Foram identificados pontos iniciais de preocupação que, de acordo com as similaridades que possuíam, foram agrupados em quatro áreas, chamados de Pontos de Vista Fundamentais de Desempenho: Estratégia; Comunicação; Desenvolvimento de Pessoas; e Auditoria e Controle. Seguiu-se com o desenvolvimento da área de Estratégia, mais precisamente quanto ao Planejamento (Figura 4), em que foram construídas nove métricas, compostas por escalas ordinais e cardinais para representar o contexto. Na construção das métricas, a facilitadora questionou o decisor sobre as necessidades organizacionais, os possíveis níveis de desempenho e as situações a serem evitadas, ou seja, os objetivos estratégicos.

Segundo Melnyk et al. (2004), as métricas agem como um elo entre a estratégia organizacional, a execução e a criação de valor, ou seja, elas têm a função de transformar a missão estratégica da organização em realidade. As métricas foram construídas atendendo aos critérios que uma métrica deve conter, propostos por Melnyk et al. (2014): (i) uma medida verificável; (ii) com níveis de referência qualitativos e/ou quantitativos; e (iii) definida em relação a um ponto de referência. Além disso, para a construção das escalas, foram observados os fundamentos formais matemáticos de Stevens (1946) e seguidos os fundamentos empíricos da Teoria das Escalas de Mensuração, de Keeney (1992), conforme exemplificados na Figura 4. Desse modo, assim como proposto pela metodologia utilizada e defendido por Neely (2005) e por Bourne et al. (2000), garantiu-se que as métricas utilizadas refletissem as necessidades organizacionais daquele momento.

A participação do decisor, legitimando cada etapa do processo, permitiu que fosse construído um modelo personalizado para a organização, reforçando os apontamentos de autores, como Otley (2001) e Melnyk et al. (2014), de que as métricas de desempenho devem derivar da estratégia organizacional e atender às demandas dos atores que fazem parte desse contexto.

4.3 Implementação do modelo

A implementação engloba o processo de coleta, análise dos dados e diagnóstico. De acordo com Papulová et al. (2021), a questão principal nesse processo é identificar quais mecanismos devem ser usados e como utilizá-los, pois somente um SAD bem desenvolvido e implementado contribui para a melhoria do desempenho de uma organização. Os autores mencionam que falhas no processo de implementação podem levar ao fracasso do Sistema.

A implementação do modelo ocorreu por meio da coleta dos dados. Como as escalas ordinais foram transformadas em funções de valor (f.), após coletar os dados foi possível identificar o perfil de impacto atual da holding e calcular sua pontuação. Para o cálculo da performance da gestora, o desempenho quantitativo em cada métrica foi multiplicado por sua respectiva taxa de compensação (%), atribuída pelo julgamento do decisor por meio do uso do software Macbeth. Nesse caso, o desempenho de 53 pontos coloca a gestora em um nível competitivo.

Dentre as métricas do modelo, foi identificado que, em algumas, a holding possuía desempenho abaixo do mínimo aceitável (menor que 0) e, mesmo já desenvolvendo algumas ações ao buscar melhorias no processo de gestão, havia pontos em que o desempenho da holding estava em níveis abaixo do esperado, como, por exemplo, o Alinhamento Metodológico. Esse diagnóstico foi comunicado ao decisor que já esperava tal resultado, consequente do distanciamento, até então existente, nesse processo de gestão portuária. Tais conclusões indicaram que mudanças deveriam ser feitas na forma de gestão dos portos delegados.

Nessa fase de implementação, uma das preocupações do decisor era como os portos poderiam reagir diante das mudanças para uma gestão integrada, uma vez que até esse momento não havia um padrão de informações exigidas dos portos, os quais possuíam total autonomia no que se refere à prestação de contas. A literatura ressalta essa questão, indicando que a forma como os indivíduos reagem à implementação de modelos pode ser um fator determinante na aplicação bem-sucedida (Ferreira & Otley, 2009). Naslund e Norman (2019) destacam que é importante entender por quais estados que a organização, ou grupo, irá passar para chegar ao resultado desejado e quais aspectos precisam ser gerenciados. No caso em análise, se as mudanças não fossem bem recepcionadas pelos portos, poderiam surgir conflitos, tendo em vista que o acompanhamento mais constante, especificando quais informações e em que periodicidade deveriam ser apresentadas, de certo modo, delimita a autonomia dos portos, exigindo cautela na implementação de medidas corretivas. Franco-Santos et al. (2012) apontam que as consequências de um SAD podem ser sentidas tanto em nível pessoal, como também no âmbito organizacional. A comunicação e o envolvimento das partes interessadas nesse processo podem facilitar a implementação inibindo dificuldades. Apontamentos semelhantes foram sustentados na pesquisa de Papulová et al. (2021), demonstrando que atitudes positivas em relação ao SAD são estatisticamente significativas para a satisfação com o Sistema.

4.4 Uso do Sistema de AD

Segundo Bourne et al. (2000), a existência de um SAD em uma organização não só é caracterizada pelo design e implementação de métricas, mas também pelo seu uso para a gestão do desempenho organizacional, e, somente após o uso efetivo, pode-se dizer que a organização possui um SAD. Esse estágio abrange o uso das métricas para verificar o processo de implementação da estratégia, além de fornecer um feedback aos interessados para avaliar e melhorar os processos organizacionais (Naslund & Norman, 2019). Esse estágio engloba a Fase de Recomendações da metodologia MCDA-C, cujas informações geradas pela mensuração do desempenho são utilizadas para o processo de gestão, identificando onde e como é preciso atuar.

Para a metodologia MCDA-C, a gestão é tida como o processo de sugestão de ações de aperfeiçoamento para melhoria do desempenho, identificado com base no conhecimento gerado quando do processo de identificação, organização, mensuração dos aspectos considerados necessários e suficientes para avaliação do contexto, segundo a percepção do decisor (Ensslin et al., 2001). Assim, a concepção das métricas, no estágio do design, é confirmada por meio de seu uso efetivo. Com base na identificação do perfil de desempenho da gestora, obteve-se um panorama da situação atual da empresa. Dessa forma, foi feita uma avaliação inicial para verificar em quais métricas era necessário atuar para melhorar o processo de gestão e, consequentemente, gerar o estreitamento da relação entre a holding e os portos delegados. Para esses casos, procedeu-se a uma segunda avaliação para identificar ações corretivas que poderiam ser implementadas, especificando ao decisor as implicações que teriam no desempenho organizacional.

Um exemplo é que uma das métricas em que a holding não possuía um bom desempenho era o de Alinhamento Metodológico. Essa métrica tinha como medida verificar se as organizações do grupo (incluindo a holding) utilizavam procedimentos similares para realização do planejamento estratégico. A avaliação evidenciou que os procedimentos metodológicos utilizados pelas organizações eram diferentes. Como ação, sugeriu-se a criação de uma rotina de alinhamento e acompanhamento do planejamento estratégico, dispondo o suporte necessário para que esse padrão fosse seguido e, assim, houvesse uma uniformização dos procedimentos realizados para o planejamento estratégico. Foi orientado que toda ação, antes de ser implementada, fosse discutida com a equipe de gestão da holding e dos portos delegados, no intuito de esclarecer as intenções da implementação de cada uma delas e evitar reações adversas à mudança.

4.5 Revisão do Sistema de AD

As constantes mudanças que ocorrem no contexto organizacional, tanto em termos de ambiente, quanto de processo evolutivo, são ocasionadas por uma série de fatores que requerem um Sistema que acompanhe essas alterações. Kennerley e Neely (2002) apontam que, à medida que as circunstâncias se alteram, os sistemas precisam ser revistos e modificados, garantindo que sua evolução aconteça. Além disso, o acompanhamento das métricas, ao longo do processo, permite identificar de falhas no delineamento da estratégia (Bourne et al., 2000). Segundo Papilová et al. (2021), muitos sistemas falham porque alguns decisores só identificam no final do processo o que realmente precisa ser medido e avaliado em sua organização. Embora esse seja o caso desta pesquisa, o Sistema foi remodelado para atender ao contexto. Esse processo pode ser feito por membros externos à organização como consultores, ou ainda por membros internos, como gestores e colaboradores (Jwijati et al., 2022). Contudo, Matos et al. (2020) evidenciaram que esse estágio tem recebido pouca atenção da literatura, com poucas evidências práticas relatadas.

Dado o delineamento metodológico que segue a perspectiva construtivista, o uso da recursividade das etapas permitiu gerar aprendizagem suficiente para identificar que as informações constantes no protótipo do modelo não atendiam fielmente às necessidades organizacionais e expectativas do decisor, uma vez que, a cada etapa concluída, o decisor validava as informações geradas. No decorrer do uso do SAD, percebeu-se que as diferentes práticas de gestão dos portos com atuações variadas requerem uma padronização das práticas de gestão para aperfeiçoar a competitividade dos portos delegados, necessitando de um ajuste no modelo.

Ao dar início aos ajustes, por meio da revisão das métricas, o decisor foi questionado se a autoavaliação, de fato, refletiria os aspectos necessários para uniformizar os procedimentos realizados para a gestão integrada dos portos delegados. Houve, nesse processo, uma interação mais acentuada, considerando a necessidade de um novo delineamento do modelo, em vista da complexidade e da incerteza quanto à atuação da gestora frente à atividade portuária. Durante as interações, o decisor foi questionado pela especialista sobre a estratégia para construção e avaliação de desempenho, se não seria mais adequado um modelo para avaliar os portos em vez da holding, para constatar se os seus objetivos estavam alinhados aos objetivos dos portos e, assim, identificar como a holding poderia atuar nesse processo.

Os debates foram fundamentais para o realinhamento dos objetivos organizacionais. À medida que as interações avançavam, constatou-se que algumas modificações eram necessárias devido a mudanças na percepção do problema organizacional, resultantes de falhas no delineamento inicial da estratégia e ocasionados pela falta de conhecimento estabelecido a respeito de sua atuação. Mesmo que a autoavaliação seja um fator que deva ser avaliado, antes disso era necessário alinhar outras perspectivas. Como exposto por Kennerley e Neely (2002), à medida que as circunstâncias se alteram, os SADs precisam ser revistos para garantir o processo evolutivo.

Assim, o modelo passou por uma reestruturação, cujas alterações no entendimento do problema fizeram com que as métricas, inicialmente concebidas, não refletissem o objetivo organizacional da gestão portuária mais urgente. O problema que primeiramente precisava de mais atenção era com relação às práticas de gestão utilizadas para criar um ambiente em que a busca pela eficiência representa uma preocupação prioritária da holding e das subsidiárias. Alguns aspectos do modelo inicial foram mantidas, como abrangência de indicadores e alocação de recursos; as demais métricas foram reorganizadas e revisadas, resultando em novos pontos iniciais de preocupação, que foram agrupados em sete áreas de desempenho: Práticas de Gestão Estratégica; Práticas Administrativas; Identidade Organizacional; Comunicação; Tecnologia da Informação; Desenvolvimento de Pessoas; e Auditoria e Controle, ampliando o modelo para 26 métricas. O objetivo central do Sistema passou a focar no processo de uniformização das práticas de gestão tendo em vista que os portos delegados apresentavam práticas com diferentes desempenhos. Assim, o intuito do modelo atualizado passou a ser avaliar os portos delegados, identificando em quais métricas seu desempenho está satisfatório, verificar as práticas de gestão utilizadas e disseminá-las entre os demais portos.

De acordo com Busi e Bititci (2006), as pesquisas com viés construtivista têm como ponto forte a combinação do conhecimento existente, extraído de estudos anteriores, com a experiência da organização estudada, proporcionando uma compreensão mais abrangente do problema e suas implicações ao contexto. Nessa perspectiva, foi possível utilizar as informações produzidas pela mensuração do desempenho da holding para fazer mudanças positivas no Sistema e nos processos, auxiliando na definição das metas organizacionais e no compartilhamento de resultados.

5 CONSIDERAÇÕES FINAIS

A evolução das pesquisas no campo de Avaliação de Desempenho modificou a forma como vinham sendo tratados os SADs, que passaram de sistemas que apenas mensuram o desempenho para sistemas que utilizam as informações da mensuração do desempenho para orientar a tomada de decisão rumo aos objetivos estabelecidos. As modificações que ocorrem no contexto organizacional evidenciam a dinamicidade do mercado, o que torna importante o desenvolvimento de SADs que acompanham essas modificações. Por meio da revisão da literatura, verificou-se que faltam estudos empíricos que tratam de design, implementação, uso e revisão do SAD. Com isso, o Ciclo de Vida do SAD tem sido um desafio constante na literatura sobre AD, pois promove discussões a respeito da aprendizagem organizacional decorrentes da reflexão em torno das mudanças organizacionais. Em vista disso, esse estudo teve por objetivo descrever como ocorre o desenvolvimento dos estágios evolutivos de um Sistema de Avaliação de Desempenho no contexto portuário público brasileiro. Sua motivação é decorrente da existência de um problema corporativo, cuja organização necessitava de auxílio para compreensão do contexto de atuação, de modo que pudesse realizar a gestão portuária de forma efetiva e com governança.

Nessa proposta, foi desenvolvido e implementado um SAD para gestão portuária, bem como sua primeira versão foi posta em uso, por meio da mensuração do desempenho e de propostas de ações corretivas para aspectos cujo resultado não foi satisfatório. Não obstante, com base na identificação de falhas no delineamento do modelo, foi feita a revisão das métricas a fim de garantir sua aderência à organização. Assim, pode-se inferir que o processo de desenvolvimento de um SAD requer acompanhamento constante. É importante que haja acompanhamento do Sistema. À medida que os objetivos mudam ou que as metas traçadas são atingidas, o Sistema deve ser atualizado para que se mantenha relevante e tempestivo e possa evoluir por meio da reflexão dos processos realizados. Esse processo permite que o Sistema seja capaz de responder ao ambiente em que opera de forma apropriada e promova a aprendizagem organizacional.

Diante disso, o trabalho oferece evidências complementares ao campo de pesquisa, descrevendo como a aprendizagem organizacional pode ser vista, mesmo que de forma implícita, na etapa de revisão do Sistema. A adoção de uma metodologia que segue os pressupostos do construtivismo permitiu reconhecer a subjetividade do contexto, pois não há como ignorar aspectos como valores e cultura do decisor/organização. Nesse sentido, a pesquisa pôde contribuir para mais compreensão no entendimento do contexto, pela combinação de aspectos teóricos ao conhecimento prático, além de dispor à organização um modelo capaz de mensurar e subsidiar as atividades de gestão e a tomada de decisão. Resultados empíricos a respeito do Ciclo de Vida do SAD são exemplificados, e, haja vista a escassez de trabalhos dessa natureza, tem-se uma contribuição importante para a área de pesquisa. Salienta-se que a combinação dos aportes teóricos (Ciclo de Vida do SAD associado à metodologia MCDA-C) ao conhecimento advindo dos resultados empíricos ilustrado corrobora a área de pesquisa de AD sobre a validade do Ciclo de Vida do SAD e contribui para alavancar o desempenho da organização.

Para pesquisas futuras, sugere-se acompanhar o uso e demonstrar uma nova rodada de revisão do SAD da holding para que se verifique não somente falhas no delineamento estratégico, mas também a necessidade de inclusão e/ou exclusão de métricas devido a mudanças nas prioridades estratégicas da organização, que contribuam para a identificação de barreiras que comprometam o sucesso do Sistema. Como limitação, destaca-se principalmente o período de acompanhamento do Sistema, o qual também pode ser expandido por pesquisas futuras.

REFERÊNCIAS

Abdel-Halim, A. M. S., & Ahmed, M. N. (2021). Evaluating the usefulness of two proposed performance management frameworks: evidence from business practice. Journal of Accounting & Organizational Change, 18(3), 485-507. https://doi.org/10.1108/JAOC-01-2018-0009

Bana e Costa, C. A. & Vansnick, J. C. (1994). MACBETH – an interactive path towards the construction of cardinal value functions, International Transactions in Operational Research, 1(4), 489-500.

Bititci, U. S. (2015). Managing business performance: The science and the art. John Wiley & Sons.

Bititci, U., Garengo, P., Dörfler, V., & Nudurupati, S. (2012). Performance measurement: challenges for tomorrow. International Journal of Management Reviews, 14, 305-327. https://doi.org/10.1111/j.1468-2370.2011.00318.x

Bourne, M., Mills, J., Wilcox, M., Neely, A., & Platts, K. (2000). Designing, implementing and updating performance measurement systems. International Journal of Operations & Production Management, 20, 754-771. https://doi.org/10.1108/01443570010330739

Busi, M., & Bititci, U. S. (2006). Collaborative performance management: present gaps and future research. International Journal of Productivity and Performance Management, 55, 7-25. https://doi.org/10.1108/17410400610635471

Choong, K. (2013). Understanding the features of performance measurement system: a literature review. Measuring Business Excellence, 17(4), 102-121. https://doi.org/ 10.1108/MBE-05-2012-0031

Coelho, W. A., & Simão, L. E. (2021). Modelo para avaliação do nível de desempenho da infraestrutura portuária em portos e terminais com operação de carga conteinerizada reefer. Revista Eletrônica de Estratégia & Negócios, 14(1), 260-292.

Domínguez, E., Perez, B., Rubio, A. L., & Zapata, M. A. (2019). A taxonomy for key performance indicators management. Computer Standards & Interfaces, 64, 24-40. https://doi.org/10.1016/j.csi.2018.12.001

Ensslin, L., Montibeller Neto, G., & Noronha, S. M. (2001). Apoio à decisão: metodologias para estruturação de problemas e avaliação multicritério de alternativas. Florianópolis, Insular.

Ferreira, A., & Otley, D. (2009). The design and use of performance management systems: An extended framework for analysis. Management Accounting Research, 20, 263-282. https://doi.org/10.1016/j.mar.2009.07.003

Franco-Santos, M., Lucianetti, L., & Bourne, M. (2012). Contemporary performance measurement systems: A review of their consequences and a framework for research. Management Accounting Research, 23, 79-119. https://doi.org/10.1016/j.mar.2012.04.001

Holzer, M., Ballard, A., Kim, M., Peng, S., & Deat, F. (2019). Obstacles and opportunities for sustaining performance management systems. International Journal of Public Administration, 42, 132-143. https://doi.org/ 10.1080/01900692.2017.1405445

Jamkhaneh, H. B., & Ghadikolaei, A. H. S. (2022). Measuring the maturity of service supply chain process: a new framework. International Journal of Productivity and Performance Management, 71(1), 245-288.

Johnson, H. T., & Kaplan, R. S. (1987). The rise and fall of management accounting [2]. Strategic Finance, 68(7), 22.

Jwijati, I., Bititci, U. S., Caldwell, N., Garengo, P., & Dan, W. (2022). Impact of national culture on performance measurement systems in manufacturing firms. Production Planning & Control, 1-16.

Keeney, R.L. (1992). Value focused-thinking: a path to creative decision-making. Cambridge: Harvard Univ. Press.

Kennerley, M., & Neely, A. (2002). A framework of the factors affecting the evolution of performance measurement systems. International Journal of Operations & Production Management, 22, 1222-1245. https://doi.org/ 10.4236/jgis.2016.83034

Longaray, A. A., Ensslin, L., Dutra, A., Ensslin, S., Brasil, R., & Munhoz, P. (2019). Using MCDA-C to assess the organizational performance of industries operating at Brazilian maritime port terminals. Operations Research Perspectives, 6, 100-109. https://doi.org/ 10.1016/j.orp.2019.100109

Lucianetti, L., Battista, V., & Koufteros, X. (2019). Comprehensive performance measurement systems design and organizational effectiveness. International Journal of Operations & Production Management, 39(2), 326-356. https://doi.org/10.1108/IJOPM-07-2017-0412

Matos, L. D. S., Ensslin, S. R., & Ensslin, L. (2020). Análisis de los ciclos de vida de los sistemas de evaluación de desempeño: características, funciones y procesos. Cuadernos de Contabilidad, 21, 1. https://doi.org/10.11144/Javeriana.cc21.acvs

Melnyk, S. A., Bititci, U., Platts, K., Tobias, J., & Andersen, B. (2014). Is performance measurement and management fit for the future? Management Accounting Research, 25, 173-186. https://doi.org/10.1016/j.mar.2013.07.007

Melnyk, S. A., Stewart, D. M., & Swink, M. (2004). Metrics and performance measurement in operations management: dealing with the metrics maze. Journal of Operations Management, 22, 209-218. https://doi.org/:10.1016/j.jom.2004.01.004

Mura, M., Micheli, P., & Longo, M. (2021). The effects of performance measurement system uses on organizational ambidexterity and firm performance. International Journal of Operations & Production Management, 41(13), 127-151. https://doi.org/10.1108/IJOPM-02-2021-0101

Naslund, D., & Norrman, A. (2019). A performance measurement system for change initiatives: An action research study from design to evaluation. Business Process Management Journal, 25(7), 1647-1672.

Neely, A. (1999). The performance measurement revolution: why now and what next?. International journal of operations & production management, 19(2), 205-228. https://doi.org/ 10.1108/01443579910247437

Neely, A., Gregory, M., & Platts, K. (2005). Performance measurement system design: A literature review and research agenda. International Journal of Operations & Production Management, 25, 1228-1263. https://doi.org/ 10.1108/01443570510633639

Nudurupati, S. S., Bititci, U. S., Kumar, V., & Chan, F. T. (2011). State of the art literature review on performance measurement. Computers & Industrial Engineering, 60, 279-290. https://doi.otg/10.1016/j.cie.2010.11.010

Okwir, S., Nudurupati, S. S., Ginieis, M., & Angelis, J. (2018). Performance Measurement and Management Systems: A Perspective from Complexity Theory. International Journal of Management Reviews, 20, 731-754. https://doi.org/10.1111/ijmr.12184

Otley, D. (2001). Extending the boundaries of management accounting research: developing systems for performance management. The British Accounting Review, 33, 243-261. https://doi.org/10.1006/bare.2001.0168

Papulová, Z., Gažová, A., Šlenker, M., & Papula, J. (2021). Performance measurement system: Implementation process in smes. Sustainability, 13(9), 4794.

Pedersini, D. R., & Ensslin, S. R. (2020). Os estudos empíricos internacionais no Setor Público têm feito uso dos Sistemas de Avaliação de Desempenho em sua plenitude? Revista Eletrônica de Estratégia & Negócios, 13, 207-235. https://doi.org/10.19177/reen.v12e02019207-232

Pedersini, D. R., & Ensslin, S. R. (2022). Avaliação de Desempenho e Práticas de Gestão no Setor Portuário: uma Revisão da Literatura. Revista Economia & Gestão, 22(61), 64-83. https://doi.org/10.5752/P.1984-6606.2022v22n61p64-83

Pedersini, D., Matos, L. S., Ensslin, S. R., & Ensslin, L. (2021). Apoio à gestão das atividades portuárias de uma holding pública: uma abordagem construtivista de avaliação de desempenho para a SC Participações e parcerias SA‒SC PAR. Gestão e Sociedade, 15(42), 4257-4286. https://doi.org/10.21171/ges.v15i42.3545

Pfister, J. A., Peda, P., & Otley, D. (2023). A methodological framework for theoretical explanation in performance management and management control systems research. Qualitative Research in Accounting & Management, 20(2), 201-228. https://doi.org/10.1108/QRAM-10-2021-0193

Rezaei, J., van Wulfften Palthe, L., Tavasszy, L., Wiegmans, B., & van der Laan, F. (2018). Port performance measurement in the context of port choice: an MCDA approach. Management Decision, 57(2), 396-417.

Rodrigues, K. T., Welter, L. M., Longaray, A. A., & Ensslin, S. R. (2020). Modelo multicritério para apoiar a certificação da qualidade nos portos catarinenses. Revista Eletrônica de Estratégia & Negócios, 13, 52-83. https://doi.org/10.19177/reen.v13e0II202052-83

Sampieri, C., & Collado, C. F. (2013). Metodología de la Investigación, 4.

Sousa, E. F. D., Kliemann Neto, F. J., Andriotti, R. F., & Campagnolo, R. R. (2020). Avaliação dos portos públicos brasileiros: Gestão baseada em valor. BBR. Brazilian Business Review, 17, 439-457.

Stevens, S. S. (1946). On the theory of scales of measurement. Science, New Series, 103(2684), 677-680.

Yigitbasioglu, O. M., & Velcu, O. (2012). A review of dashboards in performance management: Implications for design and research. International Journal of Accounting Information Systems, 13(1), 41-59. https://doi.org/10.1016/j.accinf.2011.08.002.