Os indicadores são definidos como formas de representação quantificáveis das características de produtos e processos (Takashina & Flores, 1997). Veras (2016, p. 62) complementa afirmando que “[...] são dados numéricos aos quais se atribuem metas e cuja tradução periódica é submetida à atenção dos gestores de uma organização”. Na gestão de projetos, segundo Terribili Filho (2013) os indicadores mostram como está o andamento do projeto diante das metas definidas na fase de planejamento. Indicadores de projeto podem ser definidos como mecanismos que possibilitam avaliar o avanço do projeto sob a ótica de uma ou mais dimensões preestabelecidas. É possível avaliar o projeto em várias etapas de sua progressão, entretanto a última análise é a mais relevante, visto que representa a situação atual ou mais realista do projeto (Vargas Neto & Patah, 2014).

Segundo Senna, Noro, Lima Júnior e Souza (2016), definir indicadores é o maior desafio quando se trata de medidas de desempenho, uma vez que as medições devem ser feitas mediante de um sistema equilibrado e dinâmico capaz de reunir informações relevantes para a tomada de decisão. Na literatura, não há uma padronização dos indicadores (Bitencourt, Garcez, & Cardoso, 2015; Borges & Carvalho, 2011). A utilização de muitos indicadores pode comprometer o gerenciamento; por isso que a maior parte das empresas utiliza entre quinze e 25 indicadores para mensurar os resultados de curto prazo e os de longo prazo (Basso & Pace, 2003; Kaplan & Norton, 1997; Luu, Kim, & Huynh, 2008).

A qualidade de um indicador de desempenho pode ser definida por meio de algumas características (Kerzner, 2015; Skibniewski & Ghosh, 2009). Um bom indicador deve englobar características importantes para avaliar o avanço do projeto. As características mais utilizadas para mensurar a qualidade dos indicadores, segundo Kerzner (2015), são as da regra “SMART”, que afirma que um bom indicador é específico (Specific), mensurável (Measurable), atingível (Achievable), realista ou relevante (Relevant) e possui tempo definido (Time-bound). No entanto, as críticas atribuídas à regra SMART, têm gerado questionamentos ao seu uso. Essas críticas referemse ao fato de a SMART não indicar a ação necessária, quando sua tendência é desfavorável, por isso, a literatura tem recomendado o uso das características propostas por Eckerson (2006), por sua sofisticação (Kerzner, 2015). O Quadro 1 apresenta e descreve as 12 características propostas por Eckerson (2006).

Quadro 1
Características de indicadores eficazes

Adaptado de Eckerson (2006, p. 201)

Os projetos normalmente medem seu desempenho ao final utilizando indicadores que atribuem ênfase a uma comparação entre o planejado e o realizado em termos de prazo e custo (Haponava & Al‐Jibouri, 2010; Sohail & Baldwin, 2004), sendo que os aspectos financeiros são predominantes (Patah & Carvalho, 2012; Barboza Filho et al. 2009). A literatura, no entanto, alerta que não é suficiente comparar o planejado com o realizado; é necessário, pois, observar em uma perspectiva a longo prazo e alinhada às estratégias da organização (Bitencourt et al., 2015; Carvalho, 2011; Carvalho, Laurindo, & Pessôa, 2003; Kerzner, 2013; Rad & Levin, 2002; Veras, 2016). Kerzner (2006) esclarece que indicadores-chave de desempenho, ou Key Performance Indicators (KPIs), medem a qualidade do processo para alcançar os resultados finais, avaliados por meio de critérios de sucesso previamente definidos. Ademais, Kerzner (2013) salienta que os KPIs são métricas-chave para a avaliação desse sucesso (Borges & Carvalho, 2011).

O desempenho de um projeto era medido, inicialmente, pelo atendimento ao triângulo de ferro (tempo, custos e qualidade), mas, desde os anos 80, existe um consenso que esses indicadores não são suficientes para abranger todas as particularidades de cada projeto (Angus, Flett, & Bowers, 2005; Bitencourt et al., 2015; Borges & Carvalho, 2011; Carvalho et al., 2003; Kerzner, 2015). O trabalho de Haponava e Al‐Jibouri (2010) acrescenta outros indicadores, tais como: gestão das partes interessadas internas e externas, gestão da comunicação, satisfação do patrocinador, avaliação de riscos no gerenciamento do desempenho de projetos. Consequentemente, as áreas abrangidas pela gestão do desempenho devem ser as mais completas possíveis. O Project Management Body of Knowledge propõe dez áreas de conhecimento e gestão para descrever o projeto: Integração, Escopo, Tempo, Custo, Qualidade, Recursos Humanos, Comunicação, Riscos, Compras e Partes Interessadas (PMI, 2013). Nesse sentido, é necessário que os gestores desenvolvam um conjunto de Project Management Indicators (PMI) ou indicadores de gerenciamento de projetos, que abranja as particularidades de cada projeto (Angus et al., 2005, Toor & Ogunlana, 2010).

Uma vez que as medidas tradicionais do triângulo de ferro não são mais suficientes para a medição de desempenho, era necessário desenvolver sistemas que permitissem o alinhamento entre os indicadores e a estratégia da organização (Bitencourt et al., 2015; Kerzner, 2015; Lauras, Marques, & Gourc, 2010). A medição do desempenho vincula a estratégia à ação, motiva funcionários, dá suporte ao orçamento e controle, permite benchmarking, etc. (Haji-Kazemi & Andersen, 2013; Krezner, 2015; Skibniewski & Ghosh, 2009). Ademais, o sucesso de um projeto depende dos critérios utilizados para a medição do seu desempenho que variam de projeto para projeto e de acordo com a percepção de cada stakeholder (Toor & Ogunlana, 2008; Turner & Zolin, 2012).

A partir de 1990, surgem diversos sistemas de indicadores de desempenho e o Balanced Scorecard (BSC) proposto no trabalho de Kaplan e Norton (1997), sobressai entre os sistemas porque, além da questão financeira, também considera os indicadores de atendimento das necessidades dos clientes, de eficiência de processos internos e de potencial de aprendizado e crescimento da organização (Kaplan & Norton, 2001). O BSC desenvolve um mapa para vincular o desempenho dos projetos às estratégias de negócios (Huang, Lee & Kao, 2006; Kaplan e Norton, 2004). Dessa forma, o gerenciamento de projetos deve criar critérios de desempenho, estratégia de comunicação e gerenciamento de atividades; por isso, a adoção do BSC tornou-se uma importante tendência nas organizações (Basso & Pace, 2003; Huang et al., 2006; Kerzner, 2013; Veras, 2016).

Os trabalhos de Niebecker, Eager e Kubitza (2008), Chang et al. (2007) e Huang et al. (2006) utilizaram o BSC para o processo de desenvolvimento dos indicadores-chave de desempenho com base na estratégia. Importa destacar que é, por meio dos indicadores, que a organização conseguirá verificar se está no rumo de seu planejamento estratégico, tendo condições de identificar e corrigir distorções (Shenhar, 2004). Existem indicadores em diversos níveis numa organização tais como: indicadores estratégicos, gerenciais e operacionais, logo, é imprescindível que eles estejam alinhados (Latorre, Roberts & Riley, 2010; Veras, 2016). O artigo de Latorre et al. (2010), na área da Construção Civil no Reino Unido, destaca essa importância ao desenvolver um modelo de hierarquia de indicadores-chave de desempenho (KPI) em dois níveis que apresenta indicadores para o nível mais baixo que é o de projetos que vai dar suporte aos indicadores ao nível mais alto denominado nível da empresa. Os KPIs de projeto são aqueles utilizados diretamente pelo gerente do projeto, enquanto os KPIs corporativos dizem respeito à empresa como um todo.

Para o processo de definição de indicadores de projetos, além do BSC, alguns autores utilizaram o método Delphi. Esse método consiste em uma série de questionários estruturados, aplicados a um grupo de especialistas de forma intensiva e intercalada, em diversos rounds. As respostas das questões são tabuladas, recebendo um tratamento estatístico, e os resultados são devolvidos aos participantes para que reavaliem suas respostas, comparando-as com as respostas de todo o grupo (Yeung et al., 2009). O objetivo é organizar opiniões e respostas do painel de especialistas em uma área específica, sendo muito utilizada como ferramenta agregadora de julgamentos individuais (Manoliadis, Tsolas & Nakou, 2006).

O primeiro passo da RSL consistiu em mapear os estudos sobre indicadores de desempenho em projetos na literatura. Para tanto, foi realizada uma busca nas bases Science Direct, Scopus e WOS no dia 26 de maio de 2017. Os termos-chave utilizados na busca nas três bases foram “Project Management” e “Performance Indicators” com o operador booleano “AND”, que deveriam ser citados no título, resumo e/ou palavras-chave do artigo para que ele fosse considerado. Os filtros utilizados na busca foram o local de publicação (apenas publicações de periódicos científicos) e o idioma (apenas inglês e português). Não houve restrição quanto ao ano da publicação e área de conhecimento do artigo, já que um projeto pode ser desenvolvido em diversas áreas. Dessa forma, foram mapeados 213 artigos, sendo 48 na WOS, 142 na base da Scopus, e 23 na Science Direct.

Após o mapeamento, foram analisados os resumos dos artigos para identificar os que tratavam do tema desejado, conforme estabelece o Shamseer et. al. (2015). Nessa fase, foram excluídos os artigos que, em seu resumo, não tratassem de indicadores de desempenho em gestão de projetos. Para alinhar a análise, os quatro pesquisadores analisaram os 48 artigos da base WOS. Após análise, foram discutidos os artigos em que havia dúvida quanto à aceitação ou exclusão. Como resultado, dos 48 artigos iniciais, foram aceitos quinze. Dos 165 artigos restantes (142 da Scopus e 23 da Science Direct), 34 foram excluídos pois eram repetidos nas bases (duplicidade). Os 131 artigos restantes tiveram seus resumos analisados por duplas, sendo destes, 48 aceitos. Essa segunda fase teve, assim, um total de 63 artigos aceitos (15 + 48).

Na terceira fase do processo de seleção, procedeu-se à leitura completa dos 63 artigos aceitos para identificar se eles continham as informações desejadas. Para orientar essa análise, foi definido um protocolo de análise, conforme Shamseer et. al. (2015). Nesse protocolo, foi estabelecido que o artigo deveria conter as seguintes características: (1) investigar um projeto real; (2) apresentar o setor de atuação da empresa do projeto; (3) identificar os indicadores definidos para o projeto e; (4) descrever o passo-a-passo realizado para definir esses indicadores. Artigos que não abordassem essas informações, foram descartados. Três pesquisadores analisaram dezesseis artigos/cada e um pesquisador analisou quinze. Dos 63 artigos, quinze contemplaram as características desejadas; por isso, foram selecionados para a fase de análise de contéudo.

Os quinze artigos selecionados na RSL foram analisados por análise de conteúdo em três ciclos de codificação, conforme Saldaña (2013). No primeiro ciclo, a codificação ocorreu de acordo com o protocolo de análise (citado anteriormente), de forma que foram codificados os trechos que abordavam os seguintes temas: (1) objetivo da pesquisa, (2) setor de atuação da empresa do projeto, (3) indicadores de desempenho definidos para o projeto, (4) procedimentos realizados para definir tais indicadores (a ordem dos procedimentos foi registrada por meio de numeração, ex.: “(1) mapeou indicadores na literatura”), (5) orientações da literatura que foram seguidas durante o processo de definição, (6) dificuldades identificadas no processo e (7) se relacionava os indicadores com o sucesso do projeto. Ao final do primeiro ciclo, foram gerados 183 códigos.

No segundo ciclo de codificação, os 183 códigos foram submetidos à codificação axial, que visa agrupar códigos com a mesma ideia e rotulá-los de forma mais precisa (Saldaña, 2013). Após essa fase de refinamento, resultaram 68 códigos. No terceiro ciclo, foram excluídos os códigos que não estavam diretamente relacionados ao objetivo da pesquisa, de forma que restaram 21 códigos que descreviam os procedimentos realizados para definir os indicadores. Ainda no terceiro ciclo, os 21 códigos foram agrupados em categorias (categorização). Para identificar as categorias, foi analisada a similaridade entre os procedimentos descritos. Por exemplo, verificou-se que, em comum, cinco estudos citavam a análise de documentos e/ ou informações relacionadas à estratégia da organização; assim, foi criada a categoria “analisar informações estratégicas”. No total, foram identificadas cinco categorias – que foram chamadas de “atividades” no processo proposto.

Em uma das categorias criadas (“adotar estratégias para selecionar os indicadores mapeados”) foi necessário criar quatro supercódigos (chamadas de subatividades no processo proposto) para diferenciar melhor as estratégias citadas (códigos criados) e intermediar a relação entre a categoria e os códigos. O Quadro 2 lista os 21 códigos, quatro supercódigos e cinco categorias criados nos três ciclos de codificação e apresenta as suas relações.

Quadro 2
Lista dos códigos, supercódigos e categorias criados nos ciclos de codificação

Elaborado pelos autores

Após os ciclos de codificação, foi estabelecida a ordem de execução das cinco categorias/ atividades, visando concluir o “desenho” do processo proposto na pesquisa. Para estabelecer a ordem das atividades no processo, foram identificadas, inicialmente, as ordens descritas em cada uma das quinze pesquisas selecionadas na revisão; em seguida, foram comparadas tais ordens, buscando identificar a ordem mais frequente das atividades.

Por fim, destaca-se que todo o processo de análise descrito foi realizado, conjuntamente, por dois pesquisadores. Optou-se por esse processo para conferir confiabilidade aos resultados, já que diferenças entre as percepções eram percebidas e analisadas. Foi utilizado, ainda, durante todo o processo de codificação, o software Atlas.TI® 7 permitindo, assim, o compartilhamento dos dados entre os pesquisadores.

Por meio da revisão sistemática, foram identificados quinze artigos científicos que descrevem o passo-a-passo realizado para definir indicadores de desempenho de projetos reais. O período de publicação desses quinze artigos variou no período de 2004 e 2016. O Quadro 3, a seguir, apresenta as características dos estudos: autores, ano, setor de atuação e áreas do PMI monitoradas.

Quadro 3
Caracterização dos artigos

Elaborado pelos autores

Conforme o Quadro 3, a maioria dos artigos identificados foi desenvolvida no setor de Construção Civil (sete estudos) e na área de Pesquisa e Desenvolvimento (P&D) (3). Ademais, foram encontrados artigos sobre o tema nos setores de desenvolvimento de sistemas de segurança e informação (1), automotivo (1), fornecimento de equipamentos aeronáuticos (1), indústria de óleo e gás (1) e projetos em geral (1).

Devido à diversidade de indicadores apresentados nos artigos, estes foram classificados nas nove áreas apresentadas no PMI (2013) – aquisições, custo, escopo, integração, partes interessadas, qualidade, recursos de comunicação, recursos humanos, risco e tempo. A maioria dos artigos teve seus indicadores classificados nas áreas de custo (quatorze artigos), qualidade (treze artigos) e tempo (dez artigos).

A análise dos dados evidenciou que os indicadores de desempenho de projetos são definidos em um processo composto por cinco atividades, executadas, majoritariamente, na seguinte ordem: (1) analisar informações estratégicas, (2) mapear os possíveis indicadores do projeto, (3) adotar estratégias de seleção dos indicadores mapeados, (4) filtrar indicadores selecionados e (5) validar os indicadores filtrados (ver Quadro 4). A ordem das atividades foi estabelecida pela análise da similaridade entre as ordens descritas pelos artigos. Entretanto, considera-se que essa ordem pode ser modificada pelas equipes de projetos, de acordo com a dinâmica dos processos – ao longo do projeto, os gestores podem mudar a ordem ou repetir as atividades.

Quadro 4
Atividades do processo de definição de indicadores

Elaborado pelos autores

A primeira atividade do processo, intitulada “analisar informações estratégicas”, é citada em cinco artigos, dos quinze selecionados na revisão (Cha e Kim, 2011; Chang et al., 2007; Haji-Kazemi & Andersen, 2013; Kulatunga et al., 2011; Niebecker et al., 2008). Nas citações categorizadas nessa atividade, os artigos evidenciam que as equipes dos projetos analisaram informações estratégicas da organização e/ ou do projeto, a fim de compreender o contexto e direcionar o processo de definição dos indicadores de forma estratégica. O artigo de Chang et al. (2007, p. 118), por exemplo, afirma que “a análise estratégica deve ser tratada na primeira etapa, em qualquer consideração de cultura organizacional e características das indústrias”. A execução dessa atividade está de acordo com o sugerido na literatura, destacando a necessidade de examinar em uma perspectiva a longo prazo e alinhada às estratégias da organização (Bitencourt et al., 2015; Carvalho, 2011; Carvalho et al., 2003; Kerzner, 2013; Rad & Levin, 2002; Veras, 2016).

Entre as citações categorizadas na primeira atividade, foram identificadas quatro dimensões de análise estratégica: estratégia das organizações (Chang et al., 2007; Niebecker et al., 2008), escopo do projeto (Cha & Kim, 2011; Haji-Kazemi & Andersen, 2013), fatores críticos de sucesso do setor (Kulatunga et al., 2011) e fases do ciclo de vida do projeto (Kulatunga et al., 2011). Para analisar a estratégia das organizações, os trabalhos de Chang et al. (2007) e Niebecker et al. (2008) utilizaram o BSC. Para analisar o escopo do projeto, Haji-Kazemi e Andersen (2013) afirmam que foi utilizada a técnica de brainstorming e entrevistas com gestores, enquanto Cha e Kim (2011) afirmam que estabeleceram, de forma clara, as áreas e objetivos de um projeto. Para analisar os fatores críticos de sucesso do setor e o ciclo de vida dos projetos, Kulatunga et al. (2011) realizaram entrevistas com gestores e uma revisão da literatura científica, que deram apoio à definição de indicadores. A literatura de projetos prevê o uso do BSC, fatores críticos de sucesso e a análise do ciclo de vida para o planejamento de projetos (Basso & Pace, 2003; Bitencourt et al., 2015; Carvalho, 2011; Huang et al., 2006; Kerzner, 2013; Veras, 2016).

A segunda atividade do processo, intitulada “mapear os possíveis indicadores do projeto”, é citada em dez artigos, dos quinze selecionados (Cha & Kim, 2011; Haponava & Al-Jibouri, 2010; Huang et al. 2006; Luu et al., 2008; Montero et al., 2015; Sohail & Baldwin, 2004; Souza & Schmitz, 2016; Toor & Ogunlana, 2010; Yeung et al., 2007; Yeung et al., 2009). Nas citações categorizadas nessa atividade, os artigos evidenciam que as equipes dos projetos mapearam possíveis indicadores para os seus projetos, em diferentes fontes. Na literatura de gestão de projetos, não foram identificadas citações diretas ao mapeamento de indicadores. Kerzner (2013), por exemplo, aborda, indiretamente, o mapeamento ao sugerir a realização de benchmarking, que é uma prática que mapeia os indicadores utilizados em projetos similares no setor e a melhor forma de utilizá-los; o autor, porém, não discute o mapeamento, em si, e outras fontes.

Entre as citações categorizadas na segunda atividade, foram identificadas três fontes para mapear possíveis indicadores para o projeto: literatura científica, sugestões de indicadores dadas por especialistas e indicadores, disponíveis na organização. A fonte mais citada foi a literatura científica (citada nos dez artigos), na qual a equipe busca trabalhos acerca do tema do projeto para auxiliar na definição dos indicadores. Segundo Huang et al. (2006, p. 245), pesquisas sobre o mesmo tema do projeto aplicado “contêm achados preciosos que podem ser traduzidos como indicadores”. A segunda fonte mais citada nas pesquisas foram as sugestões de indicadores fornecidas por especialistas, mencionada em cinco artigos (Cha & Kim, 2011; Sohail & Baldwin, 2004; Souza & Schmitz, 2016; Toor & Ogunlana, 2010; Yeung et al., 2009). Entre estes artigos, apenas o estudo de Toor e Ogunlana (2010) citou pesquisadores como especialistas consultados para definição de indicadores, os outros quatro artigos realizaram entrevistas e questionários com gestores e profissionais da área. Por fim, apenas Souza e Schmitz (2016) relataram consultar os indicadores disponíveis na organização por análise documental de projetos anteriores.

A terceira atividade do processo, intitulada “adotar estratégias de seleção dos indicadores mapeados”, é citada por nove artigos (Chang et al., 2007; Haponava & Al-Jibouri, 2010; Huang et al., 2006; Kulatunga et al., 2011; Lauras et al., 2010; Niebecker et al., 2008; Sohail & Baldwin, 2004; Yeung et al., 2007; Yeung et al., 2009). Nas citações dessa atividade, os artigos evidenciam que as equipes de projetos definem e aplicam estratégias para selecionar, entre os indicadores mapeados, os indicadores que estavam alinhados com os interesses do projeto. A atividade está em consonância com a literatura, que afirma que os indicadores devem ser selecionados conforme as particularidades da organização e do projeto, de forma que não existe um padrão válido para todos os projetos (Angus et al., 2005; Bitencourt et al., 2015; Borges & Carvalho, 2011; Carvalho et al., 2003; Kerzner, 2015).

Entre as citações categorizadas na terceira atividade, foram identificadas quatro estratégias de seleção de indicadores: análise das tarefas do projeto (Haponava & Al-Jibouri, 2010; Kulatunga et al., 2011; Lauras et al., 2010; Sohail & Baldwin, 2004), análise dos objetivos estratégicos (Chang et al., 2007; Huang et al., 2006; Niebecker et al., 2008), análise dos fatores críticos de sucesso (Kulatunga et al., 2011) e método Delphi (Yeung et al., 2007; Yeung et al., 2009). Os trabalhos que citam a análise das tarefas do projeto desenvolveram as seguintes atividades para selecionar os indicadores: análise dos documentos do projeto (Sohail & Baldwin, 2004), definição de eficiência, eficácia e relevância para cada área do PMI (Lauras et al., 2010), distribuição de indicadores nas fases do ciclo de vida (Kulatunga et al., 2011), escolha das áreas do PMI monitoradas (Lauras et al., 2010), identificação das tarefas mais importantes (Haponava & Al-Jibouri, 2010), identificação dos indicadores de cada tarefa (Haponava & Al-Jibouri, 2010) e quebra do projeto em tarefas (Haponava & Al-Jibouri, 2010; Lauras et al., 2010).

Os trabalhos que citam a análise dos objetivos estratégicos (Chang et al., 2007; Huang et al., 2006; Niebecker et al., 2008) selecionaram seus indicadores de acordo com os objetivos estratégicos da organização, e tiveram, em comum, a adoção da ferramenta BSC para auxílio dessa tarefa. Já, Yeung et al. (2007) e Yeung et al. (2009) citam a adoção do método Delphi para seleção de indicadores. Esse método auxiliou na seleção de indicadores, possibilitando, assim, a realização de várias rodadas de questionários e entrevistas com perguntas sobre indicadores, respondidas por especialistas na área do projeto (Yeung et al., 2007, Yeung et al., 2009). As quatro estratégias de seleção identificadas são previstas pela literatura de gestão de projetos (Krezner, 2013; Rad & Levin, 2002; Veras, 2016).

A quarta atividade do processo, intitulada “Filtrar os indicadores selecionados”, é citada em oito artigos (Cha & Kim, 2011; Haji-Kazemi & Andersen, 2013; Kulatunga et al., 2011; Luu et al., 2008; Souza & Schmitz, 2016; Toor & Ogunlana, 2010; Yeung et al., 2007; Yeung et al., 2009). Nas citações categorizadas nessa atividade, os artigos evidenciam que as equipes de projetos filtram os indicadores selecionados, buscando atingir um número de indicadores que seja gerenciável satisfatoriamente. A atividade está de acordo com a literatura, que evidencia a importância de definir um número de métricas adequado para o projeto, conforme exemplifica o seguinte trecho sobre os problemas que podem surgir com a definição de muitos indicadores: “com muitas métricas: o gerenciamento das métricas pode roubar tempo de outros trabalhos; terminar fornecendo muitas informações às partes interessadas de forma que elas não podem determinar qual informação é crítica” (Kerzner, 2015, p. 82, tradução nossa).

Entre as citações categorizadas na quarta atividade, foram identificadas duas dimensões de análise para filtrar os indicadores: representatividade (Cha & Kim, 2011; Haji-Kazemi & Andersen, 2013; Luu et al., 2008; Souza & Schmitz, 2016; Toor & Ogunlana, 2010; Yeung et al., 2007; Yeung et al., 2009) e/ ou a mensurabilidade (Cha & Kim, 2011; Haji-Kazemi & Andersen, 2013; Kulatunga et al., 2011). Na representatividade, os artigos avaliam a percepção das partes interessadas dos projetos sobre a importância dos indicadores selecionados, solicitando às partes que atribuam notas ou pesos ou qualidades aos indicadores, ordenem por nível de prioridade ou importância etc. Já na mensurabilidade, os artigos avaliam a facilidade de mensurar os indicadores, considerando os recursos disponíveis.

Por fim, a quinta atividade do processo, intitulada “validar os indicadores selecionados”, é citada em nove artigos (Cha & Kim, 2011; Haponava & Al-Jibouri, 2010; Huang et al., 2006; Luu et al., 2008; Montero et al., 2015; Niebecker et al., 2008; Sohail & Baldwin, 2004; Toor & Ogunlana, 2010; Yeung et al., 2007; Yeung et al., 2009). Nas citações dessa atividade, os artigos evidenciam que as equipes de projetos validam, com as partes interessadas, a lista dos indicadores selecionados. Assim, os interessados podem reavaliar os indicadores selecionados, e apontar aqueles considerados realmente relevantes para o projeto (Montero et al., 2015). A atividade está de acordo com a literatura, que evidencia a importância da aprovação dos indicadores do projeto pelas partes interessadas, conforme exemplifica o seguinte trecho: “conseguir que as partes interessadas concordem com as métricas é difícil, mas isso deve ser feito o mais cedo possível no projeto” (Kerzner, 2013, p. 85, tradução nossa).

Entre as citações categorizadas na quinta atividade, foram identificadas três técnicas para validar a lista de indicadores: entrevista, questionários e matriz estratégica do projeto. Nove artigos realizaram a validação por meio de entrevistas ou questionários com especialistas (Cha & Kim, 2011; Haponava & Al-Jibouri, 2010; Huang et al., 2006; Luu et al., 2008; Montero et al., 2015; Niebecker et al., 2008; Sohail & Baldwin, 2004; Toor & Ogunlana, 2010; Yeung et al., 2007; Yeung et al., 2009). E apenas o artigo de Niebecker et al. (2008) realizou a validação dos indicadores com matriz estratégica do projeto, advinda da ferramenta BSC.

Os resultados apresentados são resumidos e constam no Quadro 5. Vale destacar que nenhum dos quinze artigos analisados realizou as cinco atividades para definir os indicadores de projetos. No geral, a quantidade de atividades desenvolvidas pelos artigos variou entre uma e quatro atividades, sendo que a maioria dos artigos analisados (sete artigos) realizou três. Essa diferença entre as quantidades de atividades está de acordo com a literatura, sinalizando que não há uma padronização entre os processos de definição de indicadores (Angus et al., 2005; Bitencourt et al., 2015; Borges & Carvalho, 2011; Carvalho et al., 2003; Kerzner, 2015). O resultado indica uma possível falha nos processos, que deveriam considerar mais informações.

Quadro 5
Síntese dos resultados

Elaborado pelos autores

Conforme o Quadro 5, as atividades desenvolvidas, com mais frequência, para definir os indicadores de projetos foram “mapear os possíveis indicadores projeto” e “validar os indicadores selecionados”, por dez (66,7%) artigos cada. Por outro lado, a atividade menos realizada foi “analisar informações estratégicas”. O fato de a atividade, desenvolvida com menos frequência, ser aquela que analisa informações estratégicas indica uma falha nos processos de definição dos indicadores, visto que a literatura aponta que essa é uma atividade fundamental do processo (Barboza Filho et al., 2009; Carvalho et al., 2003; Patah & Carvalho, 2012; Senna et al., 2016). Patah e Carvalho (2012, p. 186), por exemplo, comentam sobre a fase de análise de informações estratégicas: “para ter um valor real, medidas de performance devem ser cuidadosamente alinhadas com objetivos organizacionais claros, tais como eficiência, produtividade ou previsibilidade”.