1. INTRODUÇÃO

A aquisição de serviços de Tecnologia de Informação (TI) no setor público é regulamentada por normas, tais como a Lei de Licitações n° 8666/93 (BRASIL, 1993) e a Instrução Normativa (IN) n° 04/2014 (SLTI, 2014). A primeira estabelece normas gerais sobre contratos administrativos e a segunda disciplina o processo de contratação de soluções de TI para a Administração Pública Federal. Apesar da existência de normas governamentais que abrangem o processo da terceirização da tecnologia da informação (TTI), o Tribunal de Contas da União apurou que 50% do desenvolvimento de sistemas de informação nas instituições públicas federais é realizado por meio de terceirizações, e a maioria das instituições analisadas não conseguiu atingir as metas planejadas (TCU, 2014; TCU, 2016). Parte desse problema pode estar na execução de iniciativas de TI. Isto porque, para Laia et al. (2011), as organizações da administração pública no Brasil adotam com mais frequência uma visão normativa do processo e não há regras ou mecanismos para execução de iniciativas de TI de forma coesa e harmoniosa.

Por outro lado, no processo de cumprimento dos requisitos da IN 04/2014, podem ocorrer problemas de não conformidade. Esta norma se divide em três etapas – planejar contratação, selecionar fornecedor e gerir contrato – e seus requisitos se relacionam aos princípios básicos da administração, tais como eficiência, legalidade e governança. Segundo Barboza, Silva e Souza (2016), os documentos produzidos no processo devem estar em conformidade legal, de acordo com o Plano Estratégico Institucional e de acordo com o Plano Diretor de Tecnologia da Informação. Essa dificuldade levou esses autores a desenvolverem uma ferramenta de software de suporte à elaboração de documentos para atender aos requisitos previstos na IN 04/2014.

Existem evidências de que as organizações não têm obtido os benefícios previstos pela TTI. Mcivor (2000) constatou que apenas 5% das organizações pesquisadas alcançaram altos níveis de benefícios com a TTI. Cullen, Willcocks e Intelligent (2003) destacam algumas razões para isso. Segundo esses autores, o processo de contratação de serviços de TI, especialmente aqueles relacionados a software, envolve ações complexas, principalmente no que diz respeito à caracterização dos requisitos e às condições envolvidas na contratação, tais como qualidade esperada, forma de aceitação, gestão de mudanças, artefatos esperados, entre outros. Como consequência, esse ambiente apresenta riscos para as partes envolvidas e é comum a ocorrência de conflitos na relação entre fornecedores e adquirentes de software. Wirick (2011) acrescenta a essa realidade as condições específicas do setor público, destacando que a complexidade dos projetos deste setor é maior que do setor privado. Entre as diferenças estão os problemas de sobreposição de supervisão e a necessidade de coordenar esforços para atender a vários stakeholders nos diversos níveis da administração. Estas características resultam em objetivos múltiplos nos projetos da administração pública, alguns deles ambíguos e contraditórios, o que torna os processos ainda mais complexos.

Uma forma de auxiliar o complexo processo de implantação de projetos de TI em órgãos públicos é identificando os fatores que propiciam o seu sucesso. Assim, identificar os fatores críticos de sucesso (FCS) da TTI em organizações públicas auxilia os gestores e os agentes públicos na implantação da TI por meio do uso mais eficiente dos recursos públicos.

Identificar FCS é uma abordagem ao problema de melhoria na eficácia dos processos de TTI no setor público. FCS é um termo usado no campo da administração para se referir a um elemento necessário para que uma organização cumpra sua missão (Rockart, 1979). A literatura apresenta trabalhos relacionados a essa questão. Uma pesquisa na base de dados da Scopus (www.scopus.com), nos últimos cinco anos, apresentou 112 artigos publicados em periódicos indexados, relacionados a fatores de sucesso na área de TI em órgãos públicos. Entre esses artigos, 13 tratavam especificamente de FCS. A maioria deles relacionados à área de saúde pública, abordando FCS para sistemas de informação de saúde (Handayani et al., 2014), FCS em arquitetura orientada a serviços na área de saúde (Koumaditis & Themistocleous, 2015), ou mesmo recomendando o uso de FCS no planejamento de sistemas de informação para a área de saúde e assistência social (Scott, 2015).

Há também trabalhos que tratam especificamente sobre FCS na TTI em órgãos públicos (Ghazali & Bin Hasan, 2018). Esses autores destacam que os trabalhos na literatura científica têm tratado mais os FCS no setor privado do que no público. A pesquisa deles buscou determinar os FCS e compreender seus benefícios. De forma semelhante, Prado e Anastácio (2015) determinaram os FCS na integração de sistemas legados, analisando uma instituição pública federal no Brasil. Os autores identificaram e analisaram quatro dimensões críticas de sucesso no ambiente da instituição pública, porém voltados para o contexto específico de sistemas legados.

Além da importância destacada dos FCS para o gestor público, os trabalhos publicados em bases de dados científicas mostram a relevância do estudo dos FCS no setor público para a literatura científica. Porém, pelo exposto, verificou-se que há poucos trabalhos voltados para o setor público municipal brasileiro. Com base nessa realidade, esta pesquisa busca responder à seguinte questão de pesquisa: quais são os FCS da TTI em órgãos públicos municipais brasileiros? A partir dessa questão, foi definido como objetivo geral da pesquisa identificar e analisar os FCS da TTI em um órgão público municipal brasileiro. Este objetivo geral foi atingido pela consecução dos seguintes objetivos específicos: (1) descrever os principais fatores de sucesso da TTI elencados na literatura; (2) identificar, por meio de pesquisa junto a especialistas, quais fatores de sucesso descritos na literatura são críticos no processo de TTI no setor público municipal brasileiro; e (3) analisar os FCS identificados nesta pesquisa com base na literatura sobre o tema.

2. FUNDAMENTAÇÃO TEÓRICA

2.1. CONCEITOS BÁSICOS E CARACTERÍSTICAS DA TTI

A terceirização pode ser caracterizada sobre vários aspectos. A seguir, são apresentadas as características da TTI relacionadas a esta pesquisa.

(1) Conceito de Terceirização. Existem várias definições de terceirização presentes na literatura. Cada uma delas ressalta aspectos importantes para um determinado contexto: (1) as atividades terceirizadas são focadas principalmente nas atividades meio das organizações, mas não restritas somente a elas (Lacity & Wilcocks, 2008); (2) a terceirização envolve um ou mais fornecedores (Prado et al., 2009); (3) a terceirização pode abranger parte ou todas as atividades de TI da organização (Lacity & Wilcocks, 2008); e (4) ela envolve uma cooperação entre cliente e fornecedor (Dolgui & Proth, 2013). Para efeito desta pesquisa, o conceito de TTI envolve esses quatro aspectos.

(2) Local de Prestação do Serviço. Segundo Amant (2009), um número crescente de organizações intensificou a adoção da TTI com fornecedores localizados em outros países, ou seja, na modalidade de offshoring. Quando o serviço é prestado em território nacional, trata-se da modalidade onshore.

(3) Fatores Motivadores. A melhor compreensão dos fatores que motivam a adoção da TTI contribui para o entendimento dos casos de sucesso e fracasso na adoção dessa prática. Entre os fatores citados na literatura que motivam a TTI, destacam-se: (1) foco na atividade principal (Brudenall, 2005; Lacity, Khan e Willcocks, 2009); (2) redução de custos (Heywood, 2001; Lacity, Khan & Willcocks, 2009); (3) acesso à expertise ou às habilidades que requerem novas competências e investimentos (Amant, 2009; Brudenall, 2005); (4) decisões de ordem estratégica adotadas pelas organizações (Heywood, 2001; Lacity, Khan & Willcocks, 2009); (5) racionalização dos recursos e aumento da flexibilidade e agilidade da organização (Heywood, 2001); (6) estrutura de custo variável como forma de acomodar flutuações na carga de trabalho (Amant, 2009); e (7) melhoria na prestação serviços (Brudenall, 2005).

(4) Riscos e Fatores Restritivos. A decisão final da adoção da terceirização é baseada no equilíbrio entre a percepção de custos, riscos, benefícios e oportunidades. Muitas dessas decisões se baseiam apenas nos benefícios percebidos (Brudenall, 2005). Porém, é preciso considerar os riscos e as dificuldades que restringem a adoção da TTI.

Por último, cabe destacar que há estratégias para abordar os riscos da TTI, especificamente no setor público. Ning e You-shi (2012) sugeriram estipular as responsabilidades legais e os processos de supervisão dos terceirizados em termos contratuais, utilizar sistemas de comunicação para evitar informações assimétricas com o fornecedor, aumentar a supervisão durante a execução do serviço e testar o SLA (service level agreement - acordos de nível de serviço) com frequência.

2.2. TERCEIRIZAÇÃO DA TECNOLOGIA DA INFORMAÇÃO NO CONTEXTO DO SETOR PÚBLICO BRASILEIRO

Reinhard e Dias (2005) analisaram o processo de informatização e do uso da TI no setor público brasileiro ao longo do tempo. Esses autores perceberam que, a partir da década de 1980, o setor público iniciou uma ênfase em terceirização e mais recentemente ampliou a ênfase em E-GOV (governo eletrônico). Por outro lado, o TCU (2014), em seu relatório sobre governança de TI de 2014, que analisou 373 organizações públicas federais, apurou que apenas 6% delas alcançaram as metas para o período.

As dificuldades constatadas nesse cenário se devem, em parte, ao fato de a TTI no setor público ser complexa. Lin, Pervan e Mc Dermid (2007) destacam que TTI no setor público é altamente complexa devido aos requisitos legais que regem os processos organizacionais. Além disso, complementam os autores, ela é muito sensível a processos políticos envolvendo diversos stakeholders com perspectivas diferentes e por vezes conflitantes.

Não só os requisitos legais, mas também as particularidades dos processos das organizações públicas, tornam a TTI no setor público uma atividade mais complexa que no setor privado. De acordo com Swar et al. (2012), as diferenças entre as organizações públicas e privadas incluem os processos de tomada de decisão, a responsabilidade nas decisões de compra, a cultura organizacional e o gerenciamento de pessoas, riscos e sistemas de informação.

O reconhecimento do contexto diferenciado do setor público pode ser constatado pela auditoria realizada pelo TCU (2015) para avaliar a contratação de serviços de desenvolvimento e manutenção de SI. Essa auditoria constatou que o resultado não foi suficiente para mitigar riscos ligados a fatores como plataformas, ferramentas tecnológicas, processos de desenvolvimento adotados, qualificação profissional, regras e criticidade relativas às áreas de negócio atendidas. Como consequência, o TCU recomendou que se considerassem os seguintes fatores de sucesso nas contratações de serviço de desenvolvimento de sistemas: divisão do objeto por áreas de negócio; contratação simultânea de fornecedores distintos; especificação de níveis de serviços compatíveis com a capacidade de fiscalização da contratante; efetiva fiscalização do cumprimento das cláusulas contratuais; e adoção de processos de comunicação contínua entre as equipes da contratante e da contratada.

2.3. MODELOS DE REFERÊNCIA PARA A TERCEIRIZAÇÃO DA TECNOLOGIA DE INFORMAÇÃO

Modelos de referência são instrumentos úteis nos processos de TTI, pois orientam o processo da terceirização. Eles fornecem subsídios para a identificação de fatores de sucesso na TTI. Existem diversos modelos na literatura que endereçam contextos específicos de TTI. Applegate et al. (2003) desenvolveram um modelo para analisar o papel que a TI desempenha na organização e classificaram esse papel em quatro categorias: suporte, fábrica, alinhamento e estratégia. Por outro lado, o modelo de Lacity e Willcocks (2001) avalia as atividades de TI sob o ponto de vista econômico. Por meio desse modelo, os autores verificaram que as organizações que obtém sucesso com a TTI, sob o ponto de vista econômico, consideram dois fatores: economias de escala obtidas internamente e adoção de práticas gerenciais atualizadas.

Kern e Willcocks (2000) estudaram a questão do relacionamento na TTI e desenvolveram um modelo de referência sobre esse tema. Este modelo foi escolhido como referência, pois se alinha aos objetivos desta pesquisa. Ele é baseado em uma revisão da literatura sobre as teorias envolvendo o relacionamento entre as empresas e a teoria social das relações contratuais. Combinando essas teorias com pesquisas sobre TTI, os autores desenvolveram o modelo que está representado na Figura 1, o qual é composto por três dimensões:

(1) Ambiente. A relação de terceirização depende fortemente desta dimensão, que compreende os objetivos, as condições antecedentes e as expectativas em torno da terceirização, os quais serão incorporados ao contrato, que traduz as bases do relacionamento.

(2) Interações. As interações entre as partes podem ser caracterizadas pelas oportunidades, pelos valores, pela regularidade, pela qualidade e pelo conteúdo.

(3) Comportamentos. As inúmeras interações que ocorrem entre cliente e fornecedor dependem em grande parte da atmosfera em torno do acordo de terceirização. Esta dimensão é caracterizada por: comprometimento e confiança, satisfação e expectativas, cooperação e conflito, e poder e dependência.

2.4. FATORES DE SUCESSO DA TERCEIRIZAÇÃO DA TECNOLOGIA DA INFORMAÇÃO

A pesquisa dos fatores de sucesso da TTI na literatura científica foi realizada em três bases de dados que possuem trabalhos relacionadas à TI: Association of Computing Machinery (ACM); e Institute of Electrical and Electronics Engineers (IEEE). A pesquisa foi baseada numa revisão sistemática da literatura. Em contraste com uma revisão ad hoc da literatura, a revisão sistemática é uma revisão metodologicamente rigorosa dos resultados da pesquisa (Kitchenham et al., 2009). Com base na revisão sistemática da literatura, foram encontrados 314 artigos. O protocolo da revisão sistemática incluiu os seguintes critérios:

(1) Critérios de inclusão: trabalhos que descreviam fatores de sucesso na TTI; publicações a partir de 2007, pois tratam de trabalhos que apresentam a realidade atual e podem apontar tendências; publicações na língua inglesa, por serem internacionalmente aceita para trabalhos científicos da área, e publicações na língua portuguesa, para contemplar os trabalhos específicos da realidade brasileira; e somente trabalhos com descrições suficientemente detalhadas para permitir a interpretação do significado e do contexto dos fatores de sucesso da TTI.

(2) Critérios de exclusão: trabalhos não disponíveis integralmente; fatores de sucesso relacionados especificamente à modalidade de terceirização offshore; trabalhos em estágio preliminar; e trabalhos relacionados a temas específicos de terceirização, tais como Computação em Nuvem e Crowdsourcing.

Após a aplicação desses critérios, restaram 30 artigos que foram lidos e analisados na íntegra. Alguns fatores se repetiram entre os artigos. Outros fatores, apesar de terem designações diversas em artigos diferentes, representavam o mesmo conceito e por isso foram agrupados em um mesmo fator. Os 27 fatores de sucesso identificados nos artigos estão apresentados na Tabela 1 em ordem decrescente da frequência com que aparecem na literatura e descritos a seguir.

3. MÉTODO DE PESQUISA

Este trabalho representa uma pesquisa exploratória, pois busca proporcionar melhor entendimento a respeito dos FCS na atividade de TTI no setor público municipal brasileiro (Selltiz, Wrightsman & Cook, 1987). Ele tem como finalidade aumentar o conhecimento sobre o fenômeno da TTI. As técnicas e as abordagens para a coleta, análise e interpretação dos dados deste trabalho são predominantemente qualitativas, pois, segundo Gil (2002), na pesquisa qualitativa os dados obtidos são analisados de forma indutiva. Além disso, Trumbull (2005) alega que os procedimentos para obtenção dos dados em pesquisas qualitativas incluem observações, entrevistas e questionários. Por fim, cabe destacar que uma ciência da informação baseada na compreensão dos usuários no contexto de seu trabalho pode apontar o caminho para inovações práticas nos serviços de informação (Wilson, 2000).

3.1. MODELO DE REFERÊNCIA DA PESQUISA

O modelo de referência está apresentado na Figura 2 e é composto por duas dimensões: ambiente e relacionamento cliente-fornecedor. A dimensão de relacionamento cliente-fornecedor possui três componentes. Os dois primeiros tratam das interações relacionadas com os contratos e com a implantação.

Os processos relacionados aos contratos possuem relevância e características diferentes dos processos relacionados à implantação. Além disso, os processos contratuais ocorrem antes dos processos de implantação e são mais formais. Por outro lado, os processos de implantação visam cumprir os acordos estabelecidos pelo contrato e são compostos por processos formais e informais.

Os 27 fatores de sucesso foram atribuídos às dimensões e aos componentes do modelo de referência da pesquisa. Essa atribuição foi feita com base no conteúdo dos fatores e no conteúdo dos componentes do modelo. Para analisar a validade de conteúdo, utilizou-se o método de Análise de Juízes (França & Schelini, 2014). Foram selecionados cinco juízes com base na sua experiência em TTI: dois deles com mais de 15 anos de experiência em pesquisa científica sobre TTI; e três deles com mais de 10 anos de experiência profissional com TTI em empresas públicas e privadas.

Adotou-se o seguinte procedimento de atribuição: (1) foi avaliado o índice de concordância entre quatro juízes, ou seja, quando três ou quatro dos quatro juízes concordaram com a atribuição do fator ao componente do modelo, esta atribuição foi considerada válida; (2) quando dois de quatro juízes concordaram, utilizou-se a opinião do quinto juiz para decidir a atribuição; e (3) o processo se repetiu até que todos os fatores fossem atribuídos. O resultado das atribuições está apresentado na Tabela 2. Somente os fatores FS17 e FS23 não tiveram consenso dos quatro juízes e foi necessário o julgamento do quinto juiz.

O objeto de estudo desta pesquisa são os fatores de sucesso da TTI. Para efeito desta pesquisa, a TTI abrange apenas atividades meio, podendo ser a atividade como um todo, ou parte dela, e executada por um ou mais fornecedores. Cabe destacar, ainda, que o escopo desta pesquisa se limita aos processos envolvidos na relação entre cliente e fornecedor nos projetos de TTI em órgãos públicos municipais.

Os processos terceirizados nos quais foram avaliados os fatores de sucesso foram prestados em território nacional, ou seja, a modalidade de terceirização analisada foi a onshore. Isto porque a terceirização envolvendo órgãos públicos abrange questões legais que, por vezes, limita as possibilidades de aplicação da modalidade offshore.

3.2. CARACTERIZAÇÃO DO CASO DE ANÁLISE

Os painelistas foram escolhidos a partir de uma instituição pública da área de TI com atuação no município de São Paulo. Trata-se da Empresa de Tecnologia da Informação e Comunicação do Município de São Paulo, ou PRODAM.

PAROA PRODAM é a parceira tecnológica da Prefeitura de São Paulo. Ela desenvolve soluções tecnológicas e de suporte técnico a sistemas administrativos, tendo como principal cliente a Administração Municipal, na qual se incluem também as diversas secretarias municipais. Além disso, presta serviço também à Câmara Municipal de São Paulo e ao Tribunal de Contas do Município.

A PRODAM conta com cerca de 868 funcionários, distribuídos conforme ilustrado na Tabela 3. Sua estrutura organizacional é composta por cinco diretorias e 32 gerências, além do Conselho de Administração e Conselho Fiscal. Ao menos 88,5% dos funcionários atuam diretamente nas atividades relacionadas à TI. Constitui, assim, um órgão público municipal relevante para o estudo da TTI.

3.3. COLETA E TRATAMENTO DE DADOS - TÉCNICA DELPHI

A coleta das informações foi feita por meio de formulário impresso e de forma anônima. Constavam do formulário esclarecimentos sobre o objetivo da pesquisa e instruções para o preenchimento. O instrumento foi entregue pessoalmente a todos os participantes. No formulário foi disponibilizado um endereço eletrônico com o objetivo de fornecer esclarecimentos adicionais caso necessário. Cabe destacar, ainda, que as rodadas do painel Delphi ocorreram em junho de 2018.

Cada fator de sucesso possuía uma breve descrição para que o painelista pudesse compreender seu significado e analisar de acordo com suas experiências pessoais. O e-mail do painelista foi o canal definido para contato e feedback na realização das rodadas subsequentes do painel Delphi, se necessárias. A primeira rodada só pode ser finalizada quando todos os participantes entregarem o questionário devidamente preenchido, ou seja, com todas as questões respondidas e apenas uma resposta por questão.

A primeira rodada apresenta a possibilidade de incluir fatores de sucesso da TTI não identificados na RSL. A realização de rodadas subsequentes exige a coleta de dados por meio de instrumento personalizado para cada participante. Isto porque a resposta de cada painelista é comparada à opinião consolidada de todos os painelistas.

O questionário continha os 27 fatores de sucesso descritos no modelo de referência da pesquisa. Cada fator de sucesso possuía uma breve descrição para que os painelistas pudessem compreender seu significado e analisar de acordo com suas experiências pessoais. Todos os fatores de sucesso foram classificados pelo painelista segundo uma escala de importância do tipo Likert de seis pontos. Os procedimentos de coleta de dados estão apresentados na Figura 3.

O tratamento de dados foi baseado na técnica Delphi, pois, de acordo com Skinner et al. (2015), é uma técnica adequada para aquisição de recomendações de especialistas ao endereçar um problema de pesquisa relacionado à TI. A técnica Delphi envolve uma seleção de especialistas baseada em critérios preestabelecidos e múltiplas rodadas de questionamento com estes especialistas, por meio de questionário ou entrevista, aplicadas individualmente de forma a evitar o confronto direto entre eles (Skinner et al. 2015).

Há diversas adaptações da técnica Delphi utilizada para diferentes finalidades. Nesta pesquisa, foram utilizados os procedimentos propostos por Chaves et al. (2012). Segundo esses autores, o método é composto por cinco etapas: esquematizar o painel; montar o grupo de painelistas; preparar a rodada do painel; realizar a rodada do painel; e elaborar as conclusões.

A necessidade de realização de uma nova rodada do painel Delphi deve ser avaliada pelo coeficiente de concordância W de Kendall e a significância estatística deste coeficiente. Segundo Schmidt (1997), o coeficiente de concordância W de Kendall mede a concordância da lista ordenada a partir das opiniões fornecidas pelos participantes do painel Delphi.

Para determinação do grau de consenso a partir do coeficiente de Kendall, utilizou-se a interpretação dos valores feita por Schmidt (1997): até 0,1 concordância muito fraca; entre 0,1 e 0,3 concordância fraca; entre 0,3 e 0,5 concordância moderada; entre 0,5 e 0,7 concordância forte; acima de 0,7 concordância muito forte. Este grau de consenso foi o critério utilizado para prosseguir uma nova rodada ou finalizar o painel.

4. APRESENTAÇÃO DOS RESULTADOS

4.1. SELEÇÃO E PERFIL DOS PAINELISTAS

Os painelistas selecionados apresentavam destacada atuação e experiência profissional em serviços terceirizados de TI. Eles foram reunidos em três grupos, de acordo com as atividades e os papéis que desempenham:

(1) Análise e especificação de sistemas. Pessoas responsáveis pela identificação de requisitos e regras de negócio, e mapeamento e definição de processos. Nesta pesquisa, este grupo foi referenciado como grupo de analistas.

(2) Implementação de sistemas e infraestrutura. Pessoas cuja atividade está diretamente relacionada ao desenvolvimento, à operacionalização e à manutenção de sistemas de informações. Inclui também atividades de implementação da infraestrutura necessária para suportar os sistemas desenvolvidos por terceiros ou em parceria com estes. Nesta pesquisa, este grupo foi referenciado como grupo de desenvolvedores.

(3) Coordenação e liderança. Pessoas responsáveis pelo gerenciamento de projetos, relacionamento com o cliente, elaboração e acompanhamento da negociação de serviços terceirizados de TI, tais como elaboração e gerenciamento de contratos. Nesta pesquisa, este grupo foi referenciado como grupo de gerentes.

O perfil diferenciado de cada grupo permite obter diferentes visões sobre o problema e uma maior diversidade de opiniões. Todos os painelistas selecionados atenderam a três critérios: atuar profissionalmente em organização pública; possuir mais de cinco anos no cargo; e ter mais de cinco anos de experiência em TTI.

Foram selecionados 42 painelistas, conforme ilustra a Tabela 4. A composição do grupo de painelistas foi distribuída em quantidade equilibrada entre os diferentes grupos, com o objetivo de não gerar um consenso de forma artificial ou pela ausência de diversidade.

4.2. REALIZAÇÃO DAS RODADAS DO PAINEL DELPHI

A primeira rodada apresentou a possibilidade de incluir fatores de sucesso da TTI que não tivessem sido identificados pela revisão bibliográfica e que poderiam integrar as demais rodadas do painel. Mesmo assim, não ocorreu a inclusão de um novo fator de sucesso.

Na segunda rodada, foi informado aos participantes que as respostas anteriores (primeira rodada) deveriam ser reanalisadas e poderiam ser modificadas. Para auxiliá-los nessa atividade, cada painelista recebeu a nota média atribuída na primeira rodada, pelo conjunto de painelistas, em relação a cada fator de sucesso. Como consequência, o instrumento de coleta da segunda rodada foi personalizado para cada participante.

Sete painelistas não participaram da segunda rodada. Restaram, portanto, 35 participantes, assim distribuídos: 13 no grupo de análise e especificação de sistemas, 14 no grupo de implementação de sistemas e infraestrutura, e oito no de coordenação e liderança.

Os resultados das rodadas do painel Delphi estão apresentados na Tabela 5. O coeficiente de Kendall para a primeira rodada foi 0,219314. De acordo com as faixas sugeridas por Schmidt (1997), esse coeficiente foi interpretado como de concordância muito fraca, indicando a necessidade da aplicação de uma nova rodada Delphi. Por outro lado, o grau de significância estatística do coeficiente foi considerado extremamente significativo. Isto porque a estatística Qui-quadrado ( ) apresentou o valor de 506,6164, obtendo um valor-p < 0,001 nas faixas de referência de Friedman (1940).

Na segunda rodada, o coeficiente de Kendall (0,514579) foi interpretado como de concordância moderada (Schmidt, 1997), e o grau de significância estatística do coeficiente foi considerado extremamente significativo ( = 990,5651 e valor-p < 0,001). Conforme Schmidt (1997), o painel pode ser encerrado caso exista um aumento significativo do coeficiente de Kendall de uma rodada para outra, o que ocorreu neste caso – aumento de 0,219314 para 0,514579.

Com o encerramento do painel Delphi, foi avaliada a classificação dos fatores de sucesso e o resultado está apresentado na Tabela 6. A pontuação (score) varia de 0 a 100 pontos. Os fatores de sucesso foram agrupados usando a estatística quartil, e aqueles pertencentes ao primeiro quartil foram denominados de FCS. Eles representam os seis FCS da TTI, e constituem os “6Cs” (.omunicação, .apacidade, .omprometimento, .onformidade, .ontexto e .onfiança) que devem ser observados com maior cuidado no contexto específico da TTI em órgãos públicos municipais.

6. CONCLUSÕES

O objetivo deste trabalho foi identificar e analisar os FCS da TTI em um órgão público municipal brasileiro. Para atingir este objetivo, efetuou-se uma pesquisa descritiva com uso da técnica Delphi, que contou com o apoio de 35 especialistas em projetos terceirizados de TI em órgãos públicos municipais. A resposta à questão de pesquisa e as conclusões deste trabalho estão agrupadas a seguir em função dos objetivos específicos:

(1) Descrever os principais fatores de sucesso da TTI elencados na literatura: foram identificados 27 fatores de sucesso da TTI descritos em 30 artigos selecionados, por meio de uma revisão sistemática da literatura que selecionou 314 artigos.

(2) Identificar, por meio de pesquisa junto a especialistas, quais fatores de sucesso descritos na literatura são críticos no processo de TTI no setor público municipal brasileiro: foi realizado um painel Delphi com 35 especialistas que, a partir dos 27 fatores de sucesso elencados na literatura, identificaram seis FCS para o contexto analisado: .omunicação, .apacidade, .omprometimento, .onformidade, .ontexto e .onfiança.

(3) Analisar os FCS identificados nesta pesquisa com base na literatura sobre o tema. As análises foram realizadas com base no modelo de pesquisa. Foi possível identificar que a dimensão Relacionamento Cliente-Fornecedor é mais crítica para o sucesso da TTI do que a dimensão Ambiente, e dentro da dimensão Relacionamento Cliente-Fornecedor, dois componentes se destacaram: interações com foco na implantação e comportamentos. Além disso, a análise mostrou que os três grupos de especialistas divergiram pouco em relação à classificação dos fatores de sucesso, sendo que a maior divergência ocorreu entre dois grupos com atuação profissional diferenciada: uma técnica e outra administrativa.

6.1. CONTRIBUIÇÕES

Os resultados da pesquisa apresentaram contribuições para o gerenciamento de serviços terceirizados em órgãos públicos municipais e identificaram oportunidades de pesquisa para aprimoramento de teorias relacionadas à terceirização no contexto de órgãos públicos.

A contratação de serviços terceirizados de TI em órgãos públicos está sujeita a processos formalizados por meio de licitações. Por outro lado, a maioria dos FCS da TTI, identificados nesta pesquisa, não estão relacionados a questões legais e jurídicas (dimensão - Ambiente) e nem aos processos formais de contratação (componente - Interações com Foco no Contrato). Eles estão mais relacionados aos processos de implantação, que ocorrem após a contratação, e ao comportamento de fornecedores e clientes durante o relacionamento de terceirização. Como consequência, os resultados apontam para a necessidade de aprimorar os mecanismos de controle dos processos de implantação e de aprimorar o gerenciamento da relação terceirização, como forma de aumentar o sucesso em projetos de TTI em órgãos públicos municipais. Ou seja, as cláusulas contratuais, apesar de importantes, não são suficientes para garantir o sucesso dessas iniciativas.

Os resultados também identificaram oportunidades de pesquisa. Boa parte da literatura sobre terceirização utiliza teorias econômicas para explicar o processo de terceirização (Perunovic, 2007). No contexto de órgãos públicos municipais, analisado nesta pesquisa, as teorias com perspectiva social podem oferecer maior contribuição na análise da terceirização. Isto porque um foco comum entre as teorias que abordam a perspectiva social é a relação entre agentes, incluindo níveis de confiança e poder, sentimentos de obrigação mútua e normas sociais. Lacity e Willcocks (2008) citam exemplos de teorias que se encaixam nessa perspectiva: Teoria da Troca Social ou Relacional, Teoria do Capital Social, Teoria do Institucionalismo, Teoria de Poder e Política e Teoria da Cognição Social. A análise da TTI no setor público, por meio de uma teoria com perspectiva social, pode explicar, do ponto de vista teórico, a importância que construtos como confiança e comprometimento desempenham no processo de terceirização.

6.2. DIRECIONAMENTO DA PESQUISA

Por último, sugere-se como trabalhos futuros a realização de novas pesquisas que: (1) possam generalizar, ou não, os resultados obtidos por meio da replicação desta pesquisa em outros órgãos públicos municipais; e (2) pesquisas que analisem as relações entre cliente e fornecedor nas terceirizações de TI em órgãos públicos municipais, por meio de teorias com perspectivas sociais.

5. ANÁLISE E DISCUSSÃO DOS RESULTADOS

5.1. FCS E OS COMPONENTES DO MODELO DE PESQUISA

Os resultados do painel Delphi foram transferidos para o modelo de referência da pesquisa e estão apresentados na Figura 4. As análises de cada componente do modelo estão descritas a seguir.

(1) Ambiente. Este componente apresentou oito fatores de sucesso, ou seja, 29,7% de todos os fatores de sucesso identificados na pesquisa. Por outro lado, a pontuação média foi de 45,4 e ficou abaixo da pontuação média dos demais componentes. Isso indica que, apesar de os fatores de sucesso serem mencionados na literatura dentro de um contexto geral de TTI, eles são menos relevantes para o contexto específico de terceirização do desenvolvimento de sistemas em órgãos públicos municipais. Destaca-se, ainda, que este componente apresentou apenas um FCS (FS03-Contexto). Ou seja, das variáveis ambientais do modelo, apenas os aspectos relacionados ao contexto, tais como aspectos jurídicos, políticos, econômicos, são críticos no processo de terceirização.

(2) Interações com foco no contrato. Este componente apresentou apenas cinco fatores de sucesso, ou seja, 18,5% de todos os fatores de sucesso identificados na pesquisa. Por outro lado, a pontuação média foi de 55,4 e ficou entre as mais elevadas dos componentes do modelo. Isso mostra a importância que esse componente tem no sucesso da TTI. Destaca-se, por último, que este componente apresentou apenas um FCS (FS07-Capacidade). Ou seja, a capacidade técnica do fornecedor em lidar com os desafios do projeto apresentou uma pontuação de 66 (segunda maior), sendo um aspeto de destaque no processo de contratação dos serviços. Os resultados se alinham a outros trabalhos da literatura sobre terceirização. A importância do contrato tem sido destacada pela literatura desde o crescimento da terceirização na década de 1990. Para Mc Farlan et al., (1995), durante a fase de contratação inicia-se um relacionamento entre o fornecedor e o cliente, e é fundamental entender esse relacionamento, pois ele surge da operacionalização do contrato. Da forma semelhante, Dekker et al. (2018) destacam que os contratos são mecanismos chave na governança das relações entre empresas, uma vez que fornecem os arranjos formais nos quais a colaboração é baseada e a estrutura dentro da qual a cooperação procede.

(3) Interações com foco na implantação. Este componente apresentou dez fatores de sucesso, ou seja, 37,0% de todos os fatores de sucesso identificados na pesquisa. Foi o componente do modelo que apresentou o maior número de fatores de sucesso e a maior pontuação média (57,4). Além disso, apresentou dois FCS (FS02-Comunicação e FS12-Conformidade). Assim, a comunicação eficaz entre as partes interessadas do projeto, bem como a execução de entregas em conformidade com o especificado e de acordo com os requisitos definidos, são os aspectos críticos deste componente. Por essas razões, este componente se mostrou o mais relevante no processo de TTI dentro do contexto analisado. Ou seja, comunicação e conformidade são fundamentais no contexto analisado. Holzmann e Panizel (2013) corroboram essa afirmação. Eles investigaram o sucesso percebido em projetos de TI em relação ao cumprimento de requisitos de cronograma, orçamento, desempenho, satisfação do cliente e conquistas de longo prazo, e concluíram que uma comunicação eficaz é um fator dominante para o sucesso de projetos

(4) Comportamentos. Este componente apresentou apenas quatro fatores de sucesso, ou seja, 14,8% de todos os fatores de sucesso identificados na pesquisa. Por outro lado, a pontuação média foi de 54,3 e ficou entre as mais elevadas dos componentes do modelo. Isso mostra a importância que esse componente tem no sucesso da TTI. Este componente apresentou dois FCS (FS05- Comprometimento; FS08-Confiança). Ou seja, questões relacionadas ao comportamento entre cliente e fornecedor, em especial o comprometimento e a confiança entre as partes, se mostraram críticas. A literatura sobre terceirização, tanto em artigos recentes como passados, destaca essa questão. Sabherwal (1999) constatou que a confiança exerce um papel crítico em projetos de desenvolvimento de sistemas de informação. De forma semelhante, Langfield-Smith e Smith (2003) analisaram mecanismos de controle usados em relacionamentos de terceirização. Esses autores concluíram que o controle do relacionamento foi alcançado por meio de controles sociais e particularmente da confiança desenvolvidos ao longo do tempo. Yuan et al. (2018) destacam a importância do comprometimento. Eles analisaram o relacionamento em uma cadeia de suprimentos e concluíram que o comprometimento foi fundamental e mediou a relação entre confiança e eficácia logística.

As opiniões dos especialistas do painel Delphi acabaram por apontar a dimensão Relacionamento Cliente-Fornecedor como mais relevante para o sucesso da terceirização da TTI em projetos de desenvolvimento de software em órgão públicos municipais. Esta dimensão do modelo possui quatro dos cincos FCS, ou seja, 80% deles. A pontuação média dos seus componentes ficou acima de 54 em comparação à dimensão Ambiente, que teve uma pontuação média de 45,4. Assim, a dimensão Ambiente, representada pelas expectativas em torno da terceirização, não é relevante para o sucesso da terceirização no contexto específico analisado. Exceção feita aos aspectos jurídicos, políticos e econômicos da terceirização.

Os resultados podem ser comparados em relação a contextos específicos de órgãos públicos federais. Apesar das diferenças entre os níveis de governo federal e municipal em relação às suas responsabilidades e funções, há semelhanças entre eles, em especial em relação às questões jurídicas e de contratação de serviços terceirizados.

O TCU (2015), por exemplo, fez basicamente três recomendações para o sucesso nas atividades de desenvolvimento de sistemas:

(1) Adoção de processos de comunicação contínua entre as equipes da contratante e da contratada. Esta recomendação está relacionada ao FCS mais pontuado no painel Delphi (FS02-Comunicação). Pode-se inferir que problemas de comunicação são relevantes tanto na esfera federal como na municipal.

(2) A contratação simultânea de fornecedores distintos. Esta recomendação procura endereçar questões associadas a risco. Relaciona-se, assim, com o fator FS11 (Riscos), ou seja, refere-se às atividades de gerenciamento e de mitigação de riscos. Embora não tenha sido classificado como FCS na esfera municipal, o risco foi o fator de sucesso não crítico com maior pontuação (57).

(3) Efetiva fiscalização do cumprimento das cláusulas contratuais. Esta recomendação se alinha ao fator FS01 (Contratação). Embora relevante para a esfera federal, este fator não foi considerado crítico para os painelistas que analisaram a TTI na esfera municipal. Cabe destacar que a contratação de serviços em órgãos públicos decorre de processo licitatório, que atribui pouca flexibilidade ao processo. Pode-se inferir que esta seja uma das razões para os painelistas terem atribuído maior importância aos fatores críticos de sucesso F05-Comprometimento e F08-Confiança, percebendo que questões contratuais são importantes, porém não são suficientes. A partir da Teoria do Contrato (Bolton & Dewatripont, 2005), que trata de como os agentes econômicos constroem arranjos contratuais, pode-se identificar mecanismos, tais como os contratos baseados em desempenho, que criam incentivos para que o agente (fornecedor) atue no interesse do principal (cliente).

(4) Especificação de níveis de serviços compatíveis com a capacidade de fiscalização da contratante. Esta recomendação associa-se ao fator de sucesso FS15 (SLA). Trata-se também de mais um fator que não foi considerado crítico para os painelistas. Apesar da importância do SLA em atividades de TI, o grau de importância varia em função do tipo de atividade. Em atividades de infraestrutura, o SLA se mostra mais importante do que em atividades de desenvolvimento de sistemas. Isso pode ser percebido nos resultados da pesquisa de Prado e Anastácio (2015). Esses pesquisadores analisaram as dimensões críticas de sucesso na integração de sistemas legados em uma organização pública federal. Eles identificaram quatro dimensões críticas de sucesso, e a menos importante delas estava relacionada à definição de requisitos do sistema. A questão de especificação de níveis de serviço ou requisitos de sistema tiveram um resultado similar nesta pesquisa e na de Prado e Anastácio (2015), talvez porque ambas as pesquisas foram conduzidas em órgãos públicos que prestam serviços de TI aos demais órgãos públicos. Diferente das recomendações do TCU (2015), que se aplicam de forma ampla a todos os órgãos públicos.

5.2. Análise dos FCS em Relação aos Grupos de Painelistas

Essa seção analisa o resultado do painel Delphi considerando cada grupo de painelistas. A Tabela 7 mostra a classificação dos FCS, em ordem decrescente, por grupo de painelistas.

Entre os seis FCS identificados na pesquisa, os quatro mais pontuados no painel Delphi foram exatamente os mesmos e na mesma ordem nos demais grupos de painelistas (analistas, desenvolvedores e gerentes). Esses quatro FCS constituem, portanto, uma unanimidade de percepção entre os diversos tipos de profissionais que participam do painel Delphi.

O quinto FCS (FS03-Contexto) foi corroborado pelo grupo de analistas, mas ficou na décima posição para o grupo de desenvolvedores e na décima oitava para o grupo de gerentes. Da mesma forma o sexto FCS (FS08-Confiança) ficou na oitava posição para os grupos de analistas e desenvolvedores, mas na quinta posição para o grupo de gerentes. A Figura 5 mostra as diferenças de opinião entre o painel completo e os três grupos em separado. Os resultados mostram um alinhamento maior em analistas e gerentes do que entre desenvolvedores e gerentes. Isto vai ao encontro do senso comum, pois conforme descrito no perfil dos painelistas, os desenvolvedores apresentam um perfil mais técnico, os gerentes um perfil mais administrativo e os analistas um perfil intermediário.

Pode-se concluir, ainda, que as diferenças de opinião entre os grupos do painel Delphi foram pequenas, ou seja, o processo conduziu a uma convergência de opiniões. Isto porque a literatura acadêmica tem destacado que as partes interessadas, com diferentes expectativas no processo de terceirização, tendem a avaliar o sucesso da terceirização de maneira diferente (Bozeman & Kingsley, 1998; Feeney & Bozeman, 2009).

5.3. LIMITAÇÕES DA PESQUISA

As limitações da pesquisa foram resumidas em dois grupos.

(1) Validade interna. Limitações dos resultados em relação aos métodos usados para identificar os FCS.

• Os fatores de sucesso foram resumidos a partir da literatura, por meio de análise semântica do texto, feito pelo pesquisador, o que conferiu subjetividade ao processo.

(2) Validade externa. Limitações da aplicação dos resultados a outros contextos.

• Os resultados obtidos não abrangem todos os contextos específicos dos órgãos do setor público municipal brasileiro.

• Os avanços na área de TI acontecem rapidamente e podem alterar o grau de importância dos fatores de sucesso identificados nesta pesquisa.

• Modificações no contexto regulatório podem influenciar os FCS.

REFERÊNCIAS

Amant, K. S. (2009). IT Outsourcing: Concepts, Methodologies, Tools, and Applications: Concepts, Methodologies, Tools, and Applications. IGI Global.

Applegate, L. M., Austin, R. D., & Mc Farlan, F. W. (2003). Corporate information strategy and management: the challenge of managing in a network economy, 6ª ed. McGraw-Hill.

Barboza, L. S., Silva, T. F. P., & Souza, R. A. C. (2016). Uma Abordagem de Apoio ao Planejamento de Contratação de TI na Administração Pública Federal. Revista Gestão.Org, edição especial, 234-246.

Bolton, P., & Dewatripont, M. (2005). Contract Theory. MIT Press.

Bozeman, B., & Kingsley, G. (1998). Risk culture in public and private organizations. Public Administration Review, 58(2), 109–118.

BRASIL. Lei nº 8.666, de 21 de junho de 1993. Dispõe sobre normas para licitações e contratos da Administração Pública e dá outras providências, 1993. Disponível em .

Brudenall, P. (2005). Technology and onshore outsourcing strategies. Springer.

Chaves, S., Mazzon, J. A., & Souza, C. A. (2012). Proposição de um método para mensuração de rankings com emprego da técnica Delphi. Future Studies Research Journal: Trends and Strategy, 4(2), 49–72.

Cullen, S., Willcocks, L. L., & Intelligent, I. (2003). Outsourcing: 8 Building Blocks to Success. [S.l.]: Butterworth Heinemann, Oxford.

Dekker, H.C., Kawai, T., & Sakaguchi, J. (2018). Contracting abroad: A comparative analysis of contract design in host and home country outsourcing relations. Management Accounting Research, 40, 47-61.

Dolgui, A., & Proth, J. M. (2013). Outsourcing: definitions and analysis. International Journal of Production Research, 51, 23-24.

Feeney, M. K., & Bozeman, B. (2009). Stakeholder red tape: Comparing perceptions of public managers and their private consultants. Public Administration Review, 69(4), 710-726.

França, A. B., & Schelini, P. W. (2014). Análise semântica e evidências de validade da escala metacognitiva para idosos. Avaliação Psicológica, 13(3), 333-341.

Ghazali, N. B. M., & Bin Hasan, Z. (2018). Critical success factors of IT/IS outsourcing in Malaysian public sectors. International Journal of Engineering and Technology, 7(4), 573-577.

Handayani, P. W., Sandhyaduhita, P. I., Hidayanto, A. N., Pinem, A. A., & Fajrina, H. R. (2014). Synthesizing hospital information system critical success factors in Indonesia, International Journal of Management and Enterprise Development, 13(3-4), 261-277.

Heywood, J. (2001). Outsourcing dilemma: the search for competitiveness. FT Press.

Holzmann, V., & Panizel, I. (2013). Communications management in scrum projects. European Conference on Information Management and Evaluation, ECIME, 67-74.

Kern, T., & Willcocks, L. (2000). Exploring information technology outsourcing relationships: theory and practice. The Journal of Strategic Information Systems, 9(4), 321-350.

Kitchenham, B. et al. (2009). Systematic literature reviews in software engineering–a systematic literature review. Information and software technology, 51(1), 7-15.

Koumaditis, K., & Themistocleous, M. (2015). Organizational structures during SOA implementation: The case of a greek healthcare organization. Transforming Government: People, Process and Policy, 9(3), 263-285.

Lacity, M. C., Khan, S. A., & Willcocks, L. P. (2009). A review of the IT outsourcing literature: Insights for practice. The Journal of Strategic Information Systems, 18(3), 130-146.

Lacity, M. C., & Willcocks, L. P. (2001). Global information technology outsourcing. England: John Wiley & Sons.

Lacity, M. C., & Willcocks, L. P. (2008). Information systems and outsourcing: studies in theory and practice. Springer.

Laia, M. M. D., Cunha, M. A. V. C. D., Nogueira, A. R. R., & Mazzon, J. A. Electronic government policies in Brazil: context, ICT management and outcomes. Revista de Administração de Empresas, 51(1), 43-57.

Langfield-Smith, K., & Smith, D. (2003). Management control systems and trust in outsourcing relationships. Management Accounting Research, 14(3), 281-307.

Lin, C., Pervan, G., & Mc Dermid, D. (2007). Issues and recommendations in evaluating and managing the benefits of public sector IS/IT outsourcing. Information Technology & People, 20(2), 161–183.

Mc Farlan, F. Y. N., & Nolan, F. (1995). How to manage an IT outsourcing alliance. Sloan Management Review, 36(2), 9-23.

Mcivor, R. (2000). A practical framework for understanding the outsourcing process. Supply Chain Management: an international journal, MCB UP Ltd, 5(1), 22-36.

Ning, T., & You-Shi, H. (2012). A study of the current application status in Chinese e-government outsourcing. IEEE, Information Management, Innovation Management and Industrial Engineering (ICIII), 1, 9–11.

Perunovic, Z. (2007). Outsourcing Process and Theories. Manufacturing Engineering and Management. POMS 18th Annual Conference, Dallas, Texas (USA).

Prado, E. P. V., & Anastacio, W. M. (2015). Dimensões Críticas de Sucesso na Integração de Sistemas Legados no SERPRO. Revista Brasileira de Sistemas de Informação (iSys), 8(3), 05-27.

Prado, E. P. V., Souza, C. A., Takaoka, H., & Reinhard, N. (2009). Contracting Outsourced Information Technology Services in Brazil. Journal of Global Information Technology Management, 12, 52-71.

PRODAM. Lista de Empregados. Disponível em .

Reinhard, N., & Dias, I. (2005). Categorization of e-gov initiatives: a comparison of three perspectives. Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública.

Rockart, J. F. (1979). Chief executives define their own data needs. Harvard business review, 57(2), 81–93.

Sabherwal, R. (1999). The role of trust in outsourced IS development projects. Communications of the ACM, February, 42(2), 80-86.

Schmidt, R. C. (1997). Managing Delphi surveys using nonparametric statistical techniques. Decision Sciences, 28(3), 763-774.

Scott, P. (2015). Exploiting the information revolution: Call for independent evaluation of the latest English national experiment. Journal of Innovation in Health Informatics, 22(1), 244-249.

Selltiz, C., Wrightsman, L.S., Cook, S.W. (1987). Métodos de pesquisa nas relações sociais. Editora da Universidade de São Paulo, SP.

Skinner, R., Nelson, R. R., Chin, W. W., & Land, L. (2015). The Delphi method research strategy in studies of information systems. Communications of the Association for Information Systems, 37(1).

SLTI. (2014). Instrução Normativa MP/SLTI Nº 4/2014. Disponível em .

Souza, E. G. D. (2012). Uma análise dos principais riscos que contribuem para o agravamento (escalation) de projetos de TI da administração pública. Tese de Doutorado, Universidade de São Paulo.

Swar, B. et al. (2012). Determinants of relationship quality for is/it outsourcing success in public sector. Information Systems Frontiers, 14(2), 457–475.

TCU. (2014). Relatório de levantamento TC 003.732/2014-2. Disponível em .

TCU. (2015). Tribunal de Contas da União. Disponível em .

TCU. (2016). Relatório de levantamento TC 008.127/2016-6. Disponível em .

Trumbull, M. (2005). Qualitative research methods. In G. R. Taylor (Ed), Integrating quantitative and qualitative methods in research (pp. 101-126). New York, NY: University Press of America.

Wilson, T. D. (2000). Recent trends in user studies: action research and qualitative methods. Information Research, 5(3), 5-3.

Wirick, D. (2011). Public-sector project management: Meeting the challenges and achieving results. [S.l.]: John Wiley & Sons.

Yuan, Y., Feng, B., Lai, F., & Collins, B. J. (2018). The role of trust, commitment, and learning orientation on logistic service effectiveness. Journal of Business Research, 93, 37-50.