Ao longo dos anos, a avaliação de desempenho e seus indicadores fazem partem do processo de evolução da humanidade, desde os primeiros registros formais de sua existência registrados no Tratactus de Computis et Scripturis do Summa de arithmetica, geometrica, proportioni et proportionalita, trabalho publicado em 1494 por Frei Luca Bartolomeo de Paccioli, descrevendo de métodos contábeis dos mercadores venezianos (ENSSLIN et al., 2015).

Com o advento da revolução industrial no século XVIII e os trabalhos de Francis Bacon (Novum Organum, 1620), o conhecimento científico se consolidou, e com isso a avaliação de desempenho começou a subsidiar os processos produtivos, em um primeiro momento no controle da qualidade, visando criar condições competitivas por meio da redução de custos dos produtos.

Seguindo esta tendência, as contribuições da avaliação de desempenho se consolidaram no século XX, com a introdução da produção em escala no meio empresarial e o estudo da administração científica no meio acadêmico. Desde as primeiras evidenciações do uso da ciência como ferramenta para apoiar as pessoas e as organizações, como proposto por Francis Bacon (1620), passando pelos princípios da Teoria da Administração no início do século XX, os modelos realistas de grande destaque em áreas como a física e a matemática até as contribuições das abordagens construtivistas das últimas décadas, como proposto por Landry (1995),Roy (1993), Keeney (1992), têm ajudado pesquisadores e gestores em suas funções profissionais e pessoais, valendo-se dos conhecimentos científicos para aperfeiçoar e inovar seus métodos e formas de agir.

Os diversos conceitos para avaliação de desempenho e as lacunas de conhecimento existentes em relação à sua vertente de apoio à decisão fizeram com que Ensslin et al. (2010, p. 130) propusessem a seguinte definição para a avaliação desempenho, como um instrumento de apoio à decisão:

Avaliação de Desempenho é o processo para construir conhecimento no decisor, a respeito do contexto específico que se propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam, organizam, mensuram ordinalmente e cardinalmente, integram e permitem visualizar o impacto das ações e seu gerenciamento (ENSSLIN et al., 2010, p. 130).

Desta forma, a avaliação de desempenho é utilizada como um instrumento de gestão para construir, fixar e expandir conhecimento de formas a permitir monitorar e aperfeiçoar o contexto que o decisor deseja realizar na gestão (ENSSLIN et al., 2010).

O CEP configura-se como uma ferramenta com o propósito de facilitar a redução da variabilidade da produção e permite a verificação do percentual de produção dos produtos defeituosos, se essa se apresenta em níveis aceitáveis ou não (TOPALIPADEU; SPARAKIS, 2009). De acordo com Kaya e Kahramam (2011, p.1), “o CEP envolve métodos que visam avaliar, monitorar e possivelmente reduzir a variabilidade nos processos de produção industrial”.

Dentre estes métodos, destaca-se a utilização da carta de controle de Shewhart, que fornece informações sobre as disfunções dos processos produtivos. As amostras coletadas no processo sofrem tratamento estatístico e são plotadas nos gráficos, o qual é representado por limites de controle. Caso alguma das amostras se comportem fora dos limites, há incidência de causas especiais, desse modo devem ser adotados procedimentos para detectar a origem dessas causas, corrigindo assim o problema para que o processo volte ao estado desejável, ou seja, sob controle estatístico (TOPALIPADEU; SPARAKIS, 2009).

Sabe-se que, mesmo sob controle estatístico, um processo ainda está sujeito a produzir itens defeituosos. Destaca-se a importância da utilização dos índices de capacidade, que permitem medir se o processo é capaz de atender às especificações do cliente. Hsu e Shu (2008) evidenciam que este índice tem auxiliado as empresas a se manterem competitivas e líderes de mercado por meio da avaliação de desempenho da qualidade e da produtividade. Chen Lai e Nien (2010) descrevem que estes índices têm auxiliado os gestores das organizações a lidar com problemas complexos que envolvem, por exemplo, a mensuração do desempenho atual dos processos. A gestão do CEP nesta visão vai além do mero aceitar/rejeitar lotes de fabricação para ter em conta as múltiplas variáveis de todo o contexto envolvendo, além da qualidade e da produtividade, a definição da sequência de produção, a definição dos níveis de inspeção, os fornecedores de insumos, o cliente a quem se destina, as formas de medição; o tamanho dos lotes, dentre outras.

Para atender a esta demanda de qualidade, faz-se necessária a mensuração do desempenho dos processos, que de acordo com Melnyk et al., (2014) pode ocorrer por meio de duas maneiras: (i) Com a utilização de Sistemas de Mensuração de Desempenho, que abrangem processos de estabelecimento de metas, desenvolvem indicadores operacionais, analisando e interpretando os dados do desempenho; e (ii) Com a utilização de Sistemas de Gestão do Desempenho que convergem com a vertente de apoio à decisão, seguida neste trabalho, e tem como foco a avaliação das diferenças entre resultados obtidos e desejados, nos quais estas disfunções são analisadas a ponto de se compreender sua origem e seus impactos, gerando assim ações corretivas, que promovem o aperfeiçoamento do contexto de gestão avaliado.

O objetivo de pesquisa desse trabalho pode ser classificado de natureza exploratória e descritiva. Exploratória porque apresenta um processo organizado de seleção de artigos científicos que permitem aos pesquisadores obterem conhecimento acerca do assunto, e é descritiva devido às características descritas do PB (RICHARDSON, 2008).

A abordagem de pesquisa utilizada foi a qualitativa, uma vez que buscou identificar e analisar o perfil das publicações presentes no portfólio e revelar os gaps existentes referentes ao tema de pesquisa (RICHARDSON, 2008). O construtivismo foi a base filosófica adotada, por permitir aos pesquisadores entender a situação e os possíveis caminhos que eles poderão seguir diante desse contexto (ROY,1993; DUTRA et al., 2015).

Como os pesquisadores atuarão diretamente nas pesquisas, estabelecendo limitações para cada fase que compreende o processo, a estratégia de investigação adotada é a pesquisa ação. Após a primeira fase da pesquisa será realizada a fase de análise do PB para identificar as pesquisas do fragmento da literatura que compreendem a Avaliação de Desempenho na implantação do CEP.

A lógica de pesquisa adotada é a indutiva, por se tratar de um problema inexplorado e que possibilitará a obtenção do conhecimento a partir dos dados coletados e das observações realizadas (CRESWELL, 2010). Na coleta dos dados utilizam-se dados primários e secundários. Os dados primários são coletados na fase de seleção do PB, cujos pesquisadores atuam diretamente nas pesquisas, coletando e selecionando os artigos científicos; já os dados secundários compreendem a fase de análise das características identificadas nos artigos do PB.

Uma vez que a presente pesquisa se utiliza do conhecimento advindo de artigos científicos, ela pode ser classificada também como bibliográfica. O instrumento de intervenção adotado para que os objetivos do presente trabalho sejam alcançados será o Knowledge Development Process-Constructivist (Proknow) a partir da visão construtivista (TASCA et al., 2010; ENSSLIN, L.; ENSSLIN, S.; PINTO, 2013; DUTRA et al., 2015).

Desenvolvido por pesquisadores do LabMCDA da Universidade Federal de Santa Catarina (UFSC), o ProKnow- C configurou-se como uma importante e eficiente ferramenta que objetiva a seleção e a análise do PB referente ao fragmento da literatura (assunto) na qual o pesquisador escolhe para construir conhecimento para si próprio e também para a comunidade científica.

Nos últimos anos, diversos trabalhos vêm sendo publicados (TASCA et al., 2010; LACERDA; ENSSLIN; ENSSLIN, 2012; ENSSLIN, L.; ENSSLIN, S.; PINTO, 2013; DA ROSA et al., 2015; DUTRA et al., 2015; ENSSLIN et al., 2015;) em diferentes áreas de conhecimento, estes estudos fazem uso do ProKnow-C para: (i) Identificar um fragmento da literatura relevante sobre o tema de interesse do pesquisador (Portfólio Bibliográfico); (ii) Conhecer as peculiaridades da área de estudo; (iii) Realizar análise crítica deste PB a partir da corrente teórica selecionada pelo pesquisador; e (iv) Sugerir lacunas na literatura que subsidiem a formulação de futuros trabalhos. Para entendimento do leitor, é apresentado a Figura 1 com as quatro etapas que compreendem o processo de operacionalização do ProKnow-C:

Figura 1:
Macroprocesso do ProKnow-C
Fonte: Tasca et al. (2010).

Como pode ser observado pelas etapas destacadas na Figura 1, apenas a Seleção do PB e a Bibliometria foram utilizadas para a presente pesquisa, as quais serão detalhadas na seção Procedimentos para Coleta de Dados e nos Resultados da Bibliometria.

3.2.1 Procedimentos para Coleta de Dados

A aplicação do processo ProKnow-C abrange a seleção de um portfólio bibliográfico- PB relevante e alinhado ao tema pesquisado e, a partir deste, a realização de sua análise bibliométrica. Para a seleção do PB, o ProKnow-C inicia com a definição da composição do tema. Esta composição é realizada pela especificação dos assuntos que, no entender dos pesquisadores, explicam em forma exaustiva o tema a ser pesquisado. A estes assuntos o ProKnow-C chama de eixos. Para a presente pesquisa, o tema é gestão de CEP e os eixos utilizados são: Avaliação de Desempenho; Organizações e CEP. A seguir, o ProKnow-C requer que, para cada eixo, sejam definidas suas palavras-chave e a combinação das mesmas para o processo de busca. A etapa seguinte é a de definir as bases de dados onde será realizada a busca, seguindo-se a busca propriamente dita.

A pesquisa foi realizada no mês de outubro de 2015, com as seguintes delimitações: (i) bases de dados: ISIS WEB of Science e Scopus; (ii) temporal: entre 2005 e 2015; (iii) apenas artigos publicados em periódicos científicos; (iv) idioma: artigos exclusivamente em língua inglesa. A Figura 2 apresenta a operacionalização dessa etapa e a coleta dos dados.

Figura 2
Operacionalização do Proknow- C.
Fonte: Elaborada pelos autores (2016).

Na seleção dos artigos brutos, foram encontrados 20.303 artigos. Essas publicações foram exportadas para o software EndNote e 10.324 destes foram excluídos por serem repetidos, devido à utilização de duas bases de pesquisas diferentes. Em seguida, fez-se a leitura dos títulos para verificar o alinhamento destes com o tema da pesquisa, assim mais 9.871 artigos foram excluídos, restando nessa etapa 108 publicações.

A próxima etapa da pesquisa compreendeu avaliar os artigos quanto ao seu reconhecimento científico. Compreendendo 80% das citações, 29 artigos foram selecionados para a leitura do seu resumo, destes 8 foram eliminados, restando assim 21 publicações no repositório A.

Na sequência, foram realizados as novas filtragens e os testes de representatividade com os 79 artigos restantes do banco de artigos brutos, os quais ainda não possuíam reconhecimento científico confirmado. Destes, 18 artigos foram reconsiderados devido a datas respectivas de publicação (menos de 2 anos), mais 8 deles pela presença de seus autores no banco do repositório A. Dessas 26 publicações, 18 foram consideradas com o resumo alinhado, representando assim o Repositório B.

Ao fundir os dois repositórios (A e B), obteve-se um novo banco, denominado nesse estudo como repositório C, contendo 39 artigos. Ao verificar sua disponibilidade na íntegra, constatou-se que apenas 27 encontravam-se disponíveis. A próxima e última etapa constituiu-se em ler o artigo na íntegra e verificar seu alinhamento com o tema de pesquisa. Desta forma, dois artigos foram desconsiderados, consolidando assim um PB composto por 25 artigos científicos.

Na análise do PB, foi possível identificar 50 autores, destes 8 apresentam mais que uma publicação no PB. Os autores com maior participação em publicações são: Wen Lea Pearn, PhD, Professor na University of Maryland, com 5 publicações de periódicos; Shu-Ming Chung, PhD, Professor na The University of Tokyo, com 4 publicações; e Bi-Min Hsu, do Departament of Industrial Engineering and Management of University Taiwan, com 3 periódicos. A Figura 3 apresenta a quantidade de publicações dos autores.

Figura 3:
Autores de destaque no PB
Fonte: Elaborada pelos autores (2016).

Análise similar foi realizada nas referências do PB, onde se observou que Wen Lea Pearn e Kahraman são os destaques, seguidos de Kaya, I. e Kotz, S. A Figura 4 apresenta a quantidade de publicações por autor constantes das referências bibliográficas do PB.

Figura 4:
Autores de destaque nas referências do PB
Fonte: Elaborada pelos autores (2016).

Dentre os 16 periódicos identificados no PB, Quality and Reliability Engineering International apresentou o maior número de publicações, nove no total, seguido da Expert Systems With Applications com duas. Os demais periódicos apresentaram somente uma publicação, como pode ser observado na Figura 5, que apresenta o número de artigos por periódico.

Figura 5:
Periódicos relevantes do PB.
Fonte: Elaborada pelos autores (2016).

A análise dos periódicos relevantes das referências bibliográficas do PB se deu por meio da identificação de todas as referências bibliográficas contidas nos artigos científicos pertencentes ao portfólio. O periódico Quality and Realiability Engineering configurou-se novamente como o periódico mais relevante, contendo 74 publicações, seguido pelo Jornal of Quality Tecnology, com 69, e pelo International Journal of Production Research, com 38. A Figura 6 apresenta o número de artigos por periódico.

Figura 6:
Periódicos Relevantes das Referências
Fonte: Elaborada pelos autores (2016).

Outra característica importante na análise do PB são as palavras-chave utilizadas pelos autores; devido à sua função de identificar e caracterizar um trabalho científico, o conhecimento dessas palavras possibilita aos pesquisadores obterem resultados consistentes nos levantamentos. A Figura 7 apresenta as palavras-chave utilizadas no PB.

As palavras-chave relevantes identificadas no PB foram: Process Capability Indices, em nove publicações; Control Carts, com seis; e Process Capability index, apresentando cinco publicações. A Figura 7 apresenta as demais palavras de destaque:

Figura 7:
Palavras-chave de destaque nos artigos do PB
Fonte: Elaborada pelos autores (2016).

A partir deste conhecimento, percebe-se que as palavras-chave definidas nos eixos de pesquisa deste trabalho indicam o estudo de indicadores de desempenho, que podem mensurar fatores inerentes à qualidade e ao CEP.

A avaliação quanto aos fatores de impactos dos periódicos leva em consideração o número de citações dos artigos nos dois últimos anos que antecedem à consulta e ao número de artigos publicados no período. À medida que o número de citações for maior do que as publicações, maior será o valor de impacto e vice-versa. No presente estudo, as bases de pesquisas as quais possibilitaram as consultam foram as bases ISI Web of Knowledge (JCR) e Scopus (SJR). A Figura 8 ilustra os resultados da consulta.

Figura 8:
Fator de impacto dos periódicos
Fonte: Elaborada pelos autores (2016).

Como pode ser verificado, os periódicos que possuem maior fator de impacto são European Jounal of Operational Research (2,37); Expert Systems with Applications (2,00); Computers and Industrial Engeering (1,58); Measurament (1,48); International Journal of Advanced Manufacturing Technology (1,46); Quality and Reliability Engineering International (1,19); e Soft Computing (1,07). Os demais periódicos apresentaram fator de impacto inferior a um, o que significa que o número de publicações deles foi maior que o número de citações no mesmo período.

Esta seção apresenta a análise dos artigos do PB em relação à: (i) Classificação de acordo com o conceito de avaliação de desempenho proposto por Melnyk et al. (2014); (ii) Identificação do modelo utilizado para medir o desempenho; e (iii) Análise dos resultados obtidos com os trabalhos. A Figura 9 apresenta os resultados obtidos por meio da classificação.

Quadro 1
Classificação quanto as variáveis avançadas

Fonte: Elaborado pelos autores (2016).

A partir das variáveis preestabelecidas, é possível identificar que todos os autores tratam o tema a partir de uma visão de Avaliação de Desempenho como ferramenta de acompanhamento de resultados, sem integrar estes resultados com aspectos de gestão e aperfeiçoamento. Assim, os artigos do PB enfatizam Sistemas de Medição do Desempenho, em vez de Sistemas de Gestão do Desempenho, nos termos da classificação proposta por Melnyk et al., (2014), resultado este que evidencia o caráter operacional das atividades desenvolvidas por meio do Controle Estatístico de Processos.

Como resultado, destaca-se ainda a utilização de modelos teóricos realistas, que levam em conta dados obtidos a partir de simulações, como é o caso dos modelos fuzzy, sem considerar as realidades organizacionais e os atores envolvidos no contexto nos termos propostos por Ensslin et al. (2010).