1 INTRODUÇÃO

O Poder Judiciário Brasileiro, constantemente, é taxado pela mídia como caro, lento e ineficiente, o que faz com que seu prestígio junto à população, já não tão elevado, fique ainda mais maculado (Estado de Minas, 10/09/2014; Estadão, 30/06/2016; O Globo, 12/07/2016; Superinteressante, 15/02/2019). Porém, não só a mídia de massa aponta para um judiciário ineficiente, visto que muitas pesquisas científicas reportam achados de baixos níveis de eficiência do Judiciário brasileiro (GOMES; GUIMARAES, 2013; SILVA, FERREIRA; PRATA, 2019).

Na democracia, a eficiência do Estado está ligada ao controle exercido pela população sobre as atividades governamentais (FERNANDES, TEIXEIRA; LEITE, 2017). Vários estudos questionam o poder público acerca da eficiência na aplicação dos recursos públicos (KAVESKI, MARTINS; SCARPIN, 2015; ZUBYK, RIBEIRO, CLEMENTE; GERIGK, 2019). Com maior acesso à informação, a população mostra-se mais vigilante no tocante à fiscalização da coisa pública. Com isso, nenhum dos poderes escapa a essa vigilância.

A medição da eficiência tem sido um assunto de enorme interesse na academia, à medida que as organizações lutam para melhorar sua produtividade. Isso se aplica tanto a organizações privadas quanto públicas. Uma destas linhas de pesquisa analisa a eficiência de órgãos da justiça pública.

Diversos estudos internacionais analisaram a eficiência nos tribunais de seus respectivos países com o uso do Data Envelopment Analysis (LEWIN, MOREY; COOK, 1982; KITTELSEN; FØRSUND, 1992; PEDRAJA-CHAPARRO; SALINAS-JIMENEZ, 1996; NISSI; RAPPOSELLI, 2010; SANTOS; AMADO, 2014; MAJOR, 2015; MATTSSON; TIDANÅ, 2019).

Quanto a eficiência da justiça no Brasil, alguns estudos analisaram a utilização dos recursos e os resultados apresentados pelos tribunais por meio da Análise Envoltória de Dados (YEUNG; AZEVEDO, 2011; NOGUEIRA, OLIVEIRA, VASCONCELOS; OLIVEIRA; 2012; BOTELHO, 2016).

Nesse sentido, esta pesquisa investiga o nível de eficiência no emprego dos recursos públicos pelos órgãos da justiça brasileira, bem como analisa um vetor de variáveis e qual sua relação com os níveis de eficiência reportados. O estudo assume que o número de sentenças (1º grau) e acórdãos (2º grau) proferidas pelos referidos tribunais constitui um bom indicador de desempenho, pois tais decisões são terminativas em cada instância. Despachos e demais decisões não terminativas não são analisadas. Portanto, toda vez que o estudo se referir à “sentença”, está se referindo à decisão terminativa no processo, seja ela uma sentença propriamente dita, seja um acórdão.

Para se chegar aos resultados, utilizou-se um modelo de Data Envelopment Analysis - DEA, orientado para outputs. A pesquisa emprega, como amostra, órgãos da justiça Estadual e Trabalhista brasileira. Foram analisadas 51 unidades tomadoras de decisão (Decision Making Units - DMUs, na sigla em inglês) com dados de 2009 a 2018, coletados na base de dados do Conselho Nacional de Justiça (CNJ), no campo “Justiça em Números”.

De posse dos níveis de eficiência dos órgãos jurisdicionais analisados, estimados via DEA, rodou-se um modelo de regressão com dados em painel empregando um vetor de variáveis e analisando sua relação com os níveis de eficiência reportados pelo DEA.

A discussão mostra-se pertinente pois, em um país com altas restrições orçamentárias, os recursos são cada vez mais escassos, e as necessidades da população ilimitadas. Em algum momento, o custo dos serviços será tão alto que não haverá mais orçamento disponível para executá-lo. Restará, apenas, prestar o serviço público com mais eficiência.

Com isso, o artigo discute um tema importante (eficiência do gasto público) em um dos poderes (Poder Judiciário) tradicionalmente mais criticados por manter altos níveis de privilégios dos seus integrantes, com salários elevados, muitos benefícios (inclusive que servidores de outros poderes não possuem) e, mesmo com baixo número de servidores em relação aos demais poderes, influenciar grandemente na estrutura de gastos públicos brasileira.

Mudanças na performance de estruturas, sejam elas públicas ou privadas, e aumentos significativos nos níveis de eficiência apenas são possíveis conhecendo em profundidade a situação atual do objeto analisado. Neste sentido, a pesquisa investiga uma amostra representativa de instâncias do Poder Judiciário, e apresenta seus achados que indicam quais estruturas são mais e menos eficientes, além de buscar estabelecer uma relação de causalidade entre um vetor de variáveis e os níveis de eficiência verificados.

Com esses achados, gestores públicos podem agir visando melhorar a eficiência desses tribunais, copiando bons exemplos de órgãos mais eficientes, aplicando-os nos menos eficientes. Porém, para que isso ocorra, é preciso, incialmente, diagnosticar a situação da eficiência desses tribunais, proposta esta da presente pesquisa.

2 REVISÃO DA LITERATURA

2.1 SERVIÇO PÚBLICO BRASILEIRO

O Estado constitui um organismo complexo e multifacetado, sendo que no caso brasileiro, possui uma ampla gama de responsabilidades, muitas delas atribuídas constitucionalmente, o que faz com que essa entidade demande grande volume de recursos para fazer frente à todas as responsabilidades constitucionais assumidas.

Toda essa gama de responsabilidades exige que esse Estado possua muitos “tentáculos”, com vistas a fazer chegar, nos mais distintos rincões do país, os serviços públicos que a população tanto precisa e exige.

Com isso, o perfil do Estado, em especial o brasileiro, é caracterizado pela fragmentação. Isso constitui um problema pois, com políticas públicas sendo executadas de maneira não linear, marginal, e sem a devida articulação organizacional dada a fragmentação que possui, o máximo que o Estado consegue realizar são aproximações, com serviços sendo ofertados em um padrão sub-ótimo, que marca a oferta de políticas públicas prestadas pelo gigante Estado brasileiro (FITTIPALDI, COSTA; ARAÚJO, 2017).

A prestação de serviços públicos em volume e qualidade maiores demanda orçamento, que é escasso. Em um cenário de crise fiscal vivenciado no país há décadas, a melhoria na eficiência do gasto público é condição essencial para a oferta pública de serviços. É necessário fazer mais com menos, a fim de que o Brasil se enquadre no padrão da economia mundial, dado o caráter sistêmico da competitividade (ALONSO, 1999).

Sobre a crise fiscal brasileira, importante que se diga que, para farta literatura, o motor do problema é a extensa lista de direitos sociais previstos na Constituição Federal de 1988 e assumidos pelo Estado Brasileiro. Com uma Constituição provedora, assegurando muitos direitos a parcelas significativas da população, exige-se um Estado cada vez maior, que demanda cada vez mais recursos, o que coloca o Brasil, há décadas, em um cenário insustentável de déficits fiscais (MAGALHÃES; COSTA, 2018).

Nesse sentido, a literatura aponta que o Estado, visando responder adequadamente às demandas atuais da sociedade, necessita praticar ações que aumentem a eficiência e a eficácia do gasto público, com a prestação de melhores serviços custeados por menos recursos, com vistas a atender as incontáveis demandas por serviço público existentes no país (REZENDE, CUNHA; CARDOSO, 2010).

Isso exige ações mais efetivas, maior capacidade decisória por parte dos gestores e alguma flexibilidade para a alocação de recursos. No entanto, o modelo de gestão pública brasileiro, caracterizado como uma Administração Burocrática, não atende satisfatoriamente essas necessidades. Em substituição a este modelo, que é focado em controles formais e no estrito cumprimento da lei, os novos modelos de gestão enfatizam a melhoria no desempenho, com a busca de resultados ao invés de, meramente, o cumprimento de etapas burocraticamente definidas (ALONSO, 1999). A melhoria da eficiência do serviço público passa, necessariamente, pela mudança na estrutura do Estado, visto que, sem isso, a própria estrutura do Estado o impede de oferecer serviços com maior grau de eficiência à população.

Um dos pilares fundamentais para a reinvenção da gestão pública brasileira é a ampliação da transparência das ações do Estado, passando, ainda, pelo aumento da accountability dos políticos, gestores e profissionais da administração pública (REZENDE, CUNHA; CARDOSO, 2010; BEZERRA, LIBONATI, MACEDO, RIBEIRO; RIBEIRO, 2018). Com uma população mais participativa nos assuntos do Estado, e mais atuante no tocante à exigência de melhores serviços públicos, otimizar processos e melhorar a alocação de recursos apresentam-se como condições essenciais para oferecer serviços de qualidade e a um maior número de pessoas. Somado a isso, a situação deficitária do Estado é notória, os escassos recursos são acirradamente disputados, o que exige uma abordagem diferente da questão pelo Estado.

O setor público se diferencia do setor privado quanto à busca de recursos. Enquanto a iniciativa privada se baseia na venda de produtos e serviços valorizados pelo mercado, o setor público, mediante o uso de seu poder coercitivo, impõe impostos, taxas e contribuições aos contribuintes como forma de arrecadar os recursos necessários à promoção do bem-estar da sociedade (SILVA, SILVA, SOUZA, BORGES; ARAÚJO, 2019). Como a arrecadação do setor público é forçada, há uma maior pressão e cobrança sociais por resultados quanto aos serviços estatais, que constituem a contrapartida de toda essa arrecadação. Com serviços ruins ou insuficientes, mais pressionado ficam os gestores públicos, colocando seu status político em xeque. Por isso, a necessidade de otimizar recursos visando aumentar a oferta de serviços públicos é uma constante.

Até porque uma das possíveis soluções para o quadro de desequilíbrio fiscal brasileiro passa pela limitação das despesas primárias, inclusive programas de transferências de renda, gastos com saúde e educação e, especialmente, benefícios previdenciários (MAGALHÃES; COSTA, 2018). Ou seja, mais uma vez, para continuar a ofertar serviços públicos ao cidadão, o Estado precisará aprender a fazer mais com menos.

Nesse sentido, a discussão ventilada neste paper faz total sentido, pois realiza um diagnóstico da eficiência do gasto público de um importante vetor de consumo orçamentário dos escassos recursos do pagador de impostos brasileiro: o Poder Judiciário. A discussão, ao apresentar os órgãos mais e menos eficientes do judiciário, possibilita ao gestor público conhecer quem consome mais recursos, quem entrega mais resultados, e especialmente, quem faz mais com menos. Um primeiro passo para solucionar um problema é conhece-lo. Este artigo procura viabilizar essa primeira etapa.

2.2 A RESPONSABILIDADE DO ESTADO NA PRESTAÇÃO JURISDICIONAL

A eficácia da norma de direito não existe apenas no plano formal, portanto, para que atinja a denominada eficácia social, ou efetividade, deve ocorrer no mundo dos fatos. Este é um sentido mais amplo da eficácia no direito, pois utiliza a aptidão da norma jurídica com a finalidade de produzir efeitos na realidade social (ZAVASCKI, 1993).

Com este objetivo, o Estado, entre as diversas atividades desenvolvidas para assegurar aos indivíduos as condições necessárias para a consecução do bem comum, deve situar entre estas a entrega da prestação jurisdicional dentro dos prazos e limites estipulados pelo sistema jurídico (DELGADO, 1983).

Para isso, o Estado deve manter estruturas visando o oferecimento do serviço de Justiça a todos os interessados. Isso necessariamente demanda equipamentos e pessoas, envolvendo, portanto, recursos públicos para financiamento de tais atividades.

O Poder Judiciário é uma organização jurídica fundamental ao desempenho econômico, na medida em que é um dos principais responsáveis por garantir a propriedade, o cumprimento dos contratos e conferir segurança jurídica e previsibilidade às relações de cunho econômico (RIBEIRO; CAMPOS, 2013). Porém, para que cumpra seu papel de proporcionar segurança jurídica e garantir o cumprimento de contratos, a prestação jurisdicional deve ser célere e eficiente, com processo tendo razoável duração (e não décadas!), com decisões que deem solução terminativa às lides (e não decisões com infinitos recursos possíveis), além de realizar sua finalidade com o menor impacto orçamentário possível no já minguado orçamento brasileiro.

No entanto, no Brasil, o Poder Judiciário é percebido, habitualmente, pela lentidão na resolução dos conflitos, os elevados custos, a falta de transparência de suas atividades, ao que se soma a sensação de impunidade (OLIVEIRA, 2017).

O judiciário brasileiro é tradicionalmente apontado, seja pela população, seja pela mídia convencional, como detentor de salários exorbitantes, alto custo administrativo, tudo isso associado à baixa produtividade. Nesse sentido, os juízes brasileiros recebem salários e benefícios extraordinários e possuem privilégios excepcionais, benefícios esses que são objeto de amplo questionamento por parte da população (RAMOS; CASTRO, 2019). Os elevados custos, associados à baixa produtividade, levam à conclusão de que há grande ineficiência nos órgãos do Judiciário Brasileiro, nitidamente questionada pela população.

A ineficiência do sistema judicial brasileiro não passou despercebida pelo legislador constituinte nem pelo ordinário, que envidaram esforços nas últimas duas décadas para propor soluções legislativas que pudessem de alguma forma contribuir para a melhoria desse cenário. A principal ação materializada no sentido de tornar mais eficiente a prestação jurisdicional foi a criação do Conselho Nacional de Justiça - CNJ, via Emenda Constitucional nº 45, que tem como uma de suas principais atribuições melhorar a eficiência de todo o Poder Judiciário brasileiro.

Ainda com essas mudanças, a situação da eficiência do judiciário brasileiro não é animadora. Para se ter uma ideia, em avaliações do Banco Mundial acerca da facilidade na realização de negócios, que tem estreita relação com a capacidade do Poder Judiciário em resolver conflitos empresariais, o Brasil ocupa a modesta 47ª posição no ranking mundial, atrás de países como Bielorrússia, Butão, Antígua e Barbuda, Azerbaijão, Uzbequistão, entre outros (TRIGUEIRO, 2018).

Embora a Constituição Federal preveja a duração razoável do processo como um direito fundamental, naturalmente tal exigência não é capaz, por si só, de transformar o processo judicial brasileiro, moroso e ineficiente, em um processo judicial efetivamente capaz de solucionar as lides a tempo e modo (TRIGUEIRO, 2018).

O CNJ, exercendo seu papel de aprimorar a eficiência do Judiciário, impõe regimes de metas a serem cumpridas pelos órgãos jurisdicionais, ações visando a melhoria dos serviços prestados, a digitalização e virtualização de processos, dentre outras ações que visam estimular a eficiência na prestação da jurisdição. No entanto, como está a eficiência desses órgãos atualmente? Quem são os órgãos jurisdicionais mais e menos eficientes? Quais as potenciais causas dos níveis de eficiência atuais? Esses são pontos de discussão deste paper.

2.3 ESTUDOS ANTERIORES

Em âmbito internacional, com um trabalho seminal, Lewin, Morey e Cook (1982) mostraram que os tribunais podem ser investigados em termos de sua relativa eficiência administrativa, ilustrando os tipos de insights disponíveis para a análise. Para cada tribunal ineficiente, o DEA fornece um diagnóstico de onde possíveis melhorias podem ser alcançadas em termos de melhor utilização dos recursos ou aumento dos resultados.

Além disso, segundo os autores, o DEA pode ser útil como uma ferramenta para diagnosticar e distinguir quais tribunais são mais ou menos eficientes. À época da publicação, os autores demonstraram que a metodologia DEA representava uma nova abordagem para avaliar a eficiência relativa dos tribunais ou outras organizações do setor público.

Kittelsen e Førsund (1992), usando o método de análise envoltória de dados e com observações do período entre 1983 a 1988, examinaram a eficiência dos tribunais distritais noruegueses com o objetivo de sugerir maneiras de melhorar essa eficiência. Os resultados mostraram estimativas de excesso de mão-de-obra devido à ineficiência técnica. Ademais, o documento abordou questões de como as informações da DEA podem ser usadas pelos tribunais para se tornarem mais eficientes.

Com foco no problema para se medir eficiência em unidades do setor público, os pesquisadores Pedraja-Chaparro e Salinas-Jimenez (1996) analisaram os 21 Tribunais Superiores espanhóis que tratavam de casos contra o estado em 1991. Os resultados da análise envoltória de dados demonstraram que cinco cortes eram relativamente eficientes. Outro aspecto do estudo mostra que a análise da eficiência realizada por meio da DEA fornece uma estrutura útil que pode ser aplicada à avaliação de tribunais.

Tendo como objetivo analisar a eficiência produtiva dos Tribunais de Apelação italianos para o ano de 2008 usando o DEA, Nissi e Rapposelli (2010) verificaram que das 26 unidades analisadas, três são tecnicamente eficientes.

Concentrando-se no desempenho de 223 tribunais portugueses de primeira instância durante o período de 2007 a 2011, Santos e Amado (2014), com o uso do DEA, encontraram evidências que justificam os apelos dos portugueses por reformas, melhor desempenho e responsabilização do sistema judicial.

Os resultados encontraram um setor com considerável alcance para melhoria, com menos de 16% dos 223 tribunais analisados fazendo um uso eficiente de seus recursos em cada ano e apenas um terço dos tribunais foi considerado eficiente em pelo menos um dos cinco anos avaliados

Analisando 26 tribunais distritais da Cracóvia, na Polônia, e utilizando como fatores de produção recursos humanos diretamente relacionados a processos legais, Major (2015), utilizando a análise envoltória de dados, comprovou com os resultados que existem recursos suficientes nessas organizações que permitiriam diminuir a fila de casos pendentes.

Mattsson e Tidanå (2019), mediante emprego do DEA, avaliaram o impacto na eficiência da fusão dos tribunais suecos de 95 para 48 entre 2000 e 2009. Os tribunais suecos demonstram melhorar a eficiência com a fusão. Outro aspecto apontado no estudo foi a necessidade de uma discussão mais geral sobre a medição da eficiência do serviço público sob mudanças estruturais e seus limites e potencial.

No Brasil, a Análise Envoltória de Dados vem sendo utilizada em diferentes áreas como ferramenta para avaliar eficiência, tanto no setor privado como no público. Como exemplo de estudo voltado ao setor privado, Moura, Mecking e Scarpin (2013), utilizaram o DEA para calcular a eficiência das combinações na composição do ativo fixo (investimento + imobilizados + intangível) das companhias abertas listadas na BM&Fbovespa.

Analisando qual a relação existente entre competitividade de mercado, proporções de ativos intangíveis e eficiência na combinação dos ativos fixos, os pesquisadores concluíram, por meio do DEA, que as empresas que tinham as melhores combinações e consequentemente demonstraram maior eficiência neste quesito foram as dos setores de TI e petróleo, gás e biocombustíveis.

Para analisar a evolução em eficiência de escala e tecnologia, no período de 2009 a 2013, das cooperativas de crédito e dos bancos múltiplos, Bittencourt et al. (2016) utilizaram o método de Análise Envoltória de Dados (DEA) para calcular tal mudança por meio do índice de Malmquist.

As instituições que apresentaram evolução na eficiência, influenciando a produtividade total de fatores, segundo indicação dos resultados, foram as que empregaram maiores volumes em ativos na composição dos seus recursos. Uma explicação apontada pelos autores é o fato da média de eficiência das cooperativas de crédito ter se mostrado inferior ao dos bancos estudados no período de análise, indicando a existência da necessidade de aprimorar os processos internos por parte das cooperativas, se comparado aos bancos múltiplos pesquisados.

Com foco nos gastos públicos, empregando um modelo DEA no período de 2005 a 2011, Kaveski, Martins e Scarpin (2015) buscaram identificar a eficiência na aplicação dos recursos públicos destinados ao ensino médio regular nas instituições estaduais. Quando comparados, os estados brasileiros apresentaram diferenças significativas em sua eficiência.

Verificou-se ainda que a qualidade da educação tem melhorado. Considerando que as unidades federativas consideradas ineficientes devem se orientar pelas UFs que podem ser utilizadas como benchmark, os autores concluem que o estudo contribui para a tomada de decisão na política educacional dos estados.

Utilizando como amostra 370 municípios paranaenses, entre os anos de 2001 a 2012, empregando a técnica da Análise Envoltória de Dados, Zubyk et al. (2019) procuraram analisar o nível de eficiência na gestão dos recursos locais aplicados nas áreas de educação e de saúde.

Os pesquisadores concluíram que, considerando a gestão dos recursos destinados às áreas de educação e de saúde, apresentaram eficiência máxima aproximadamente oito por cento dos municípios paranaenses. Surpreendentemente, os municípios que alcançaram níveis altos de eficiência não permaneceram nesta posição nos anos seguintes.

Ao empregar a ferramenta de DEA com foco nos órgãos de Justiça, Sousa e Schwengber (2005) estimaram índices de eficiência para as comarcas do Rio Grande do Sul (161 tribunais), entre 2002 e 2003. Analisando a relação entre trabalho e estoque de processos (insumos) com casos julgados (produtos), por meio a construção de fronteiras de eficiência não paramétrica, concluíram que nas comarcas menores ocorreu perda de eficiência, o que poderia ser explicado pela ausência de trabalho especializado, encontrado nas comarcas maiores.

Utilizando a Análise Envoltória de Dados com o propósito de medir objetivamente a eficiência dos tribunais estaduais no Brasil, Yeung e Azevedo (2011), com dados de 2006 a 2008, verificaram que a eficiência relativa varia entre os estados. Outro ponto destacado pelos pesquisadores é que o desempenho da eficiência não depende dos recursos disponíveis, pois tribunais ineficientes poderiam melhorar seus resultados sem o aumento de recursos.

Com o objetivo de apresentar uma análise da eficiência organizacional do judiciário nos estados brasileiros com o uso do DEA, Nogueira et al. (2012) utilizaram dados de 2007 e 2008 do relatório Justiça em números. O estudo demonstrou um aumento de 100% no número de tribunais que alcançaram o nível máximo da eficiência relativa de um ano para outro (de cinco em 2007 para dez em 2008). No primeiro ano o tribunal de justiça de Minas Gerais foi apresentado como referência para outras 20 cortes estaduais, enquanto no segundo ano quem serviu de referência para outros 17 tribunais foi o do Piauí.

Utilizando métodos jurimétricos para avaliar a eficiência sobre a produção de sentenças dos 27 Tribunais de Justiça (TJs) do Brasil, Botelho (2016), recorrendo a um modelo DEA, construiu indicadores de eficiência para os TJs entre o período de 2003 a 2014. Os TJs do Piauí e Minas Gerais foram os mais eficientes, de acordo com os resultados.

Apesar dos estudos encontrados, no Brasil ainda há uma vasta lacuna a ser explorada com relação à avaliação da eficiência do gasto público em diversos setores, entre eles o da justiça pública, a qual necessita de mais recursos, mas, primordialmente, precisa melhorar a eficiência nos gastos.

Nesse sentido, esta pesquisa se destaca em relação às demais pois, além de estimar os níveis de eficiência dos tribunais Estaduais e do Trabalho brasileiros, emprega a análise de regressão para compreender as causas da (in)eficiência verificada, análise que, salvo melhor juízo, não se verificou em nenhuma das pesquisas consultadas.

Um primeiro passo para melhorar a eficiência de um órgão público é conhecer qual grau de (in)eficiência ele possui. Esta pesquisa visa, justamente, proporcionar essa informação, de modo que, com seus resultados, gestores públicos possam usar seus achados para proporcionar melhorias nos tribunais que apresentem as maiores ineficiências, usando os bons exemplos dos órgãos eficientes para replicar aos demais. Isso posto, em seguida são apresentados os procedimentos metodológicos da pesquisa.

3 METODOLOGIA

Conforme já discutido, esta pesquisa visa a) identificar os órgãos do Judiciário brasileiro mais e menos eficientes dentre aqueles que compõem a Justiça Estadual e a Justiça do Trabalho; b) analisar potenciais variáveis que expliquem os níveis de eficiência e ineficiência verificados.

Para tanto, a pesquisa emprega a metodologia Data Envelopment Analysis - DEA para identificar a eficiência das unidades de decisão (DMU), bem como modelos de regressão linear para analisar a relação de causalidade existente entre os indicadores de eficiência dos órgãos do Judiciário que compõem a amostra e o vetor de variáveis estudado.

Um problema de DEA é basicamente um problema de otimização. Segundo Leta et al. (2005), o DEA tem por objetivo medir a eficiência de unidades tomadoras de decisão (DMUs) na presença de múltiplos inputs e múltiplos outputs.

O resultado básico do DEA é a estimação de uma fronteira eficiente que leva em consideração as DMUs com as melhores práticas dentro dos inputs/outputs analisados. Com isso, a ferramenta DEA introduz um modelo para medidas de eficiência relativa (COOK; SEIFORD, 2009; OPRICOVIC; TZENG, 2008).

Como técnica de medição e análise de desempenho, o DEA é um metodologia não paramétrica de estimativa de fronteira eficiente baseada em programação, com objetivo de avaliar a eficiência relativa de um conjunto de DMUs comparáveis que compartilham objetivos funcionais comuns (LOTFI et al., 2010).

Considere a seguinte situação: tem-se n DMU’s, com cada DMU j, (j = 1,..., n) usando m entradas x 𝑖𝑗 (i = 1,..., m) e gerando s saídas 𝑦 𝑟𝑗 (r = 1,..., s). Se os preços ou multiplicadores 𝑢 𝑟 e 𝑣 𝑖 associados aos produtos r e aos insumos i são conhecidos, então emprestando-se os conceitos da relação de custo x benefício, pode-se expressar a eficiência 𝑒 𝑗 da 𝐷𝑀𝑈 ?? como a razão entre os produtos ponderados e os insumos ponderados. Algebricamente, isso se expressa da seguinte forma (COOK; SEIFORD, 2009):

Na ausência de multiplicadores conhecidos, Charnes et al. (1978) propuseram a derivação de multiplicadores apropriados para uma determinada DMU, resolvendo um problema de programação não linear específico. Com isso, para medir a eficiência técnica de uma DMU por meio do DEA, a solução do problema é dada por programação fracionária, conforme a seguir (COOK; SEIFORD, 2009):

Sujeito a

O modelo DEA/CCR foi desenvolvido para avaliar o desempenho relativo de determinada DMU₀ , com base no desempenho observado de j = 1,2, ..., n DMUs. y_rj e x_ij > 0 no modelo são constantes que representam as quantidades observadas da r-iésima saída i-ésima entrada da unidade de tomada de decisão j (DMU) de j = 1, ... , n entidades que utilizam entradas i = 1,., m e produzem saídas r = 1, ..., s. Uma das DMUs j = i, ..., n é destacada para avaliação, conforme a designação DMU₀ e maximizada em 1, deixando-a também sujeita às restrições. Depois, a pontuação máxima de eficiência da DMU será h₀^* ≤ 1 em virtude das restrições impostas (BOWLIN, 1998).

Um DEA pode ser orientado a inputs ou outputs. O modelo é orientado a inputs quando a eficiência é atingida por uma redução equiproporcional das entradas, mantidas as saídas constantes. Por sua vez, é orientado a outputs quando se deseja maximizar os resultados, sem diminuir os recursos (PEREIRA; MELLO, 2015). O modelo empregado nesta pesquisa é orientado a outputs.

No tocante ao tamanho da amostra de dados, conforme enuncia a literatura, aplica-se a regra de bolso de pelo menos 3 DMUs para cada variável (LETA et al., 2005). No caso desta pesquisa, esse número é satisfatoriamente atendido.

A base de dados empregada conta com 51 DMUs, com dados de 2009 a 2018. As DMUs representam órgãos do Poder Judiciário Brasileiro. Compõem a amostra órgãos da Justiça Estadual e da Justiça do Trabalho.

Foi rodado um DEA para os órgãos da Justiça Estadual e outro para a Trabalhista, dado que são tribunais com atuações distintas, em particular pela atuação especializada da Justiça do Trabalho. Os resultados são apresentados e discutidos na seção 4. O DEA rodado teve como inputs a Força de Trabalho Total, que inclui toda a mão de obra ativa do órgão (servidores e magistrados), a Despesa Total da Justiça de cada DMU e a quantidade de Magistrados, principal condutor do processo judicial. O output do modelo foi o número de sentenças emitidas, por entender-se que traduz uma decisão com um grau maior de definitividade do que, por exemplo, despachos proferidos nos processos, decisões interlocutórias, ou de outras naturezas.

Todas as variáveis entraram no modelo em log. Quanto à Despesa Total da Justiça, tal valor foi corrigido monetariamente pelo Índice de Preços ao Consumidor Amplo - IPCA, que é o índice oficial de inflação brasileiro, posicionando todos os valores na mesma data, para permitir sua adequada comparação.

Conforme já discutido, o DEA empregado nas análises é um CCR, com orientação para output. Os dados empregados na pesquisa são públicos, e foram coletados na base de dados do Conselho Nacional de Justiça (CNJ), no campo “Justiça em Números”. A base de dados pode ser livremente acessada em: https://www.cnj.jus.br/pesquisas-judiciarias/justica-em-numeros/base-de-dados/.

Quanto à análise dos determinantes da (in)eficiência dos órgãos da Justiça Brasileira, as seguintes variáveis foram testadas:

Saliente-se que até onde se tem notícias, não há pesquisas anteriores que modelaram tais variáveis em modelos de regressão. Portanto, os sinais esperados partem mais de um ponto de vista de intuição econômica do que propriamente de uma acepção teórica. O modelo de regressão rodado foi do tipo dados em painel, e contém a seguinte especificação:

Em que:

Efic_it refere-se ao theta de eficiência de cada DMU, conforme resultado do DEA;

α é a constante do modelo de regressão;

β₁ log DespPes_it refere-se ao logaritmo da despesa com pessoal da DMU;

β₂ ServMag_it refere-se ao número de servidores por magistrado na DMU;

β₃ Dinf_it refere-se ao gasto com TI por DMU;

β₄ Rec_it refere-se à recorribilidade das decisões da DMU;

ɛ_it refere-se ao erro da estimação.

Rodou-se um modelo geral, incluindo dados de todas as DMUs analisadas, bem como dois outros modelos parciais, com dados apenas de DMUs da Justiça Estadual e da Justiça Trabalhista.

Foram realizados os testes diagnósticos do modelo de regressão, tendo-se optado por rodar o modelo pooled. Apresentados os principais aspectos relacionados à metodologia da pesquisa, a seguir serão apresentados e discutidos os principais achados da pesquisa.

4 ANÁLISE E DISCUSSÃO DOS RESULTADOS

Para iniciar a discussão dos achados da pesquisa, inicialmente são apresentadas as estatísticas descritivas relacionadas aos dados empregados no modelo DEA. Isso possibilita conhecer e explorar melhor os dados a serem em seguida analisados.

Conforme se verifica na tabela 2, a base de dados contempla 510 observações ao longo do período de 2009 a 2018. Como os valores são apresentados em logaritmo, a inspeção visual dos valores oferece pouca informação, porém, é possível verificar que a variabilidade dos dados é satisfatória, com uma boa amplitude, evidenciado pelas diferenças entre os valores mínimo e máximo para cada uma das variáveis do DEA.

Outro ponto que merece destaque diz respeito ao coeficiente de variação das variáveis, que é, em todos os casos, inferior a 1. Ou seja, os dados não apresentam variabilidade desarrazoada, o que é um bom indicativo para as análises que serão realizadas em seguida.

No tocante às variáveis do modelo de regressão, a tabela 3 evidencia suas estatísticas descritivas.

Das estatísticas descritivas da tabela 3, chama atenção o índice de eficiência dos órgãos da Justiça Estadual e Trabalhista brasileiros, no período analisado, é de 0,9149185. Destaque-se, ainda, a variabilidade presente na amostra de dados, salutar para a realização de estimações via modelos de regressão.

A tabela 4 apresenta os resultados do modelo DEA rodado. Salientando-se que o objetivo do DEA foi verificar a eficiência de cada uma das DMUs analisadas, que posteriormente foi empregada no modelo de regressão. Por questão de espaço a tabela sofreu cortes.

Analisando os dados da tabela 4, verifica-se que 3 tribunais estaduais atingiram eficiência máxima no período, e podem, portanto, ser tratados como Benchmark na análise (NOGUEIRA et al., 2012). São eles o TJ do Amazonas (referente ao ano de 2018), e por duas vezes o TJ de Roraima (2013 e 2015).

Sobre o TJ de Roraima, importante observar que figura entre as 10 melhores posições em outras duas oportunidades (2012 e 2014), evidenciando se tratar de um órgão com alta eficiência, dados os parâmetros empregados no DEA rodado.

Além dos TJs do Amazonas e de Roraima, encabeçam as primeiras posições no ranking de eficiência os TJs do Sergipe, Pará e Mato Grosso do Sul.

No tocante aos órgãos da Justiça Trabalhista, o Benchmark é o TRT da 22ª região (Piauí, com dados de 2018). Nota-se que o TRT do Piauí aparece 5 vezes dentre as 10 primeiras posições mais eficientes no DEA com dados da Justiça Trabalhista (2011, 2012, 2016, 2017 e 2018), o que sugere se tratar de um órgão com práticas eficientes de atuação, produzindo mais (sentenças) com menos recursos que os demais órgãos da sua estrutura.

Encabeçando a lista dos órgãos trabalhistas mais eficientes, tem-se, ainda, os TRTs do Sergipe (2009 e 2017) e do Maranhão (2013, 2017 e 2018). Curioso notar que Sergipe também figura como eficiente dentre os órgãos da Justiça Estadual, o que pode sugerir um componente local a ser investigado futuramente que ajude a explicar esse achado.

Quanto aos órgãos da Justiça Estadual menos eficientes, o DEA evidenciou os TJs de São Paulo (que ocupa 5 das 10 piores posições), Distrito Federal (ocupando 3 das 10 piores posições), Tocantins e Bahia.

O resultado relativo ao TJ de São Paulo chama atenção, uma vez que se trata do Estado mais rico da Federação, o que, em tese, resultaria em maiores orçamentos e melhores recursos disponíveis para consecução do serviço jurisdicional. No entanto, o fraco desempenho do TJSP no tocante à eficiência dos recursos públicos (humanos e financeiros), evidenciado pelo DEA, sugere que a existência de recursos, por si só, não garante serviços públicos mais eficientes.

Quanto aos órgãos da Justiça Trabalhista, os menos eficientes foram o TRT da 1ª região (Rio de Janeiro), ocupando 4 das 10 piores posições (2009, 2013, 2014 e 2015), TRT da 10ª região (Distrito Federal), ocupando 3 das 10 piores posições (2010, 2013 e 2014), TRT da 13ª região (Paraíba), ocupando 2 das 10 piores posições (2009 e 2011), além do TRT da 5ª região (Bahia), figurando em uma oportunidade dentre os menos eficientes (2015).

Novamente aqui tem-se achados curiosos em que órgãos da Justiça Estadual e Trabalhista, de um mesmo estado da federação, aparecem entre os menos eficientes. Olhando a tabela 4, verifica-se que órgãos das Justiças Estadual e Trabalhista do Distrito Federal e da Bahia figuram entre os menos eficientes.

Analisando, agora, a diferença nos níveis de eficiência de cada DMU, a tabela 4 evidencia que os Thetas (coeficientes de eficiência do DEA) variam, para órgãos da Justiça Estadual, de 0,851512 (TJ-DF, 2017, menos eficiente) a 1 (TJ-AM, 2018, TJ-RR, 2013 e 2015, mais eficientes), sugerindo que o nível de eficiência dos piores colocados em relação aos melhores colocados não é tão díspar.

Cenário semelhante é verificado nos órgãos da Justiça do Trabalho, cuja DMU menos eficiente tem um Theta de 0,85139 (TRT-10-DF, 2014) e a mais eficiente (TRT-22-PI, 2018) tem um Theta de 1 (Benchmark).

Essa relativa homogeneidade entre a eficiência das DMUs vinculadas ao mesmo Poder (Judiciário Estadual ou Trabalhista) pode sugerir que a padronização imposta pelo serviço público pelas leis e regulamentações contribua para uma atuação mais eficiente, e que as discrepâncias verificadas entre as DMUs possam ser causadas por questões pontuais, que uma vez identificadas, possam ser sanadas, melhorando os níveis de eficiência. Tal ponto, inclusive, pode ser objeto de futuras investigações.

Além de que, as boas práticas de gestão realizadas pelos órgãos mais eficientes podem ser investigadas, identificadas e implementadas nos demais órgãos, em especial os menos eficientes, contribuindo, assim, para melhoria de todo o serviço jurisdicional do Estado. A partir dos resultados do DEA, esse ponto pode constituir uma trilha para futuras investigações.

Superada a discussão sobre a eficiência dos órgãos das Justiças Estadual e Trabalhista, esta pesquisa se propõe, ainda, a investigar os determinantes da eficiência dos órgãos do Judiciário brasileiro. Para tanto, empregando variáveis disponíveis no “Justiça em Números”, estimou um modelo de regressão com a finalidade de analisar a relação de causalidade entre um vetor de variáveis e a eficiência das DMUs, estimada com base no DEA.

Como dito, o Theta reportado pelo DEA foi empregado como variável dependente do modelo. Como variáveis explicativas, foram modeladas as seguintes, conforme descrito na metodologia: 𝑙𝑜𝑔𝐷𝑒𝑠𝑝𝑃𝑒𝑠 que refere-se ao logaritmo da despesa com pessoal da DMU; 𝑆𝑒𝑟𝑣𝑀??𝑔 que refere-se ao número de servidores por magistrado na DMU; 𝐷𝑖𝑛𝑓 que refere-se ao gasto com TI por DMU; e 𝑅𝑒𝑐 que refere-se à recorribilidade das decisões da DMU.

A tabela 5 evidencia o resultado do modelo de regressão estimado.

Embora na tabela 5 sejam apresentados os dados dos três modelos rodados, tendo em vista que o mais parcimonioso foi o modelo geral, as análises a seguir baseiam-se nele. Conforme se observa, o R² ajustado da regressão é de 0,428, indicando um bom poder explicativo, ainda mais considerando a complexidade do fenômeno estudado. Isso evidencia que o conjunto de variáveis selecionado é coerente e robusto para explicar os níveis de (in)eficiência dos órgãos do Judiciário analisados.

Analisando o resultado do teste F, verifica-se que o modelo é coerente para o conjunto de variáveis rodadas, o que se observa na estatística do teste (prob. 0.000). Quanto aos coeficientes, a saída da regressão evidencia que apenas o coeficiente associado à variável Rec (recorribilidade) é estatisticamente significativo a 10%, enquanto todos os demais passam pelo teste T a 5%. Quanto à constante, ela é estatisticamente significativa a 1%. Isso evidencia que é possível fazer inferência sobre os dados, dada a significância dos coeficientes associados a cada uma das variáveis.

Quanto aos sinais, recapitulando o que foi dito na metodologia, para logDespPes e Rec esperava-se uma relação negativa ( - ), enquanto que para ServMag e Dinf a intuição econômica conduziu a uma expectativa de relação positiva ( + ).

Conforme evidencia a tabela 5, para logDespPes e Rec a relação esperada foi confirmada pelos dados. A regressão evidenciou que, para a amostra analisada, quanto maior a despesa com pessoal e a recorribilidade da DMU, menor é sua eficiência.

Tais resultados fazem sentido uma vez que altos índices de recorribilidade travam o andamento de outros processos, atrasando o processo de emissão de sentenças, output do DEA e que influencia diretamente os níveis de eficiência de cada DMU. Quando recursos são apresentados à decisões emitidas pela DMU, recursos como o trabalho de servidores e juízes, além de recursos estruturais e outros não podem ser direcionados à análise de novos casos, sendo necessário preparar o processo para a análise da instância superior, julgar embargos, dentre outras atividades que consomem recursos, reduzindo a eficiência da DMU, conforme evidenciou a regressão.

Quanto às despesas com pessoal, considerando que a despesa total foi empregada como input no DEA, era de se esperar que DMUs com maiores volumes de gastos com pessoal apresentassem uma relação negativa com a eficiência, o que foi confirmado pela regressão. Uma frente de análise não explorada na pesquisa, mas que pode constituir uma trilha de pesquisa interessante para o futuro é avaliar qual a fronteira eficiente da despesa com pessoal que faz com que uma DMU seja eficiente. Essa discussão pode contribuir, inclusive, para melhor dimensionamento de pessoal em entes públicos, ou, ao menos, para provocar o debate.

Para o coeficiente associado à variável Dinf, o sinal reportado no modelo de regressão acompanhou a expectativa inicial, indicando que quanto maior o investimento em informática, maior a eficiência do órgão.

Esse resultado é bastante coerente, uma vez que é de se esperar que maiores despesas com TI se traduzam em, efetivamente, maiores recursos tecnológicos, que podem contribuir para maximização da eficiência, redução de desperdícios e substituição, pelas máquinas, de atividades antes feitas por humanos, o que pode gerar economia de recursos públicos, aumentando, assim, a eficiência da DMU.

E por fim, modelou-se a variável ServMag, que se refere ao número de servidores por magistrado na DMU. A expectativa inicial para essa variável era no sentido de que uma maior quantidade de servidores apoiando o magistrado resultaria em uma maior eficiência, pois tais servidores contribuiriam para que os processos tivessem um andamento mais célere, bem como para que um maior número de sentenças fosse exarado por magistrado, o que fundamentava a expectativa de uma relação positiva.

No entanto, o coeficiente associado à variável foi negativo, indicando que quanto maior o número de servidores por magistrado na DMU, menor sua eficiência. Embora o sinal reportado seja diferente da expectativa inicial, ele reforça a relação negativa existente entre a despesa com pessoal e a eficiência da DMU. Uma vez que a despesa com pessoal e a eficiência mantém, entre si, uma relação negativa, é, portanto, coerente que o número de servidores por magistrado e a eficiência apresentem uma relação negativa.

Ao definir-se esta relação esperada como positiva, intuiu-se que mais servidores contribuiriam para o aumento da produtividade do magistrado e, consequentemente, a eficiência da DMU, porém, essa expectativa não foi confirmada pelos dados.

De maneira geral, os achados da pesquisa evidenciam que o vetor de variáveis testado contribui para a explicação dos níveis de eficiência dos órgãos do Judiciário Estadual e Trabalhista brasileiro.

A pesquisa se destaca das demais pelo fato de que não se restringe a apenas ranquear os órgãos mais e menos eficientes, mas sim investiga quais variáveis mantém relação de causalidade com o grau de (in)eficiência verificado. Considerando o poder explicativo da regressão (R² ajustado de 0,4275), verifica-se que as variáveis selecionadas possuem boa capacidade explicativa, além de que se mostraram estatisticamente significativas.

Com isso, a pesquisa avança em relação à literatura prévia em pelo menos dois sentidos. Primeiro, não se restringe à simples identificação da eficiência dos órgãos jurisdicionais analisados, mas sim busca compreender os determinantes da eficiência, obtendo êxito nesse intento, dados os achados da análise de regressão. E também avança ao iniciar uma discussão sobre quais variáveis possam constituir determinantes da eficiência de órgãos jurisdicionais, tema carente de literatura, o que pode constituir uma primeira trilha de pesquisas, passível de ser seguida por futuros pesquisadores em suas investigações.

Feita a discussão dos principais achados da pesquisa, na seção seguinte encaminham-se as considerações finais.

5 CONSIDERAÇÕES FINAIS

O objetivo deste estudo foi investigar o nível de eficiência no emprego dos recursos públicos pelos órgãos da justiça brasileira, analisando, ainda, seus determinantes por meio de uma análise de regressão. Com uma abordagem quantitativa, partiu-se de um modelo DEA CCR orientado a outputs para identificação dos níveis de (in)eficiência dos órgãos da Justiça Estadual e Trabalhista brasileiros para, em seguida, rodar um modelo de regressão para verificar a influência de um vetor de variáveis sobre os níveis de eficiência previamente identificados.

Com uma amostra de dados de 2009 a 2018, os achados permitem fazer uma boa leitura da (in)eficiência do Judiciário Brasileiro na atualidade, bem como compreender algumas de suas causas.

Inicialmente, verificou-se certa homogeneidade no tocante aos níveis de eficiência dos órgãos analisados. Tanto em relação à Justiça Estadual quanto a Trabalhista, as DMUs menos eficientes tem um Theta de 0,85 (aproximadamente), e as mais eficientes um Theta de 1, sugerindo que, talvez, a padronização que o serviço público deve adotar por força da legislação contribua para um comportamento mais homogêneo no tocante aos seus níveis de eficiência.

Mesmo obrigados a seguir normas uniformes, é de se esperar que as DMUs apresentem níveis distintos de eficiência, uma vez que possuem diferentes estruturas e diferentes recursos (humanos e financeiros), o que conduzirá, invariavelmente, a níveis de eficiência distintos. No entanto, conforme evidenciou a análise, a eficiência dos órgãos analisados não é tão díspar.

Essa maior homogeneidade pode constituir um fator positivo com vistas a elevar a eficiência das DMUs menos eficientes, visto que não apresentam níveis de eficiência tão distantes dos melhores colocados, bem como podem contar com essa maior padronização do serviço público visando elevar seus níveis.

No tocante às variáveis que influenciam essa (in)eficiência, destacam-se como variáveis que aumentam a ineficiência das DMUs a despesa com pessoal, a quantidade de servidores por magistrado e o nível de recorribilidade das decisões emitidas pela DMU. Como fator que contribui para o aumento nos níveis de eficiência está o investimento em recursos de TI.

Obviamente que, dadas as restrições do método, as inferências aqui realizadas ficam adstritas à amostra, bem como ao período analisado. No entanto, os achados podem ser úteis para detectar problemas de eficiência em outros órgãos da Administração Pública, bem como potenciais causas dos baixos níveis de eficiência.

Por meio da análise dos órgãos mais eficientes, é possível analisar as boas práticas adotadas e copiar para os demais. Embora constitua uma forma rudimentar de aumentar a eficiência, pode constituir um primeiro passo, visando, ao menos, reduzir os níveis de ineficiência de alguns órgãos do Judiciário por meio da adoção de boas práticas.

Desta forma, o objetivo da pesquisa foi atingido, uma vez que foi possível identificar os órgãos da Justiça Estadual e Trabalhista mais e menos eficientes no Brasil, no período de 2009 a 2018 (via DEA), bem como identificar alguns dos determinantes que ajudam a explicar os níveis de (in)eficiência verificados (via Regressão).

Os resultados da pesquisa corroboram os achados de pesquisas anteriores no sentido de concluir que o método DEA poderia (e deveria) ser utilizado por gestores públicos para detectar seus níveis de eficiência. De posse desse diagnóstico, responsáveis pela gestão pública podem identificar quais fatores levaram a um melhor resultado de alguns órgãos, copiando as boas práticas para os órgãos com menores níveis de eficiência.

A pesquisa, como qualquer outra possui suas limitações. A primeira está na escolha das variáveis para os modelos DEA e de regressão. Como esta pesquisa se descola das anteriores em diversos pontos, algumas decisões quanto as variáveis mostraram-se razoavelmente discricionárias, dado que não se encontrou literatura prévia que suportasse algumas decisões tomadas por ocasião da elaboração da pesquisa. Relações esperadas foram definidas com base na intuição econômica, o que sempre deixa margem para críticas. No entanto, a ausência de literatura prévia específica sobre um assunto não pode ser, na nossa visão, um empecilho ao avançar da ciência, que naturalmente caminha a passos pequenos e algumas vezes por caminhos ainda não trilhados.

Outra limitação diz respeito aos órgãos investigados, que embora constituam uma importante amostra da Justiça Brasileira, não permite que se faça inferência para fora da amostra. Como toda pesquisa, esta possui suas limitações, porém, o avançar da ciência é vagaroso, e pequenos passos dados contribuem para que passos maiores sejam dados posteriormente.

Como recomendação para futuras pesquisas, além dos insights dados ao longo do texto, sugere-se analisar as DMU’s na ótica de novas variáveis de decisão, o que pode indicar novas DMU’s mais e menos eficientes, diferentes das apresentadas nesta pesquisa. Além disso, uma pesquisa de natureza qualitativa, que vise estudar as DMU’s mais e menos eficientes pode indicar quais são as ações que mais contribuem para a eficiência e para a ineficiência desses órgãos do judiciário, sendo, portanto, útil para o aprofundamento da pesquisa em torno do tema.

REFERÊNCIAS

ALONSO, Marcos. Custos no serviço público. Revista do Serviço Público, v. 50, n. 1, p. 37-63, 1999.

BEZERRA, Dayvison Spindola Soares et al. Análise da relação entre receitas e despesas públicas e o desenvolvimento educacional dos municípios brasileiros baseada no índice FIRJAN. Enfoque: Reflexão Contábil, v. 37, n. 2, p. 89-106, 2018.

BITTENCOURT, Wanderson Rocha et al. Eficiência de escala e mudança tecnológica em cooperativas de crédito e bancos múltiplos utilizando o COSIF. Enfoque: Reflexão Contábil, v. 35, n. 2, p. 123-138, 2016.

BOTELHO, Martinho Martins. A eficiência judicial da justiça comum estadual no Brasil: uma análise jurimétrica pelo método DEA. Revista de Processo, Jurisdição e Efetividade da Justiça, v. 2, n. 1, p. 92-110, 2016.

BOWLIN, William F. Measuring performance: An introduction to data envelopment analysis (DEA). The Journal of Cost Analysis, v. 15, n. 2, p. 3-27, 1998.

CHARNES, Abraham; COOPER, William W.; RHODES, Edwardo. Measuring the efficiency of decision making units. European journal of operational research, v. 2, n. 6, p. 429-444, 1978.

COOK, Wade D.; SEIFORD, Larry M. Data envelopment analysis (DEA)-Thirty years on. European Journal of Operational Research, v. 192, n. 1, p. 1-17, 2009.

DELGADO, José Augusto. Responsabilidade civil do Estado pela demora na prestação jurisdicional. Revista de Direito Administrativo, v. 153, p. 259-270, 1983.

FEITÓSA, Camila Gonçalves; SCHULL, Adiulli Natã; HEIN, André Fernando. Análise da eficiência dos gastos em segurança pública nos estados brasileiros através da análise envoltória de dados (DEA). Revista Capital Científico-Eletrônica (RCCҽ)-ISSN 2177-4153, v. 12, n. 3, p. 91-105, 2014.

FITTIPALDI, Italo; COSTA, Saulo Felipe; ARAÚJO, Cletiane Medeiros Costa de. O gasto público federal brasileiro: um perfil incrementalista?. 2017.

GOMES, Adalmir de Oliveira; GUIMARÃES, Tomás de Aquino. Desempenho no Judiciário: conceituação, estado da arte e agenda de pesquisa. Revista de Administração Pública, v. 47, n. 2, p. 379-401, 2013.

KAVESKI, Itzhak David Simão; MARTINS, José Augusto Sousa; SCARPIN, Jorge Eduardo. A eficiência dos gastos públicos com o ensino médio regular nas instituições estaduais brasileiras. Enfoque: Reflexão Contábil, v. 34, n. 1, p. 29-43, 2015.

KITTELSEN, Sverre AC; FØRSUND, Finn R. Efficiency analysis of Norwegian district courts. Journal of Productivity Analysis, v. 3, n. 3, p. 277-306, 1992.

LETA, Fabiana Rodrigues et al. Métodos de melhora de ordenação em DEA aplicados à avaliação estática de tornos mecânicos. Investigação Operacional, v. 25, n. 2, p. 229-242, 2005.

LEWIN, Arie Y.; MOREY, Richard C.; COOK, Thomas J. Evaluating the administrative efficiency of courts. Omega, v. 10, n. 4, p. 401-411, 1982.

LOTFI, F. Hosseinzadeh et al. Relationship between MOLP and DEA based on output-orientated CCR dual model. Expert Systems with Applications, v. 37, n. 6, p. 4331-4336, 2010.

MAGALHÃES, Luís Carlos G. de; COSTA, Carla Rodrigues. Arranjos institucionais, custo da dívida pública e equilíbrio fiscal: a despesa “ausente” e os limites do ajuste estrutural. Texto para discussão / Instituto de Pesquisa Econômica Aplicada. - Brasília: Rio de Janeiro: Ipea, 2018.

MAJOR, Wojciech. Data Envelopment Analysis as an instrument for measuring the efficiency of courts. Operations Research and Decisions, v. 25, n. 4, p. 19-34, 2015.

MARTINS, Eliseu; IUDÍCIBUS, Sérgio de. De Luca Paciolo à volta à contabilidade gerencial. Informações Objetivas, v. 34, p. 335 citation_lastpage= 342, 1991.

MATTSSON, Pontus; TIDANÅ, Claes. Potential efficiency effects of merging the Swedish district courts. Socio-Economic Planning Sciences, v. 67, p. 58-68, 2019.

MOURA, Geovanne Dias; MECKING, Daniela Viana; SCARPIN, Jorge Eduardo. Competitividade de mercado, ativos intangíveis e eficiência na combinação dos ativos fixos em companhias abertas listadas na BM&Fbovespa. Enfoque: Reflexão Contábil, v. 32, n. 3, p. 19-35, 2013.

NISSI, Eugenia; RAPPOSELLI, Agnese. A data envelopment analysis of Italian courts efficiency. Statistica Applicata-Italian Journal of Applied Statistics, v. 22, n. 2, p. 199-210, 2010.

NOGUEIRA, José Marcelo Maia et al. Estudo exploratório da eficiência dos Tribunais de Justiça estaduais brasileiros usando a Análise Envoltória de Dados (DEA). Revista de Administração Pública, v. 46, n. 5, p. 1317-1340, 2012.

NOVA, Casa; DE CASTRO, Silvia Pereira. Utilização da análise por envoltória de dados (DEA) na análise de demonstrações contábeis. 2002. Tese de Doutorado. Universidade de São Paulo.

OLIVEIRA, Leonel Gois Lima. Dez anos de CNJ: reflexões do envolvimento com a melhoria da eficiência do Judiciário brasileiro. Revista do Serviço Público - RSP, v. 68, n. 3, p. 631-656, 2017.

OPRICOVIC, Serafim. A comparative analysis of the DEA-CCR model and the VIKOR method. Yugoslav Journal of Operations Research, v. 18, n. 2, 2016.

PEDRAJA-CHAPARRO, Francisco; SALINAS-JIMENEZ, Javier. An assessment of the efficiency of Spanish Courts using DEA. Applied economics, v. 28, n. 11, p. 1391-1403, 1996.

PEREIRA, Eliane Ribeiro; MELLO, João Carlos Correia Baptista Soares de. Uso da suavização da fronteira na determinação de pesos únicos em modelos DEA CCR. Production, v. 25, n. 3, p. 585-597, 2015.

RAMOS, Marcelo Maciel; CASTRO, Felipe Araújo. Aristocracia judicial brasileira: privilégios, habitus e cumplicidade estrutural. Revista Direito GV, v. 15, n. 2, 2019.

OLIVEIRA, Wanderson Fernandes Modesto; LEONE, Rodrigo José Guerra; DE SOUZA, Lieda Amaral. As variáveis para uma gestão de contratos eficiente: o caso de uma empresa pública federal. Administração Pública e Gestão Social, 2020.

PEREIRA, Marcia Carla et al. Sucumbência recursal no Novo CPC: uma análise econômica. Revista de Informação Legislativa, ano 50, n. 199, 2013.

SANTOS, Sergio P.; AMADO, Carla AF. On the need for reform of the Portuguese judicial system-Does Data Envelopment Analysis assessment support it?. Omega, v. 47, p. 1-16, 2014.

SILVA, Maurício Corrêa et al. Uma abordagem da Teoria Positiva da Contabilidade aplicada no Setor Público. Revista de Administração e Contabilidade da FAT, v. 9, n. 2, 2019.

SILVA, Jeovan Assis; FERREIRA, Guilherme Viana; PRATA, Ana Aires. Desempenho em Juizados Especiais no Brasil: uma análise do período 2009-2016. Revista de Estudos Empíricos em Direito, v. 6, n. 3, p. 231-250, 2019.

SOUSA, M. et al. Efficiency estimates for judicial services in Brazil: Nonparametric FDH (Free Disposal Hull) and the expected order-M efficiency scores for Rio Grande Do Sul courts. Encontro da anpec 33th,, 2005.

TEIXEIRA, Marco Antonio Carvalho; DE ALMEIDA FERNANDES, Gustavo Andrey; LEITE, Rafael Oliveira. Quando se esforçar mais e não gastar mais faz toda a diferença: o caso da saúde pública em municípios do estado de São Paulo. Enfoque: Reflexão Contábil, v. 36, n. 1, p. 123-138, 2017.

TRIGUEIRO, Victor Guedes. A Ineficiência do Poder Judiciário como um Fator de Estímulo ao Descumprimento dos Contratos: reflexões à luz da análise econômica do direito. Revista da Procuradoria-Geral do Banco Central, v. 12, n. 1, p. 135-149, 2018.

YEUNG, Luciana L.; AZEVEDO, Paulo F. Measuring efficiency of Brazilian courts with data envelopment analysis (DEA). IMA Journal of Management Mathematics, v. 22, n. 4, p. 343-356, 2011.

ZAVASCKI, Teori Albino. Eficácia social da prestação jurisdicional. Revista da Faculdade de Direito da UFRGS, v. 9, n. 9, 1993.

ZUBYK, Adriana Ribeiro et al. Eficiência na gestão dos gastos municipais em educação e de saúde: um estudo baseado na análise envoltória de dados no Estado do Paraná. Enfoque: Reflexão Contábil, v. 38, n. 1, p. 123-139, 2019.

Notas

Autor notes

Endereço dos Autores: Rua Campos do Jordão, 106, Jardim Ipê, Foz do Iguaçu - PR - Brasil. 85869-680