O ponto de partida para a análise da eficiência dos magistrados foi a escolha das variáveis, as quais deveriam retratar tanto suas produtividades, quanto os recursos e a estrutura de que dispunham no desempenho de suas atividades. Para tanto, optou-se por utilizar como base os parâmetros estabelecidos no art. 6º da Resolução nº 106/2010 do CNJ (CNJ, 2010), que dispõe sobre os critérios a serem observados para aferição da produtividade nas promoções e acessos de magistrados aos tribunais de 2º grau, a saber:

Art. 6º Na avaliação da produtividade serão considerados os atos praticados pelo magistrado no exercício profissional, levando-se em conta os seguintes parâmetros:

1. 1. I - Estrutura de trabalho, tais como:
2. 2. a) compartilhamento das atividades na unidade jurisdicional com outro magistrado (titular, substituto ou auxiliar);
3. 3. b) acervo e fluxo processual existente na unidade jurisdicional;
4. 4. c) cumulação de atividades;
5. 5. d) competência e tipo do juízo;
6. 6. e) estrutura de funcionamento da vara (recursos humanos, tecnologia, instalações físicas, recursos materiais);
7. 7. II - Volume de produção, mensurado pelo:
8. 8. a) número de audiências realizadas;
9. 9. b) número de conciliações realizadas;
10. 10. c) número de decisões interlocutórias proferidas;
11. 11. d) número de sentenças proferidas, por classe processual e com priorização dos processos mais antigos;
12. 12. e) número de acórdãos e decisões proferidas em substituição ou auxílio no 2º grau, bem como em Turmas Recursais dos Juizados Especiais Cíveis e Criminais;
13. 13. f) o tempo médio do processo na Vara.

Neste sentido, o cálculo das eficiências tomou como base o framework exposto na Quadro 1. A competência e o tipo do juízo, contidos na alínea "d" do inciso I, referente à estrutura de trabalho, foram observados na escolha dos nichos de comparação para fins de cálculo das eficiências relativas. No sistema Eficiência.jus, cada magistrado é comparado apenas com os juízes que atuaram na mesma competência e natureza judicial, no mês de referência do cálculo.

Quadro 1
Variáveis utilizadas para o cálculo de eficiência

Com essa medida pretendeu-se efetuar comparações isonômicas entre magistrados que atuam em competências com trâmites e ritos processuais distintos. Do contrário, certamente gerariam análises superficiais e distorcidas, tendo em vista que variáveis, como número de audiências, sentenças, conciliações e decisões interlocutórias, possuem características particulares, a depender da natureza dos processos que as originem.

Tal fato pode ser facilmente constatado a partir de uma simples observação do quantitativo de audiências, por exemplo, em uma Vara da Fazenda Pública e em uma Vara Criminal, cujos números, por si só, sem a consideração das especificidades intrínsecas de cada competência, poderiam induzir ao equívoco de se concluir que um magistrado atuante numa Vara Criminal seria mais produtivo do que um magistrado da Fazenda Pública, no que se refere ao número de audiências realizadas por mês, quando na realidade é o próprio processo criminal que exige uma maior frequência de audiências a serem realizadas. Em contrapartida, ao se comparar apenas os juízes da mesma competência, como juízes criminais entre si, garante-se que o índice de eficiência relativa calculado refletirá o desempenho líquido de cada magistrado, a partir das suas capacidades individuais.

As competências, por sua vez, foram definidas a partir de minucioso estudo dos normativos que disciplinam as Secretarias de Vara do 1º grau cearense, do qual se pode identificar 53 agrupamentos de unidades com maior similaridade funcional. Os normativos que regraram a construção das citadas competências foram:

1. Lei nº 14.407/2009 - Código de Divisão e Organização Judiciária do Estado do Ceará (CEARÁ, 2009);

2. Resolução nº 18/2009 (TJCE, 2009);

3. Resolução nº 07/2010 (TJCE, 2010a);

4. Resolução nº 10/2010 (TJCE, 2010b);

5. Resolução nº 12/2010 (TJCE, 2010c);

6. Resolução nº 05/2011 (TJCE, 2011).

Para que fosse feita uma aproximação das análises de eficiência da realidade do Poder Judiciário e dos magistrados, foi necessário o desenvolvimento de tratamentos matemáticos que permitissem contemplar, de forma isonômica, o trânsito de juízes para atendimento em várias unidades e a divisão de acervos processuais entre os mesmos. Tais tratamentos podem ser entendidos como algoritmos que, em situações específicas, tratam de maneira diferenciada as variáveis, de forma a sanar as distorções que resultariam da sua utilização direta. O funcionamento de cada algoritmo será detalhado nas subseções seguintes, bem como seus resultados.

No Poder Judiciário são frequentes os casos em que magistrados precisam atuar em mais de uma unidade simultaneamente. Geralmente atuam em decorrência da vacância de cargos de juízes outrora titulares, ou por afastamentos temporários destes, ou mesmo a bem do serviço público, prestando auxílio em determinas áreas mais demandadas. Em casos como estes, a simples consideração das variáveis relacionadas ao acervo processual (casos criminais, casos não criminais, precatórias criminais e precatórias não criminais) de todas as unidades em que o magistrado estivesse atuando poderia lhe trazer prejuízo significativo em termos de eficiência. Desta forma, o somatório dos insumos estaria em descompasso com sua produção no período, a qual não sofreria o mesmo efeito multiplicativo e apenas seria dividida entre as unidades em que o mesmo atuou.

O algoritmo do acervo busca, portanto, sanar tal distorção ao calcular o acervo do juiz de forma proporcional ao número de unidades em que o mesmo trabalhou no mês e de acordo com sua forma de atuação em cada uma delas. Em outras palavras, se o juiz atua como titular da unidade, como auxiliar ou se respondendo temporariamente, no caso da ausência do titular.

Para melhor entendimento do funcionamento do algoritmo, parte-se do caso de uma unidade judiciária X, na qual atuaram, ao longo de um determinado mês, o seu juiz titular, um juiz auxiliar e um juiz respondendo. Admite-se ainda, por hipótese, que nenhum dos três magistrados atuou em outra unidade naquele mês, seja auxiliando, respondendo, ou como titular. A ideia básica do algoritmo, para esse caso, é que cada juiz deva assumir uma parte do acervo da unidade, de forma que cada um teria, nesta unidade, como insumo processual, o resultado do seguinte cálculo:

Relaxando a hipótese de atuação exclusiva, considere-se, agora, que um desses juízes atuou e dividiu o acervo em outras unidades. Nesse novo contexto, a simples soma dos seus acervos parciais ainda lhe seria prejudicial, posto que, como dito anteriormente, ele teve de dividir sua produção dentre todas as unidades em que trabalhou. Em contrapartida, o algoritmo calcula seu acervo final no formato de acervo médio, o qual se aproximaria ao acervo de uma única unidade representativa, caso nela tivesse atuando de forma exclusiva:

Contudo, na prática, a situação funcional do juiz nas unidades (titular, respondente ou auxiliar) também influencia seu grau de responsabilidade sobre os acervos, de forma que tais fatores são considerados no algoritmo da seguinte forma:

Juiz Titular: o magistrado já possui uma unidade sob sua responsabilidade permanente, nela devendo destacar maiores esforços e, ao atuar em outra unidade, fá-lo de forma meramente colaborativa, apenas contribuindo temporariamente. Por essa razão, e como forma de beneficiar o juiz titular que se disponibiliza a ajudar em outras unidades, o algoritmo não o inclui na divisão do acervo das unidades em que estiver respondendo ou auxiliando, sendo a ele adicionado, como insumo trazido destas unidades, apenas o quantitativo de processos referentes às sentenças em que nelas tiver proferido, ou seja, traz para sua análise "100% de eficiência". Segue-se o exemplo da Figura 1:

Figura 1
Cálculo do Acervo do Juiz A
Fonte: Elaborado pelos autores.

Juiz sem titularidade e com respondência: nesses casos, como o magistrado não possui um acervo permanente sob sua responsabilidade, o mesmo dividirá o acervo da unidade em que estiver respondendo, juntamente com os demais juízes que nela atuarem e que também devam entrar na divisão. Contudo, caso o magistrado esteja também auxiliando em alguma outra unidade, esta não entrará na divisão total do acervo, sendo a ele adicionado apenas o quantitativo de processos referentes às sentenças em que tiver proferido na unidade em que respondeu. Segue-se o exemplo da Figura 2:

Figura 2
Cálculo do Acervo do Juiz B
Fonte: Elaborado pelos autores.

Juiz auxiliando: neste último cenário, como o juiz não possui nenhum acervo sob sua titularidade ou respondência temporária, seu acervo final é calculado a partir da média dos acervos parciais obtidos em cada unidade em que estiver atuando. Segue-se o exemplo da Figura 3:

Figura 3
Cálculo do Acervo do Juiz C
Fonte: Elaborado pelos autores.

A partir destas regras, tem-se que o acervo de cada juiz é calculado pelo seguinte algoritmo:

Calculando os acervos parciais de cada juiz, em cada unidade judiciária, dividindo o acervo entre os juízes da unidade que devem entrar na divisão:

Onde:

Tratando do caso em que juízes são titulares em alguma unidade judiciária, sendo seus acervos finais calculados a partir da seguinte fórmula:

Onde:

Tratando do caso em que juízes estão respondendo em alguma unidade judiciária, mas que não são titulares em nenhuma outra, sendo seus acervos finais calculados a partir da seguinte fórmula:

Calculando o acervo final dos juízes que não foram afetados pelos passos 2 e 3 como a média dos acervos parciais calculados:

Vale ressaltar, finalmente, que, apesar de ter sido utilizado o termo genérico "acervo", os cálculos acima são efetuados para cada uma das variáveis relacionados ao estoque processual da unidade, ou seja, casos não criminais, casos criminais, precatórias não criminais e precatórias criminais.

Para consideração das variáveis relacionadas ao quadro funcional e à infraestrutura disponível em cada unidade também foi necessário um tratamento preliminar para se evitar distorções nas análises de eficiência. Contudo tal tratamento se mostra menos complexo, tendo em vista que a situação funcional do magistrado nas unidades não representa qualquer efeito sobre o número de servidores, colaboradores ou de computadores a ser considerado. Neste caso, leva em conta apenas o quantitativo de unidades em que o mesmo atuou.

Desta forma, caso o juiz tenha atuado em mais de uma unidade no mês de referência, o número de funcionários, colaboradores e de computadores que comporão o cálculo da sua eficiência, como insumos, serão dados pela média de cada variável.

Onde:

1. Num_func_i = Número de servidores efetivos da unidade judiciária i.

2. Num_colab_i = Número de ocupantes de cargos comissionados, estagiários e terceirizados da unidade judiciária i.

3. Num_comp_i = Número de computadores da unidade judiciária i.

Observou-se, por fim, que nos meses em que se verificavam períodos fracionados de férias ou de afastamentos do magistrado, a eficiência relativa deste se mostrava subdimensionada e distorcida, uma vez que sua produção era parcial e a comparação se dava com magistrados que produziram de forma integral ao longo do mês em referência. Demais disso, apesar da sua produção ter sido reduzida, os insumos não se restringiam com o seu afastamento, de forma que a eficiência findava por retratar uma baixa relação "insumo-produto".

Desta forma, o algoritmo construído trata a situação da seguinte forma:

1. 1. 1.Caso o juiz tenha trabalhado menos de 15 dias no mês, desconsidera-se o período em referência, não sendo calculado índice de eficiência para o magistrado naquele mês;
2. 2. 2.Caso o juiz tenha trabalhado 15 dias ou mais, considera-se o mês em referência, contudo sua eficiência é calculada a partir de projeções das suas variáveis de produção. Estas partem da sua produção diária média e representam uma aproximação dos quantitativos que teriam sido atingidos, caso o magistrado tivesse trabalhado o mês integral, ou seja:

Onde:

1. V_Projeção ?#61501;?#61472;Projeção mensal da variável de produção (ex :sentenças)

2. V_Produção ?#61501;?#61472;Valor da variável efetivamente produzido no mês

3. D_T ?#61501;?#61472;Número de dias trabalhados pelo juiz

A Resolução nº 106/2010 do CNJ (CNJ, 2010) especifica, no §1º do art. 4º, que, para a avaliação dos magistrados, deverão ser considerados os últimos 24 meses de efetivo exercício, e, em seu art. 11, que a pontuação máxima para o critério de produtividade é de 30 pontos num total de 100. Assim, os 70 pontos restantes referem-se a critérios de desempenho (aspecto qualitativo da prestação jurisdicional), presteza no exercício das funções, aperfeiçoamento técnico e adequação da conduta ao Código de Ética da Magistratura Nacional.

Para o uso do sistema, a análise de eficiência para efeito de promoção é realizada mensalmente, de forma que, ao término dos 24 meses de efetivo exercício, cada magistrado terá 24 índices de eficiência calculados, os quais servirão de base para a construção das pontuações referentes aos critérios de produtividade. Vale ressaltar, ainda, que, se durante um mês o magistrado tiver atuado em mais de uma competência, sua eficiência relativa é calculada em cada uma delas de forma isolada, considerando-se os algoritmos descritos nas seções anteriores.

O cálculo da pontuação, por sua vez, baseia-se no valor padronizado, que indica o quanto acima ou abaixo da média o magistrado está em termos de unidades padronizadas de desvio. Em outras palavras, mostra a posição de um magistrado em relação à média, dado o nível de variabilidade da competência.

Nesse sentido, para cada magistrado, em cada mês, e em cada competência que o mesmo tiver atuado, é calculado o valor padronizado da seguinte forma:

Em que:

1. VP = valor padronizado do magistrado;

2. Eficiência = eficiência do magistrado no mês;

3. Média = média das eficiências dos magistrados da competência;

4. DP = desvio padrão das eficiências da competência.

A partir deste cálculo, tem-se o quanto cada magistrado se distancia da média da competência em unidades de desvio padrão. A forma de cálculo da pontuação a partir do valor padrão poderá ser mais bem entendida através do exemplo que será descrito a seguir.

Suponha-se que o Juiz A teve sua eficiência calculada para o período de 02 meses. A Tabela 3 mostra os resultados de sua eficiência, a média e o desvio padrão da competência, bem como o valor padronizado e a pontuação.

Tabela 3
Resultados da eficiência do Juiz A

Observe-se que a pontuação do juiz é calculada dentro de cada mês, sempre o comparando com o desempenho dos juízes da mesma competência. A pontuação é calculada por meio da seguinte normalização:

Em que:

1. P é a pontuação do magistrado

2. VP_Max é o valor padronizado máximo da competência

3. VP_Juiz é o valor padronizado do magistrad0

Dessa forma, o magistrado com o maior valor padrão é considerado o mais eficiente e, consequentemente, recebe 30 pontos. Como, de acordo com a metodologia estatística do valor padronizado, 99,72% dos valores variam em 3 desvios-padrões acima ou abaixo da média, após simulações realizadas, estipulou-se que, a cada unidade de valor padronizado abaixo do VP_Max, o magistrado perde 2 pontos dos 30 possíveis.

Seguindo o exemplo do Juiz A, demonstra-se na Figura 4 o cálculo da final de sua pontuação, levando-se em conta os demais magistrados da competência:

Figura 4
Cálculo da Pontuação (Juiz A)
Fonte: Elaborado pelos autores.

Nota-se que no mês de janeiro os juízes B e C alcançaram o maior valor padronizado, recebendo 30 pontos cada um. O Juiz A, por sua vez, obteve uma eficiência abaixo da média e por isso ficou com o valor padronizado negativo (aproximadamente uma unidade abaixo do VP_Max), o que fez com que ele perdesse 2 pontos.

Ressalta-se, finalmente, que, se o magistrado tiver atuado em mais de uma competência no período, sua pontuação é calculada dentro de cada uma delas, considerando a respectiva média e desvio padrão, de forma que a pontuação mensal é dada pela média das pontuações obtidas nas diversas competências em que o juiz tiver atuado. A pontuação final do período, por sua vez, é obtida a partir da média das pontuações mensais.

O Eficiência.jus apresenta uma interface em que é possível selecionar os magistrados candidatos à promoção. O sistema gera um relatório que traz para cada candidato, além de informações básicas, como mês de referência da promoção, número de meses considerados para análise e número de candidatos, como se vê no exemplo da Tabela 4.

Tabela 4
Relatório gerado para a promoção de magistrados

A Tabela 4 mostra, para cada mês, a eficiência do juiz, a média, o desvio padrão, o mínimo e o máximo de cada competência em que ele prestou serviço, o valor padronizado e a pontuação que, no caso do juiz abordado no exemplo, corresponde à média das pontuações obtidas por competência, bem como a pontuação sugerida pelo sistema, baseada na média das pontuações mensais do período.