Na Epidemiologia, a validade refere-se à capacidade de obter estimativas de exposição ou doença (ou seja, medidas de ocorrência: incidência ou prevalência) ou de associação entre exposição e doença (ou seja, medidas de associações: diferenças ou proporções de risco e taxas, em termos gerais), que estão, em média, próximas do valor real. Como o valor verdadeiro é, em geral, desconhecido, a avaliação da validade é indireta e consiste em avaliar a ausência de erros sistemáticos ou vieses importantes (fator de confusão, seleção e falta de informações). Observe que os erros sistemáticos não podem ser reduzidos com o aumento do tamanho do estudo.

Os autores do ensaio¹ observam corretamente que a validade suficiente (não existe perfeição) é o pré-requisito fundamental de um bom estudo epidemiológico. De fato, nos últimos anos, um grande conjunto de técnicas, chamadas de “análises quantitativas de viés”, foi desenvolvido para quantificar vieses relacionados a fatores de confusão, seleção e informação⁵. Infelizmente, essas ferramentas ainda não são amplamente usadas na pesquisa biomédica.

Observei que existem muitas dúvidas sobre fatores de confusão fora do campo epidemiológico. Em primeiro lugar, um mito comum é que qualquer “terceira variável” (além da exposição e do efeito) é um fator de confusão a ser ajustado com análises multivariáveis; não reconhecendo que essas terceiras variáveis podem ter funções diferentes nos caminhos causais, atuando como mediadores, modificadores de efeito, fatores sinérgicos ou colisores, cada um exigindo tratamento específico nas fases de projeto ou análise^6-9. Em segundo lugar, muitos ainda pensam, incorretamente, que os possíveis fatores de confusão são as variáveis que foram “estatisticamente significativas” na análise univariada, quando, na verdade, deve-se usar outras ferramentas não estatísticas para identificar fatores de confusão, por exemplo, gráficos acíclicos direcionados (DAGs)^6-9.

Na Epidemiologia, a precisão refere-se à capacidade de obter estimativas de medidas de ocorrência ou de associação entre exposição e doença que tenham pouca variabilidade (em repetições hipotéticas do estudo). Formalmente, Precisão = 1/Variância(Estimativa), em que a variância é o erro-padrão ao quadrado (SE) da estimativa. Para medidas relativas (“riscos relativos”, RR), é melhor considerar o SE de ln(RR). A precisão reflete a quantidade de informações (ou, ao contrário, a quantidade de incerteza, o erro aleatório) no estudo. Ao contrário da validade, a precisão pode ser aumentada com o aumento do tamanho do estudo.

A precisão estatística de um estudo é facilmente avaliada pela amplitude do intervalo de confiança (IC), que depende do SE. No entanto, os autores do ensaio¹ apontam corretamente que, com muita frequência, o IC é mal interpretado, rotulando um resultado como “estatisticamente significativo” (ou não) com base no fato de que o IC não inclui (ou inclui) o valor nulo, assim reduzindo o IC a um teste de hipóteses.

Podemos dizer que “o principal objetivo de uma análise estatística deve ser a produção das estimativas de efeito mais exatas (válidas e precisas) que podem ser obtidas a partir dos dados”¹⁰. Infelizmente, embora as questões de validade geralmente tenham um impacto maior sobre a precisão do estudo, grande parte da ênfase do ensino de estatística ainda está na estatística inferencial, para tratar de erros aleatórios. Há duas classes amplas de métodos estatísticos usados para esse escopo: teste de hipótese e intervalo de confiança (IC).

O teste de hipótese produz valores-P, que estão amplamente sujeitos a interpretações errôneas. Os autores do ensaio¹ lembram que a estatística inferencial é totalmente apropriada somente quando a randomização foi usada. Mas a maioria das pesquisas é observacional: nessas situações, pode-se usar a estatística como um auxílio para avaliar a incerteza nos resultados. Infelizmente, frequentemente esse não é o caso. Muitos livros (por exemplo, Rothman et al., 2008)¹¹ e artigos (por exemplo, Sterne e Davey Smith, 2001)¹² discutiram os diversos problemas dos valores-p. Acredito que o uso indevido mais pernicioso é a tendência generalizada de dicotomizar o valor-p em “P < 0,05” (chamado de estatisticamente significativo e, portanto, “positivo”) e “P > 0,05” (qualificado como estatisticamente não significativo e, portanto, “negativo”). Esse comportamento foi rotulado como dicotomania¹³.

O IC é uma maneira muito melhor de expressar e comunicar resultados científicos. Ao se concentrar na precisão em vez de na significância estatística, três números (a estimativa do efeito e os limites de confiança inferior e superior) transmitem tanto a significância para a saúde quanto a incerteza estatística¹⁴. Infelizmente, conforme observado acima, com muita frequência os ICs são reduzidos a testes de hipótese, caindo na armadilha da dicotomania.

Como corretamente observado pelos autores do ensaio¹, o conhecimento na ciência avança por meio da replicação de resultados em diferentes condições, com o auxílio de várias outras disciplinas fora do campo epidemiológico (por exemplo, biologia, toxicologia). A esse respeito, observe que os famosos “critérios de Hill” para avaliar a causalidade não incluem a significância estatística¹¹. Na maioria das situações, um único estudo não pode levar a uma avaliação conclusiva por si só. Ferramentas importantes para decidir sobre relações causais são as revisões sistemáticas, em especial as revisões sistemáticas quantitativas ou meta-análises. Seria fácil avaliar a irrelevância da significância estatística ao refletir por alguns segundos sobre o fato de que a meta-análise faz uso de intervalos de confiança, sem considerar os valores-P de cada estudo.

A ciência é uma tarefa mais complexa do que calcular um único número e compará-lo a um limite completamente arbitrário⁷. É necessária uma forte mudança cultural (que inclui o abandono do foco no teste de hipóteses) na forma como a estatística é ensinada, usada e interpretada^13,15. Enquanto aguardam esse momento, os leitores podem seguir três recomendações simples ao enviar manuscritos¹⁶: 1) Apresente estimativas de efeito juntamente com seus intervalos de confiança em vez de valores-P, evitando qualificar o resultado como estatisticamente significativo ou não com base no fato de que o intervalo inclui (ou não) o valor nulo. 2) Não escreva na seção de métodos do artigo frases como “Consideramos estatisticamente significativo um valor-P < 0,05”. 3) Se você informar os valores-P, evite rotulá-los como estatisticamente significativos ou não; em vez disso, avalie-os de forma qualitativa e não rígida e considere a relevância dos resultados para a saúde (por exemplo, a magnitude do risco relativo ou da diferença de risco). Independentemente dos valores-P, seu estudo pode ser incluído em uma meta-análise no futuro.

Para finalizar, gosto de citar uma frase incisiva de um editorial recente de uma importante revista de estatística¹⁷: “statistically significant – don’t say it and don’t use it [estatisticamente significativo - não diga isso e não use isso]”.

Contato: Dario Consonni E-mail dario.consonni@unimi.it