Relatos de Pesquisa
Recepción: 29 Marzo 2022
Aprobación: 30 Mayo 2022
DOI: https://doi.org/10.36517/revpsiufc.13.2.2022.9
Resumo: O estudo apresenta os tamanhos do efeito, seus intervalos de confiança, classificações e visualizações para a atualização normativa de 2018 do Teste não verbal de Inteligência R-1, visto que as diferenças estatisticamente calculadas com base no valor p oferecerem evidências tênues contra a hipótese nula e, por isso, não servem como uma prova da significância clínica. Utilizou-se a amostra normativa do instrumento, composta por 5.595 adultos, de ambos os sexos, com idades entre 18 e 65 anos, provenientes das cinco regiões geográficas brasileiras e subdivididos pelos níveis de ensino fundamental, médio e superior. Os resultados apontaram tamanhos do efeito entre médios e grandes na comparação entre os níveis de ensino fundamental e médio; grande a muito grande na relação entre o ensino fundamental e o superior e; pequenos a médios entre os níveis médio e superior de ensino. Concluiu-se que as diferenças estatisticamente observadas, por meio das análises de variância e pos-hoc de Tukey refletem um efeito real quando se considera o impacto da variável nível de escolaridade no desempenho do teste. Entendeu-se que os estudos normativos do instrumento refletem um impacto real quando se considera a variável em estudo, devendo incluir o tamanho do efeito e seus respectivos intervalos de confiança.
Palavras-chave: Teste de inteligência, normatização, tamanho do efeito.
Abstract: The study presents the effect sizes, their confidence intervals, ratings, and visualizations for the 2018 normative update of the R-1 Nonverbal Intelligence Test, since the statistically calculated differences based on the p-value offer tenuous evidence against the null hypothesis and do not serve as a proof of clinical significance. We used the normative sample of the instrument, consisting of 5,595 adults of both sexes, aged 18 to 65 years, from the five Brazilian geographic regions and subdivided by elementary, middle, and high school levels. The results showed medium to large effect sizes in the comparison between elementary and high school levels; large to very large in the relation between elementary and high school; and small to medium effect sizes between high school and high school levels. It was concluded that the statistically observed differences, by means of variance and Tukey's post-hoc analyses reflect a real effect when considering the impact of the education level variable on test performance. It was understood that normative studies of the instrument reflect a real impact when considering the variable under study, and should include the effect size and their respective confidence intervals.
Keywords: Intelligence test, standardization, effect size.
Introdução
O Teste de Inteligência não verbal R-1 é um teste de fator ., de origem nacional e baseado na Teoria Bifatorial de Spearman. Foi desenvolvido por Rynaldo de Oliveira em 1973 e avalia indivíduos analfabetos, com baixa escolaridade, estrangeiros, motoristas e candidatos à Carteira Nacional de Habilitação (CNH) (GottsFritz & Alves, 2009). Desde seu lançamento, uma série estudos normativos foram desenvolvidos para o instrumento, dentre os quais pode-se citar os trabalhos de Alves (2002, 2009, 2018), Departamento de Pesquisas da Vetor Editora (2010), Esteves, Silva e Cardoso (2014), Gottsfritz e Alves (2009) e Silva e Alves (2018).
Alves (2002) elaborou um novo manual com as normas revistas, considerando os Estados de São Paulo, Paraná, Rio de Janeiro, Espírito Santo, Pernambuco e Rio Grande do Norte. Em 2009, Alves publicou uma ampliação do manual, acrescentando normas para adolescentes da Cidade de Belo Horizonte (MG) e de uma amostra de candidatos à Carteira Nacional de Habilitação (CNH) do Estado do Amazonas. Alves (2018), em observância ao disposto na Resolução do Conselho Federal de Psicologia (CFP) nº 002/2003 e Nota Técnica nº 02/2017, substituídas posteriormente pela Resolução nº 009/2018, apresentou novas tabelas normativas para o R – 1. O Departamento de Pesquisas da Vetor editora (2014), elaborou normas exclusivas para o contexto do trânsito relativas aos Estados do Rio de Janeiro e Paraná. Esteves et al. (2014) publicaram normas também para o contexto do trânsito, envolvendo os estados do Amapá, Bahia, Paraíba e Paraná e as Cidades de Maceió e Cuiabá. GottsFritz e Alves (2009) publicaram normas para indivíduos sem escolarização e/ou analfabetos. Posteriormente, Silva e Alves (2018), objetivaram apresentar normas para o R-1 para uma amostra de motoristas e candidatos a Carteira Nacional de Habilitação de uma região do sudoeste da Bahia – Brasil. Nos resultados, apontaram a necessidade de estabelecer normas por sexo e por nível de escolaridade para a população estudada sendo que, para a variável escolaridade, observaram um tamanho do efeito de n² = .20 (grande). Salienta-se que, na população adulta, diversas pesquisas têm apontado que para o R – 1, o resultado médio aumenta em função do aumento da escolaridade para ambos os sexos (Alves, 1988, 2018).
Ao se analisar os estudos citados, considerando-se os recursos estatísticos utilizados, é comum observar a presença apenas de análises de variância (ANOVA) seguidas pelos respectivos testes pos hoc, geralmente o teste de Tukey, com o valor . < .05 como critério para determinar a existência de diferenças entre as médias de pontos em amostras normalizadas, exceção ao estudo de Alves e Silva (2018) que incluiu o tamanho do efeito para a variável nível de escolaridade. Entretanto, “apenas porque uma estatística teste é significativa não quer dizer que o efeito que ela mede possa ser significativo ou importante” (Field, 2009, p. 56), sendo imprescindível calcular o tamanho do efeito (TDE) para verificar a importância do achado.
Para compreender a ausência do cálculo do TDE na maioria dos estudos, é importante e necessário observar que, mesmo tendo utilidade estatística, o valor . tende a ser mal utilizado e interpretado (Wasserstein & Lazar, 2016). Esse equívoco ocorre em razão de seu valor próximo de .05, quando considerado isoladamente, oferecer apenas evidências fracas em relação à hipótese nula (Johnson, 2013). Essa condição pode gerar consequências na compreensão de seu significado que vai implicar em equívocos importantes para uma considerável parcela de pesquisadores no momento de discutir os resultados de seus estudos e conclusões advindas (Hirakata, Branco Mancuso & de Jezus Castro, 2019).
Um TDE pode ser compreendido como a magnitude de uma relação entre as variáveis independentes e dependentes de um estudo, diferenciando-se do valor . pois, conforme já afirmado, um achado altamente significativo pode corresponder a um pequeno efeito, bem como o seu contrário dependendo do tamanho amostral (Funder & Ozer, 2019). Por conseguinte, pode-se compreender que a significância estatística (valor .) se refere ao quanto é provável que um resultado seja devido ao acaso, enquanto o TDE indica a importância desse resultado (Braga, 2018).
Uma das medidas mais utilizadas de tamanho de efeito para caracterizar as diferenças de médias entre grupos experimentais é o . de Cohen. Essa medida se constitui na diferença média dividida pelo desvio padrão agrupado (Funder & Oser, 2019), sendo expressa por meio de uma série de desvios padrão que separam dois grupos. Ele é comumente empregado “em delineamentos de dois grupos independentes, onde o interesse está na diferença entre duas médias populacionais” (Goulet-Pelletier & Cousineau, 2018, p. 243).
Em relação à sua interpretação, no contexto de duas amostras independentes, Cohen (1988, 1992) definiu tamanhos de efeito com os seguintes valores d = .2 pequeno, d = .5 médio e d = .8 como grande, salientando a necessidade de os pesquisadores serem flexíveis com os referidos valores. Ao se referir a essa flexibilidade, seu objetivo foi evitar que os valores previamente definidos se tornassem padrões para a pesquisa, ou seja, pretendia evitar que fossem seguidos rigidamente (Goulet-Pelletier & Cousineau, 2018; Sawilowsky, 2009). Em outros termos, pode-se incorrer no equívoco de torna-los uma regra rígida, transformando-os numa espécie de valor . < .5 (Gurnsey, 2017). É recomendável, ainda, em relação à classificação proposta por Cohen, relatar as estimativas dos TDEs em conjunto com um intervalo de confiança (IC), em razão de uma amostra de TDE se constituir como uma variável aleatória (Barrosa, Ferrari-Pilonia, Torresb, Estrelac & Valladares-Netod, 2018). Por meio do IC é possível verificar em que medida o efeito real pode estar dentro de uma determinada faixa de valores e nos propicia observar ser menos relevante quando um dos extremos está muito próximo de zero (Souza & Cota, 2016). Assim, ele se torna uma medida da incerteza em torno da estimativa do efeito. Além disso, sendo um intervalo que contém um limite inferior e um superior, indica que o efeito verdadeiro (desconhecido) pode estar em algum lugar dentro desse intervalo (Hespanhol, Vallio, Costa & Saragiotto, 2015).
Uma maneira de se evitar o equívoco descrito, é interpretar um TDE pela linguagem comum ou probabilidade de superioridade (TDE – LC). Essa interpretação indica a probabilidade de uma pessoa retirada ao acaso de um grupo (alvo) ter uma pontuação superior de outra retirada, também ao acaso, de um grupo de comparação (Espirito-Santo & Daniel, 2015). Além do TDE-LC , pode-se acrescentar o .. de Cohen, cuja finalidade está em converter um valor . na probabilidade de o valor de um grupo estar abaixo ou acima da média de outro grupo (Ventura-León, 2018). Além dessas duas estratégias interpretativas, é possível incluir outra, denominada de percentual e/ou coeficiente de sobreposição ou overlap (OVL). Ele é uma medida direta de semelhança entre duas distribuições, sendo geralmente medida na escala de 0 a 1 cujos valores de medida próximos de 0 correspondem as distribuições sem intersecção e 1 para a correspondência perfeita das duas distribuições (Dhaker, Deme & El-Adlouni, 2021).
Frente ao exposto, tornou-se objetivo desse estudo calcular e apresentar os TDEs, seus intervalos de confiança e respectivas classificações para a amostra normativa de 2018 do Teste de inteligência não verbal R – 1. Especificamente, pretendeu-se apurar se as magnitudes das diferenças estatísticas apuradas com base no valor p, por nível de escolaridade, para as cinco regiões geográficas brasileiras e amostra total se configuravam em um efeito real, verificando-se à adequação das tabelas de percentis publicadas.
Método
Este estudo se caracterizou como documental, pelo fato de ter utilizado os dados normativos de 2018 publicados no manual do Teste de inteligência não verbal R – 1, extraídos das tabelas de percentis elaboradas para cada uma das cinco regiões geográficas brasileira e amostra total, por nível de escolaridade.
Participantes.
A amostra foi a mesma utilizada para a atualização normativa do instrumento, composta por 5.595, adultos, sendo 1.526 do sexo feminino (27.3%) e 4.069 do masculino (72.7%) com idades entre 18 e 65 anos (. = 32.74; DP = 10.52). Desse total, 687 indivíduos eram da região Sul (12.3%), 2.372 da Sudeste (42.4%), 431 do Centro-Oeste (7,7%), 925 do Nordeste (16.5%) e 1.180 do Norte (21.3%). Em termos de escolaridade, 23.2% tinham o ensino fundamental, 56,4% o ensino médio e 20.4%, o superior.
Instrumento.
O Teste não verbal de inteligência R – 1 foi desenvolvido para avaliar o fator geral de inteligência. É composto por 40 figuras (itens), que possuem uma parte faltando e que deve ser completada com uma das alternativas disponibilizadas. As figuras são apresentadas em ordem crescente de dificuldade, em que são exigidos diferentes raciocínios para resolução das situações problemas propostas. O instrumento apresenta evidências de validade de critério - convergente (. = 0.77, p < .001) com o teste Matrizes Progressivas de Raven – Escala Geral. A fidedignidade foi obtida por meio do Teste-reteste (. = 0.68, . < .001) e pelo método das metades, com a precisão entre os itens ímpares e pares apresentando um . = .83 que, corrigido pela fórmula de Spearman-Brown, alcançou o valor de . = .91 (Alves, 2018).
Procedimentos.
Em termos éticos, foi solicitada autorização para uso dos dados normativos do R – 1 ao Departamento de Pesquisas e Produtos da Vetor Editora Psicopedagógica Ltda, detentora dos direitos autorais. Após recebido o consentimento, procedeu-se à análise dos dados, extraindo-se as estatísticas descritivas (N, M, DP), por nível de escolaridade das amostras regionais e amostra total constantes nas tabelas de percentis da 4ª edição de 2018 do manual do R – 1. A partir desses dados, foram calculados os tamanhos do efeito (. de Cohen), os intervalos de confiança (95%) e respectivas classificações. Também foram calculados o .. de Cohen, percentual de sobreposição e a probabilidade de superioridade (OVL). Em sequência, foram elaboradas as visualizações dos valores . encontrados, seguindo-se a proposta de Magnusson (2021). Para classificar o . de Cohen, foi adotada a proposta de Sawilowsky (2009), a saber: . (.01) = muito pequeno, . (.2) = pequeno, . (.5) = médio, . (0.8) = grande, . (1.2) = muito grande e . (2.0) = enorme. Como “grupo controle” utilizou-se sempre o grupo de escolaridade com a “menor média de pontos”, fazendo-se as seguintes comparações: ensino fundamental versus ensino médio, ensino fundamental versus ensino superior e ensino médio versus ensino superior, para cada uma das cinco amostras regionais e amostra total.
Resultados
As figuras de 1 a 6 apresentam os TDEs (. de Cohen), os seus respectivos intervalos de confiança e classificações por nível de escolaridade, para cada uma das cinco regiões geográficas brasileiras e amostra total do Teste de inteligência não verbal R – 1. Além do . de Cohen, foram calculados o TDE-LC, .. de Cohen e coeficiente de sobreposição ou overlap (OVL), conforme proposto pela visualização de Magnusson (2021). O objetivo foi estabelecer as magnitude das diferenças estatísticas apontadas nos estudos normativos de 2018. A figura 1 apresenta os dados relativos à Região Sul do Brasil.
Na relação entre as pontuações médias dos indivíduos com nível de ensino fundamental (. = 21.54, DP = 7.29) e médio (. = 27.81, DP = 4.90), observou-se a presença de um . = 1.09, (IC 95% = 0.89, 1.28), classificado como grande. A partir desse TDE, 86.2% do grupo de indivíduos com ensino médio estará acima da média do grupo com ensino fundamental, observando-se uma sobreposição de apenas 58.6% entre os dois grupos. Em termos de probabilidade de superioridade, haverá 78.0% de chance de uma pessoa escolhida aleatoriamente no grupo com ensino médio ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com ensino fundamental.
As pontuações médias dos indivíduos do grupo com nível de ensino fundamental (. = 21.54, DP = 7.29) em relação às pontuações do grupo com o nível superior (. = 30.36, DP = 4.99), resultou em um . de 1.39, (IC 95% = 1.15, 1.64), classificado como muito grande. Essa magnitude de TDE indica que 91.8% do grupo de indivíduos com ensino superior encontra-se acima da média do grupo com ensino fundamental. Consequentemente, a sobreposição observada foi de apenas 48.7% entre os dois grupos, e a chance de uma pessoa escolhida aleatoriamente do grupo com nível superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente do grupo com o nível fundamental será de 83,7%.
A relação entre as médias de pontos dos grupos com ensino médio (. = 27.81, DP = 4.90) e superior (. = 30.36, DP = 4.99) indicou um . de 0,52, (IC 95% = 0.32, 0.71) classificado como médio, apontando que 69.8% do grupo com nível de ensino superior estará acima da média do grupo com nível médio. A sobreposição foi de 79.5% entre os dois grupos, existindo 64.3% de chance de uma pessoa escolhida aleatoriamente do grupo com escolaridade superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível médio. A figura 2 apresenta os dados da Região Sudeste do Brasil.
Os dados da Região Sudeste apontaram um . = 0.75, (IC 95% = 0.65, 0.86), classificado como médio, entre os níveis de ensino fundamental (. = 29.31, DP = 4.91) e médio (. = 23.38, DP = 6.06). Com base nesse valor de TDE, 77.3% do grupo com nível médio de ensino estará acima da média do grupo com nível fundamental. 70.8% dos dois grupos se sobreporão, havendo 70.2% de chance de que uma pessoa escolhida aleatoriamente no grupo com nível médio tenha uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível fundamental de ensino.
Quando se analisa a relação entre as médias de pontos dos grupos com ensino fundamental (. = 31.58, DP = 5.04) e superior (. = 25.38, DP = 6.06) de ensino, observou-se d = 1,11, (IC 95% = 0.98, 1.24) considerado de magnitude grande. Com essa magnitude de TDE, 86,7% do grupo com nível superior estará acima da média do grupo com nível fundamental. Assim, somente 57.9% dos dois grupos se sobreporão, existindo 78.4% de chance de uma pessoa escolhida aleatoriamente do grupo com nível superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com ensino fundamental (probabilidade de superioridade).
A relação entre as médias de pontos dos níveis de ensino médio (. = 31.58, DP = 5.04) e superior (. = 29.31, DP = 4.91) indicou um . de Cohen de 0.46, (IC 95% = 0.35, 0.56), classificado como pequeno. Com esse TDE, 67.7% do grupo com nível superior estará acima da média do grupo com nível médio. A sobreposição observada foi de 81.8%, existindo a chance de 62.8% de uma pessoa escolhida aleatoriamente no grupo com nível superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível de ensino médio (probabilidade de superioridade). A figura 3 apresenta as visualizações para a Região Centro-Oeste brasileira.
As pontuações médias entre os níveis de ensino fundamental (. = 22.93, DP = 6.55) e médio (. = 28.05, DP = 5.29) da região centro-oeste apresentou um . = 0.88, (IC 95% = 0.64, 1.11), classificado como grande. Observou-se que 81.1% do grupo com nível médio estará acima da média do grupo com nível fundamental de ensino. Assim, haverá 66.0% de sobreposição entre os dois grupos e 73.3% chance de uma pessoa escolhida aleatoriamente no grupo com nível médio ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível fundamental de ensino.
Quando se consideram as pontuações médias entre os níveis de ensino fundamental (. = 22.93, DP = 6.55) e superior (. = 31.86, DP = 4.32), o . apurado foi de 1,58, (IC 95% = 1.29, 1.87), considerado muito grande. Assim, 94.3% do grupo com nível superior estará acima da média do grupo com nível fundamental. Como consequência, a sobreposição será apenas de 43.0% entre os dois grupos, existindo 86.8% de chance de uma pessoa escolhida aleatoriamente no grupo com nível superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível fundamental de ensino.
As médias de pontuações no R – 1 para os grupos com ensino médio (. = 28.05, DP = 5,29) e superior (. = 31.86, DP = 4.32) indicaram um . = 0.77, (IC 95% = 0.52, 1.01), classificado como médio. Essa magnitude de TDE, aponta que 77.9% do grupo com nível superior estará acima da média do grupo com nível médio. Desse modo, haverá uma sobreposição entre os dois grupos na ordem de 70.0% e uma chance de 70.7% de uma pessoa escolhida aleatoriamente no grupo com nível superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível médio de ensino. A figura 4 apresenta as visualizações entre os níveis de ensino para a Região Nordeste brasileira.
Ao se comparar as médias das pontuações dos grupos com ensino fundamental (. = 23.89, DP = 5.94) e médio (. = 28.77, DP = 5.18), constatou-se um . de 0.73, (IC 95% = 0.54, 0.92), classificado como médio. Esse TDE indica que 76.7% do grupo com ensino médio estará acima da média do grupo com ensino fundamental, com uma sobreposição 71.5% entre os dois grupos. Por fim, haverá 69.7% de chance de uma pessoa escolhida aleatoriamente no grupo com ensino médio ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com ensino fundamental.
Com um . de Cohen de 1.44, (IC 95% = 0.54, 0.92), verificou-se um TDE muito grande entre as pontuações médias do grupo com ensino fundamental (. = 24.71, DP = 5.67) em relação ao grupo com ensino superior (. = 31.04, DP = 4.42). A partir desse TDE, 92.5% dos indivíduos do grupo com ensino superior estarão acima da média dos indivíduos do grupo com ensino fundamental. A sobreposição entre os dois grupos será de apenas 47.2% , existindo 84.6% de chance de uma pessoa escolhida aleatoriamente no grupo com nível de ensino superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível fundamental.
Com um . de 0,61 (IC 95% = 0.42, 0.80), classificado como médio entre as pontuações médias do grupo com nível de ensino médio (. = 28.52, DP = 5.18) e o grupo com nível superior (. = 31.04, DP = 4.42), 72.9% do grupo com ensino superior estará acima da média do grupo com ensino médio. 76,0% dos dois grupos se sobreporão, e há 66.7% de chance de uma pessoa escolhida aleatoriamente no grupo com nível superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível médio de escolaridade.
A comparação das pontuações médias entre os grupos com ensino fundamental (. = 24.71, DP = 5.67) e médio (. = 28.52, DP = 5.07) indicaram um d médio de 0.73 (IC 95% = 0.57, 0.90). Assim, 76.7% dos indivíduos do grupo com nível médio de ensino estarão acima da média dos indivíduos com nível fundamental (U.de Cohen). A sobreposição entre os dois grupos será de 71.5%, sendo a probabilidade de superioridade de 69.7%, ou seja, a chance de uma pessoa escolhida aleatoriamente no grupo com ensino médio ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível fundamental de ensino.
Na relação comparativa entre as médias de pontuações dos grupos com nível de ensino fundamental (. = 24.71, DP = 5.67) e superior (. = 31,83, DP = 3.84), obteve-se um . de 1,54, considerado muito grande. Esse TDE indica que 93.8% do grupo com ensino superior estará acima da média do grupo com ensino fundamental (U.de Cohen). Com base nessa superioridade de desempenho do grupo com nível superior, apenas 44.1% dos dois grupos se sobreporão. Por conseguinte, há 86.2% de chance de uma pessoa escolhida aleatoriamente no grupo com ensino superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com ensino fundamental (probabilidade de superioridade).
Com um . de Cohen de 0,70, 75,8% do grupo "tratamento" estará acima da média do grupo "controle" (U.de Cohen), 72,6% dos dois grupos se sobreporão, e há 69,0% de chance de uma pessoa escolhida aleatoriamente do grupo de tratamento ter uma pontuação maior do que uma pessoa escolhida aleatoriamente do grupo de controle (probabilidade de superioridade).
Um . de 0.75 (IC 95% = 0.69, 0.82) foi apurado entre os níveis de ensino fundamental (. = 24.17, DP = 6.33) e médio (. = 28.80, DP = 5.03). Com base nesse TDE, o .. de Cohen apontou que 77.3% dos indivíduos do grupo com ensino médio estarão acima da média do grupo com nível fundamental. Assim, haverá uma sobreposição de 70.8% entre os dois grupos, e 70.2% de chance de uma pessoa escolhida aleatoriamente no grupo com ensino médio ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com nível fundamental (probabilidade de superioridade).
Com um . de 1.20 (IC 95% = 0.98, 1.15), considerado muito grande, entre as pontuações médias dos grupos com ensino fundamental (. = 24.17, DP = 6.33) e superior (. = 31.45, DP = 4.62), 88.5% do grupo com ensino superior estará acima da média do grupo com ensino fundamental (U.de Cohen). Com esse TDE muito grande, apenas 54.9% dos dois grupos se sobreporão, e haverá 80.2% de chance de uma pessoa escolhida aleatoriamente no grupo dos indivíduos com ensino superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo de indivíduos com o nível fundamental (probabilidade de superioridade).
Entre os grupos com ensino médio (. = 28.80, DP= 5.03) e superior (. = 31.45, DP = 4.62), apurou-se um . de 0.54 (IC 95% = 0.47, 0.61), classificado como médio. Com base nesse valor, observou-se que 70.5% do grupo com ensino superior estará acima da média do grupo com ensino médio (.. de Cohen). Assim, constatou-se que 78.7% dos dois grupos se sobreporão, existindo 64.9% de chance de uma pessoa escolhida aleatoriamente no grupo com ensino superior ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no grupo com ensino médio (probabilidade de superioridade).
Discussão
Para a elaboração da discussão dos resultados desse estudo, partiu-se de duas premissas tidas como opostas: o tamanho da amostra e a constatação de que a variável nível de escolaridade exerça influência no desempenho no teste. Essa oposição centrou-se no fato de que, conforme destacado na introdução, um valor . significativo (< .05) pode ser obtido apenas com o aumento o tamanho de uma amostra, entretanto essa condição não indica que a diferença estatisticamente apurada reflita um efeito real. A partir dela, o estudo normativo de 2018 do R – 1 poderia ter obtido diferenças estatisticamente significativas por esse motivo, afinal as amostras por região e nível de escolaridade podem ser consideradas grandes. Em oposição, tem-se a premissa de que nas pesquisas normativas desenvolvidas com o instrumento, a variável nível de escolaridade exerceu influência no desempenho dos indivíduos, no sentido de que a pontuação média aumentou em função do aumento do nível de escolaridade (Alves, 1988; 2018). Com base nessa constatação, pode-se conjecturar que as tabelas normativas de 2018 do instrumento refletem realmente diferenças entre os níveis de escolaridade, mesmo tendo sido elaboradas apenas com base no valor p.
Os cálculos dos TDEs, seus intervalos de confiança e respectivas classificações (vide tabela 1) foram cruciais para identificar quais das duas premissas era verdadeira. Eles indicaram que as diferenças estatisticamente apuradas refletem tamanhos de efeitos médios a muito grandes, em sua grande maioria. Assim, a probabilidade de que elas tivessem sido constatadas em função do tamanho da amostra foi afastada e confirmam os achados indicados por Alves, (1988; 2018), de que a variável nível de escolaridade tem influência no desempenho de quem responde ao R – 1.
No tocante ao .. Cohen e as sobreposições apuradas, foi possível observar que existe uma relação proporcionalmente inversa entre esses dois dados, considerando-se a variável nível de escolaridade. Assim, quanto maiores foram os percentuais do .. de Cohen, menores foram as respectivas sobreposições e vice-versa. Como exemplo da primeira condição, pode-se citar o .. Cohen e a sobreposição entre os níveis de ensino fundamental e superior da região sul ( vide interpretação do segundo gráfico da figura 1), e o seu inverso, entre os níveis de ensino médio e superior, da região sudeste ( vide interpretação do terceiro gráfico da figura 2). Essa relação inversamente proporcional indica que quando se compara os níveis extremos de escolaridade (nível fundamental versus nível superior) o .. de Cohen predomina e, quando se compara níveis de ensino sequenciais (nível fundamental versus o médio e/ou médio versus o nível superior), o predomínio é da sobreposição. Em outras palavras, na primeira condição observa-se o distanciamento entre os níveis de ensino e, na segunda, a aproximação. Tal aspecto também se reflete na probabilidade de superioridade, pois quanto maior ou menor foi o .. de Cohen ou a sobreposição, também maior ou menor será a probabilidade de uma pessoa escolhida aleatoriamente em um grupo ter uma pontuação maior do que uma pessoa escolhida aleatoriamente no outro grupo.
Com relação à hipótese nula (H0), é necessário considerar que ela pura e simplesmente não é capaz de indicar o impacto que uma variável causa. Sua natureza estatística apenas aponta para a probabilidade de obter resultados ao acaso for < 0.5, fazendo-nos aceitar hipótese experimental (H1) ou que exista um efeito na população. No caso dos estudos normativos de 2018 do R – 1 foi o que ocorreu, ou seja, rejeitou-se a probabilidade de que os indivíduos, submetidos ao instrumento com níveis de ensino diferentes, não apresentassem desempenhos também diferenciados. Entretanto, não expressou se a variável nível de escolaridade tenha causado efeitos importantes ou não. No presente estudo, a rejeição de H0 foi confirmada por meio do impacto que os três níveis de ensino causam no desempenho dos indivíduos submetidos ao R – 1, justificando a elaboração das tabelas de percentis pelos níveis de ensino fundamental, médio e superior publicadas.
Conclusões
O objetivo desse estudo foi o de calcular e apresentar os TDEs, seus intervalos de confiança e respectivas classificações para a amostra normativa de 2018 do Teste de inteligência não verbal R – 1. Pretendeu-se verificar se as magnitudes das diferenças estatísticas apuradas com base no valor p, por nível de escolaridade configuravam em um efeito real e respectiva adequação das tabelas de percentis publicadas.
Ficou demonstrado que a rejeição da hipótese nula (H0), de que a variável nivel de escolaridade não exercia influencia no desempenho no teste. Os TDEs aputados demonstram existir um efeito real quando se considera os três níveis de ensino para as cinco regiões brasileiras e amostra total. Assim, observou-se à adequação das tabelas de percentis publicadas, sem a necessidade de revisão dos estudos normativos de 2018.
Por fim, salienta-se que o presente trabalho pode ser usado como um benchmark, ou seja, um índice de referência para à avaliação na área da inteligência, medida por meio do fator g, considerando-se nos níveis de ensino fundamental, médio e superior. Ele poderá ser utilizado em estudos posteriores para confirmar ou refutar seus achados.
Material suplementar
suppl1.png (png)
suppl2.png (png)
suppl3.png (png)
suppl4.png (png)
suppl5.png (png)
suppl6.png (png)
Referências
Alves, I. C. B. (1998). Variáveis significativas na avaliação da inteligência. Psicologia Escolar e Educacional, 2(2), 109-114. doi: https://doi.org/10.1590/S1413-85571998000200005
Alves, I. C. B. (2002). R – 1: Teste não verbal de inteligência – Manual. (2a ed.). São Paulo: Vetor Editora.
Alves, I. C. B. (2009). R-1: Teste Não Verbal de Inteligência - Manual. (3a ed. ampliada). São Paulo: Vetor Editora.
Alves, I. C. B. (2018). Teste não verbal de inteligência (R-1).( 4a ed). São Paulo: Vetor Editora.
Barrosa, L. A. N., Ferrari-Pilonia, C., Torresb, E. M., Estrelac, C., & Valladares-Netod, J. (2018). Effect size: a statistical basis for clinical practice. Rev Odonto Cienc. 33(1), 84-90. doi: https://doi.org/10.15448/1980-6523.2018.1.29437
Braga, M. B. P. (2018). Escala de Proficiência em Concepções Térmicas: Diagnóstico Psicométrico de Estudantes em Portugal e Brasil (Tese), Florianópolis: Universidade Federal de Santa Catarina.
Cohen J. (1988). Statistical power analysis for the behavioral sciences. (2th ed). New York: Lawrence Eribaum.
Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi: https://doi.org/10.1037/0033-2909.112.1.155
Conselho Federal de Psicologia (2018). Resolução CFP 09/2018. Estabelece diretrizes para a realização da Avaliação Psicológica no exercício profissional da psicóloga e do psicólogo, regulamenta o Sistema de Avaliação de Testes Psicológicos – SATEPSI e revoga as Resoluções n o 022/2003, nº006/2004 e nº 005/2012 e Notas Técnicas nº 01/2017 e 02/2017. Brasília: Conselho Federal de Psicologia.
Departamento de Pesquisa e Desenvolvimento da Vetor Editora Psicopedagógica. (2010). Novas Tabelas de normas: Testes da Vetor Editora. São Paulo: Vetor Editora.
Dhaker, H.. Deme, El-H, & El-Adlouni S. (2021). On Inference of Overlapping Coefficients in Two Inverse Lomax Populations. Journal of Statistical Theory and Applications. 20(1), March 2021, pp. 61–75. doi: https://doi.org/10.2991/jsta.d.210107.002
Esteves, C., Silva, F. C., & Cardoso, T. (2014). Tabelas normativas: Avaliação psicológica no contexto de trânsito. São Paulo: Vetor Editora.
Espirito-Santo, H. & Daniel, F. (2015). Calcular e apresentar tamanhos do efeito em trabalhos científicos (1): As limitações do p < 0,05 na análise de diferenças de médias de dois grupos. Revista Portuguesa de Investigação Comportamental e Social, 1(1), 3-16. http://repositorio.ismt.pt/jspui/handle/123456789/429
Field, A. (2009). Descobrindo a estatística usando o SPSS. (2a ed.). Porto Alegre: Artmed.
Funder, D. C., & Ozer, D. J. (2019). Evaluating effect size in psychological research: Sense and nonsense. Advances in Methods and Practices in Psychological Science, 2 (2), 156–168. doi: https://doi.org/10.1177/2515245919847202
GottsFritz, M. O.; Alves, I. C. B. (2009). Normas do Teste de Inteligência Não Verbal R-1 para Adultos Não Alfabetizados. Interação em Psicologia, 13(1), p. 59-68. doi: http://dx.doi.org/10.5380/psi.v13i1.15856
Goulet-Pelletier, J.-C., & Cousineau, D. (2018). A review of effect sizes and their confidence intervals, part I: The cohen’s d family. The Quantitative Methods for Psychology, 14(4), 242–265. doi:10.20982/tqmp.14.4.p242
Gurnsey, F. N. (2017). Statistics for research in Psychology: A modern approach using estimation. (1th ed.). Montreal, CA: SAGE.
Hespanhol, L., Vallio C.S., Costa, L. M. & Saragiotto, B.T. (2018). Understanding and interpreting confidence and credible intervals around effect estimates. Brazilian Journal of Physical Therapy. 23(4), 290-301. doi: https://doi.org/10.1016/j.bjpt.2018.12.006
Hirakata, V., Branco Mancuso, A., & de Jezus Castro, S. (2019). Teste de Hipóteses: Perguntas que você sempre quis fazer, mas nunca teve coragem. Clinical & Biomedical Research, 39(2), 181-185. doi: https://doi.org/10.4322/2357-9730.93649
Johnson, V. E. (2013). Revised standards for statistical evidence. PNAS, 110(48), 19313–19317. doi: doi:10. 1073/pnas.1313476110/-/DCSupplemental.
Magnusson, K. (2021). Interpreting Cohen's d effect size: An interactive visualization (Version 2.5.1) [Web App]. R Psychologist. https://rpsychologist.com/cohend/
Sawilowisky, S. S. (2009). New Effect size rules of thumb. Journal of Modern Applied Statistical Methods, 8(2). 597-599. doi: https://doi.org/10.1080/00273171.2012.658329
Silva, M. A.; Alves, I. C. B. (2018). Estudo normativo do R-1: Teste não verbal de inteligência para uma região da Bahia-Brasil. Estudos Interdisciplinares em Psicologia. (9), 3supl, p. 38-53.
Souza, M. D. R. (2018). Principais medidas de magnitude do efeito utilizadas na comparação de dois grupos (Trabalho de Conclusão de Curso de Graduação não-publicado), Brasília: Instituto de Ciências Exatas Departamento de Estatística da Universidade de Brasília.
Ventura-León, J. (2018). Otras formas de entender la d de Cohen. Evaluar, 18(3), 73-78. doi: https://10.35670/1667-4545.v18.n3.22305