Educação e Tecnologia
Recepção: 01 Março 2019
Aprovação: 08 Abril 2019
DOI: https://doi.org/10.17851/1983-3652.12.2.152-171
Resumo: Este trabalho apresenta um estudo que descreve os procedimentos de construção de uma escala de autoavaliação de competências digitais de professores e as suas qualidades psicométricas. Depois de algumas considerações sobre o construto e a sua operacionalização, efetuou-se a análise dos procedimentos da sua construção, realizou-se a análise de consistência interna através do cálculo do coeficiente alfa de Cronbach e a análise da validade do construto (análise fatorial exploratória e confirmatória). Para além de bons indicadores de validade, globalmente, as medidas aplicadas caracterizam-se por uma fidelidade boa e estruturas fatoriais interpretáveis.
Palavras-chave: escala de autoavaliação, competências digitais docentes, fluência digital.
Abstract: This paper presents a study that describes the procedures for the construction of a self-assessment scale of teachers' digital competences and their psychometric qualities. After some considerations about the construct and its operationalization, the procedures of its construction were analysed, the internal consistency analysis was carried out through the calculation of the Cronbach alpha coefficient and the analysis of the construct validity (exploratory and confirmatory factorial analysis). In addition to good indicators of validity, overall, the applied measures are characterized by a good fidelity and interpretable factorial structures.
Keywords: self-evaluation scale, teachers' digital competences, digital fluency.
1 Introdução
Face aos atuais desafios tecnológicos que se colocam à Educação, o recurso às tecnologias e plataformas digitais, aos ambientes virtuais de aprendizagem e às redes sociais torna-se uma realidade incontornável, despertando o interesse da comunidade acadêmica e científica e aumentando a necessidade de formação dos professores e de reflexão aprofundada acerca do seu papel no processo pedagógico.
A introdução das tecnologias digitais em diferentes cenários e ambientes da atividade humana, entre os quais os da educação e da formação, tem contribuído para o desenho de modelos e metodologias de aprendizagem baseadas na cooperação entre os seus membros. A aquisição desse tipo de competências, cooperativas e colaborativas, é de grande relevância na área da educação e deve ser transversal a todos os cenários da vida das pessoas.
A mudança de paradigma e de filosofia educacional, para uma educação aberta e em rede, mediada pelas tecnologias digitais exige, pois, uma política ativa de formação docente, de conversão para níveis elevados de fluência digital, garantindo assim práticas pedagógicas de qualidade (OZAN; KEZIM, 2013).
Porém, para que essa mudança ocorra, é necessário, por um lado, que se valorize institucionalmente uma Educação Digital, ou seja, que se valorizem as práticas pedagógicas enriquecidas com tecnologias digitais, e por outro, que seja realizado um investimento na formação dos professores para essa mesma Educação Digital. Nesse contexto, o modelo teórico Technological Pedagogical Content Knowledge (TPACK) pode assumir um papel central, uma vez que reconhece a necessidade de integrar a tecnologia no ensino, interligando conhecimentos científicos, pedagógicos e tecnológicos, sem negligenciar a natureza complexa, multifacetada e situada de conhecimento dos professores (DIAS-TRINDADE; MOREIRA, 2018a).
E é por isso que é cada vez mais premente perceber como se poderá diferenciar aqueles que são digitalmente letrados, daqueles que são digitalmente fluentes. Note-se que a esse respeito, já no final do século passado o National Research Council dos EUA apontava a diferença entre alguém que sabia usar, do ponto de vista técnico, ferramentas digitais e alguém que compreendia efetivamente a tecnologia digital, sabendo-a aplicar de forma produtiva no seu trabalho e na sua vida quotidiana (NRC, 1999, p. 15). Torna-se, pois, necessário perceber as diferenças entre os conceitos de literacia e fluência, em particular de que forma esses termos configuram etapas ou níveis de competência diferenciados no uso da tecnologia em contexto educativo (BRIGGS; MAKICE, 2011).
Efetivamente, aprender a utilizar a tecnologia digital nesse contexto, passa por procurar uma capacitação ao nível da fluência digital, mesmo tendo consciência que essa etapa é a mais difícil de atingir, já que ser fluente digital corresponde a
Uma capacidade para atingir de forma confiável os resultados desejados através do uso de tecnologias digitais. […] Uma pessoa digitalmente fluente sabe não só o que fazer com a tecnologia e como fazê-lo, mas também quando e porquê usá-la (BRIGGS; MAKICE, 2011, p. 120)[1].
É fundamental que os docentes estejam conscientes da validade das competências digitais na sua profissão, quer no campo da pedagogia, quer enquanto “facilitadores” do desenvolvimento dessas mesmas competências nos seus estudantes, tornando-os capazes de corresponder às demandas deste milênio, sobretudo (mas não só) quando estiverem aptos a ingressar no mercado de trabalho.
Assim, neste texto apresenta-se um instrumento de autoavaliação, baseado em um questionário desenvolvido pelo EU Science Hub (Serviço de Ciência e Conhecimento da Comissão Europeia) que procura fazer uma avaliação das competências digitais dos professores, da sua proficiência nessa área. A partir desse questionário, desenvolvemos, pois, o presente estudo que descreve os procedimentos de construção de uma escala de autoavaliação de competências digitais de professores, de diferentes áreas disciplinares, e as suas qualidades psicométricas.
2 Método
A escala utilizada, como já referido no ponto anterior, foi desenvolvida pelo EU Science Hub (https://ec.europa.eu/eusurvey/runner/DigCompEducheckin), a partir da colaboração de diversos países europeus, com o objetivo de identificar o nível de competência digital dos professores de todos os níveis de ensino. No entanto, mais do que apenas elencar um conjunto de competências, esse questionário fornece, também, aos utilizadores um relatório que dá a conhecer, em função das respostas dadas, sugestões para melhorar as práticas que já desenvolvem. Essa questão torna-se relevante, uma vez que permite ao professor perceber que tipo de formação necessita para passar ao nível seguinte. Essa escala foi traduzida por Sara Dias-Trindade e encontra-se dividida em seis áreas de competências.
A população em estudo contemplou professores do ensino fundamental e médio de Agrupamentos de Escolas do Centro e Sul de Portugal. Foram distribuídos 132 questionários e, após a sua recolha, verificou-se que 5 estavam incompletos. O N da nossa mostra corresponde assim a 127 (96,2%) questionários válidos, número suficiente para realizar uma análise fatorial, considerando o número de itens da escala (22 itens) e o nível de significância de 0,05 com potência de 80% para identificação de níveis de saturação dos fatores (HAIR et al, 2014; STEVENS, 2009; TINSLEY; TINSLEY, 1987).
Assim, fizeram parte da amostra do nosso estudo 127 professores, cuja caracterização por idade, sexo e departamento se encontra sistematizada na Tabela 1.
Como podemos verificar na Tabela 1, dos professores que participaram do estudo a grande maioria são do sexo feminino, 86,6%. Relativamente ao Departamento a que pertencem, a distribuição dos professores é muito equilibrada, sendo que o Departamento com maior representação é o de Matemática e Ciências Experimentais com 27,6% e o Departamento com menor representação o de Ciências Sociais e Humanas com 15%.
Finalmente, no que diz respeito à idade dos professores, esta não apresenta uma distribuição aproximadamente normal (Teste Shapiro-Wilk, P=0,002), sendo que as suas idades concentram-se entre os 42 e os 56 anos.
3 Instrumento
A partir dos resultados obtidos e da análise fatorial exploratória efetuada, mantiveram-se as seis áreas do instrumento original (Figura 1), tendo, no entanto, alguns dos seus itens sido redistribuídos. Também como no instrumento original, todos os itens são apresentados com cinco respostas possíveis, tipo escala Likert, devendo os docentes assinalar apenas aquela com a qual melhor se identificam.
A primeira área – Envolvimento Profissional – procura identificar as competências do professor no que diz respeito ao uso de tecnologias digitais para comunicar, colaborar e evoluir profissionalmente (Tabela 2).
A segunda área – Tecnologias e Recursos Digitais – diz respeito à utilização de tecnologias e recursos digitais, especificamente, à capacidade de as usar, partilhar e proteger (Tabela 3).
A terceira área – Ensino e Aprendizagem – refere-se à capacidade dos docentes identificarem as suas capacidades para gerirem e organizarem o uso de tecnologias digitais no processo de ensino e de aprendizagem (Tabela 4).
A quarta área – Avaliação – refere-se às competências na avaliação, concretamente na forma como são usadas as tecnologias digitais para melhorar o processo de avaliação dos estudantes (Tabela 5).
A quinta área – Capacitação dos Estudantes – remete para a capacidade de utilizar as tecnologias digitais para aumentar a inclusão, personalização e o envolvimento ativo dos estudantes no ensino (Tabela 6).
Finalmente, a sexta área – Promoção da Competência Digital dos Estudantes – diz respeito às competências docentes para auxiliar os estudantes a usar tecnologias digitais de forma criativa e responsável (Tabela 7).
Como já tivemos oportunidade de referir, para cada uma das competências é apresentada uma afirmação (item), e os participantes devem selecionar uma das opções que melhor caracteriza a sua posição perante essa mesma afirmação, numa escala de tipo Likert, que vai de afirmações relacionadas com “nunca faço isto” até afirmações que declaram que "faço constantemente".Por exemplo:
Para cada um dos itens, são atribuídos os mesmos níveis de pontos, que vão de 0, para a primeira hipótese, a 4 pontos, para a última. Nesse sentido, a cotação total do teste é de 84 pontos[3], dividindo-se os níveis de proficiência de acordo com o apresentado na Tabela 8.
4 Resultados
O estudo da validade e fidelidade da escala foi realizado em três etapas. Em primeiro lugar, foi realizada a análise de consistência interna através do coeficiente alfa de Cronbach. Numa segunda etapa, foi realizada uma análise fatorial exploratória para avaliar o instrumento. Após a análise dos resultados na análise fatorial, foi novamente avaliada a necessidade de redução dos itens. Após essa etapa, a validade fatorial do instrumento foi finalizada com a análise fatorial confirmatória, testando um modelo de seis fatores que emergiram como interpretáveis a partir da análise fatorial exploratória, sendo que revelaram igualmente indicadores de consistência interna bastante satisfatórios.
Essa estrutura de análise é considerada um método de validação eficaz, sendo frequentemente utilizado como instrumento de avaliação para calcular a sua adequação para medir a dimensão que se pretende avaliar (CRONBACH, 1984;PESTANA; GAGEIRO, 2014; STEVENS, 2009; TINSLEY; TINSLEY, 1987).
4.1 Análise da Consistência Interna
A análise da consistência interna através do coeficiente alfa de Cronbrach da escala global dos 22 itens revelou uma boa consistência interna com um valor de 0,90 (muito próximo de uma muito boa consistência interna), sendo, pois, considerado adequado para avaliar a variável que se pretende medir (CRONBACH, 1984).
É de destacar que, no presente estudo, cinco das seis áreas apresentam um número muito reduzido de itens (3 ou 4 itens), sendo que a utilização do alfa de Cronbach nessas situações é desaconselhada, dado que o valor de alfa é fortemente dependente do número de itens (ABDELMOULA; CHAKROUN; AKROUT, 2015; CRONBACH, 1984). A área 6 Promoção da competência digital dos estudantes (5 itens) apresenta um valor de alfa de 0,80 considerado bom.
No processo de validação do instrumento e embora a consistência interna seja boa, foi realizada uma análise mais fina, calculando a correlação de cada item com o total da escala, excluindo o item em causa. Essa análise foi efetuada também para verificar o impacto da remoção dos itens na consistência interna e no sentido de escolher os melhores itens, já que os itens devem apresentar correlações com o total da escala superiores a 0,30 (CRONBACH, 1984). A média total e variância da escala também foram calculadas, considerando o impacto da exclusão de cada item.
A Tabela 9 apresenta os resultados das estatísticas relativas à análise fina de item – escala total de consistência interna e fidelidade do questionário com os 22 itens.
Observando a Tabela 9, percebe-se que a remoção de nenhum dos itens tem impacto diferenciado na média ou variância da escala.
Apenas o item A4.2 apresenta uma correlação inferior a 0,30 com a escala total, no entanto a sua remoção não altera a consistência interna da escala total. Dada a especificidade e relevância da pergunta, optou-se por manter esse item.
4.2 Análise Fatorial Exploratória
A validade da aplicação da análise fatorial ao instrumento foi avaliada através do teste de Kaiser-Meyer-Olkin (KMO) de adequação de amostragem, em que obtivemos um valor de 0,875, indicando que existe uma correlação muito boa entre os itens (HAIR et al, 2014; PESTANA; GAGEIRO, 2014).
O teste de esfericidade de Bartlett, com χ2=990,17; df=231; p<0,001, leva à rejeição da hipótese da matriz de correlação ser a identidade. Os testes confirmam a adequação dos dados à análise fatorial.
Para analisar a dimensionalidade da escala, recorreu-se à análise fatorial exploratória, em componentes principais, com rotação Varimax. Utilizando o critério de Kaiser (mais adequado quando temos menos de 30 itens), tendo sido selecionados os fatores com valores próprios superiores a 1 (HAIR et al, 2014; PESTANA; GAGEIRO, 2014), os resultados revelaram a existência de 6 fatores explicando 61,57% da variância dos resultados.
A Tabela 10 apresenta a distribuição final dos itens pelos fatores, bem como os valores de saturações (loadings).
Analisando a Tabela 6 da matriz fatorial, podemos verificar que apenas o item A2.2 não tem um valor de loading de ±0,50 ou superior para nenhum dos 6 fatores, não existindo uma correlação clara entre o item e um dos fatores. É importante relembrar que apenas loadings de valor ±0,50 ou superior são considerados de significância prática e estatística (dado o N de 127) (HAIR et al, 2014).
O item A1.2 apresenta um valor de loading negativo de -0,50, demonstrando uma correlação negativa com o fator 6. Todos os outros itens demonstram correlações positivas com os fatores.
O primeiro fator explica 33,27% da variância agrupando 5 itens. Os outros fatores explicam uma percentagem bastante mais reduzida da variância.
Após a análise dos resultados da primeira etapa dessa análise fatorial exploratória e considerando o conteúdo do item A2.2 face aos restantes itens, decidiu-se eliminar esse item e repetir a análise fatorial. Importa salientar que a remoção desse item não altera a qualidade da consistência interna da escala total (Tabela 9).
Após a remoção do item A2.2, ficamos com 21 itens e procedeu-se novamente aos testes de KMO para adequação de amostragem, no qual obtivemos um valor de 0,874, indicando que existe uma correlação muito boa entre os itens (HAIR et al, 2014; PESTANA; GAGEIRO, 2014).
O teste de esfericidade de Bartlett, com χ2=929,23; df=210; p<0,001, levou à rejeição da hipótese da matriz de correlação ser a identidade. Os testes confirmaram novamente a adequação dos dados à análise fatorial.
A mesma metodologia foi novamente aplicada à escala com os 21 itens, sendo que os resultados revelaram igualmente a existência de 6 fatores explicando 62,58% da variância dos resultados.
A Tabela 11 apresenta a distribuição final dos 21 itens pelos fatores e respetivos loadings.
Analisando a Tabela 11 da matriz fatorial, todos os itens estão claramente agrupados num fator com valores de loadings bem definidos.
O primeiro fator agrupa os itens A5.2, A6.1, A6.2, A6.4 e A6.5; explicando 33,18% da variância. O segundo fator agrupa os itens A3.1, A3.2, A3.3, A5.3 e A6.3; explicando 6,93% da variância. O terceiro fator agrupa os itens A3.4, A4.1, A4.3; explicando 6,30% da variância. O quarto fator agrupa os itens A1.1, A1.3, A1.4 e A2.1; explicando 6,06% da variância. O quinto fator agrupa os itens A4.2 e A5.1; explicando 5,21% da variância. O último fator agrupa os itens A1.2 e A2.3; explicando 4,91% da variância.
O intem A4.2 apresenta um loading elevado no fator 5, que, considerando que tem apenas dois itens, consegue explicar uma percentagem considerável da variância da escala, indicando a possível diferenciação do item e importância deste para o instrumento.
4.3 Análise Fatorial Confirmatória
A análise fatorial confirmatória foi realizada utilizando apenas a escala com 21 itens, sendo que as medidas de ajustamento utilizadas foram: Chi Square (χ2), ratio Chi Square / degrees of freedom (χ2/df), Compartive Fit Index (CFI), Goodness of Fit Index (GFI) e Root Mean Square Error of Approximation (RMSEA) (HAIR et al, 2014).
A Figura 2 apresenta o diagrama do modelo na análise fatorial confirmatória. Os resultados revelaram um χ2 178,93; df=174 e p=0,38 não significativo, sugerindo a adequabilidade do modelo. Resultando, assim, em um valor normalizado χ2/df = 1,03, que, sendo inferior a 3, revela um ajustamento adequado. Para os outros indicadores, obtiveram-se os seguintes valores: CFI=0,93; GFI=0,87 e RMSEA=0,015. Esses valores também suportam o facto de que o modelo de 6 fatores se ajusta de forma adequada aos dados, confirmando a estrutura de 6 áreas para a escala.
A estrutura final da escala está apresentada no Anexo 1, refletindo os resultados da análise fatorial.
5 Discussão e conclusões
Quer a nível nacional, quer internacional, o crescimento da perceção de que os professores devem acompanhar a evolução da sociedade digital e em rede e capacitar-se para a utilização das tecnologias digitais tem sido uma realidade (DIAS-TRINDADE; MOREIRA, 2018b). Conscientes dessa necessidade, várias instituições de Ensino e organismos, como o EU Science Hub, departamento da União Europeia que se dedica à identificação das necessidades dos professores ao nível das competências digitais, têm vindo a realizar diferentes estudos para apoiar e sustentar o trabalho desenvolvido nesta área. Um dos produtos mais recentes, desenvolvido por esse departamento, e como já referimos no ponto introdutório deste texto é o questionário DigCompEdu CheckIn, que oferece aos docentes a possibilidade de, não só identificar o nível de competência digital em que se encontram, mas também receber informação concreta sobre a formação a realizar.
Foi, na realidade, o DigCompEdu CheckIn (REDECKER; PUNIE, 2017) que inspirou este estudo desenvolvido com professores do Ensino Fundamental e Médio em Portugal. Não havendo nenhuma versão para a população portuguesa aquando do estudo realizado (DIAS-TRINDADE; MOREIRA, 2018a), foi solicitada autorização à responsável pelo DigCompEdu CheckIn para a sua tradução para língua portuguesa.
Foi, na realidade, o DigCompEdu CheckIn (REDECKER; PUNIE, 2017) que inspirou este estudo desenvolvido com professores do Ensino Fundamental e Médio em Portugal. Não havendo nenhuma versão para a população portuguesa aquando do estudo realizado (DIAS-TRINDADE; MOREIRA, 2018a), foi solicitada autorização à responsável pelo DigCompEdu CheckIn para a sua tradução para língua portuguesa.
Assim, após essa autorização e tradução, desenvolvemos um estudo que procurou avaliar as competências e fluência digitais de professores portugueses, sendo que o presente estudo procurou descrever, com exaustividade, os procedimentos de construção da escala utilizada e as suas qualidades psicométricas.
Os resultados do estudo revelaram a esse respeito que o instrumento possui qualidades psicométricas satisfatórias. A análise da consistência interna dos seis fatores identificados- Envolvimento Profissional; Tecnologias e Recursos Digitais; Ensino e Aprendizagem; Avaliação; Capacitação dos Estudantes e Promoção da Competência Digital dos Estudantes - revelou que se trata de um instrumento fidedigno. Ora, uma vez que esses fatores se apresentam internamente consistentes e bem definidos pelos itens, concluímos que a escala revela qualidades psicométricas pelo que nos parece adequado o seu uso em futuros estudos a desenvolver nessa área.
Na verdade, para além de bons indicadores de validade, globalmente, as medidas aplicadas caraterizam-se por uma fidelidade que consideramos boa ou adequada e com estruturas fatoriais interpretáveis, pressupondo, portanto, que avaliam, de forma consistente, as variáveis que pretendem medir, constituindo-se como uma escala capaz de contribuir para a avaliação das competências digitais dos professores em Portugal.
Apesar de pequenos ajustamentos, nomeadamente ao nível da redistribuição de alguns itens pelas áreas, a escala agora construída continua a considerar as mesmas seis áreas estruturantes do instrumento original: a área Envolvimento Profissional, que identifica as competências do professor no que diz respeito ao uso de tecnologias digitais para comunicar, colaborar e evoluir profissionalmente; a área Tecnologias e Recursos Digitais, referente à utilização de tecnologias e recursos digitais, especificamente, à capacidade de as usar, partilhar e proteger; a área Ensino e Aprendizagem – referente à capacidade dos docentes identificarem as suas capacidades para gerirem e organizarem o uso de tecnologias digitais no processo de ensino e aprendizagem; a área Avaliação referente às competências na avaliação, concretamente na forma como são usadas as tecnologias digitais no processo de avaliação dos estudantes; a área Capacitação dos Estudantes referente à capacidade de utilizar as tecnologias digitais para aumentar a inclusão, personalização e o envolvimento ativo dos estudantes; e a Promoção da Competência Digital dos Estudantes referente às competências docentes para auxiliar os estudantes a usar tecnologias digitais de forma criativa e responsável.
Referências
ABDELMOULA, M., CHAKROUN, W.; AKROUT, F. The effect of sample size and the number of items on reliability coefficients: alpha and rhô: a meta-analysis. International Journal of Numerical Methods and Applications, vol. 13, n. 1, p. 1-20, março de 2015. https://doi.org/10.17654/IJNMAMar2015_001_020. Acesso em: 25 jul. 2019.
BRIGGS, C.; MAKICE, K. Digital Fluency: building success in the digital age. [S.l.]: SociaLens, 2011.
CRONBACH, L. J. Essentials of psychological testing. Nova Iorque: Harper & Row, 1984.
DIAS-TRINDADE, S.; MOREIRA, J. A. Avaliação das competências e fluência digitais de professores no ensino público médio e fundamental em Portugal. Revista Diálogo Educacional, vol. 18, n. 58, p. 624-644, jul./set. 2018a.
DIAS-TRINDADE, S.; MOREIRA, J. A. Ecologia de aprendizagem. In MILL, D. (org.) Dicionário crítico de educação e tecnologias e educação a distância. Campinas: Papirus, 2018b. p. 192-194.
HAIR, J. F. et al. Multivariate Data Analysis. 7th ed. London, UK: Pearson Education Limited, 2014.
NATIONAL Research Council (NRC). Being fluent with information technology. Washington, DC: National Academy Press, 1999.
OZAN, O.; KESIM, M. Rethinking scaffolding in mobile connectivist learning environments. In BERGE, Z.; MUILENBURG, L. (eds.). Handbook of mobile education. New York: Routledge, 2013. p. 166-175.
PESTANA, M. H.; GAGEIRO, J. N. Análise de Dados para Ciências Sociais: a complementaridade do SPSS (6a Edição). Lisboa: Edições Sílabo, 2014.
REDECKER, C.; PUNIE, Y. European Framework for the Digital Competence of Educators (DigCompEdu). Luxembourg: Publications Office of the European Union, 2017. Disponível em: https://publications.europa.eu/en/publication-detail/-/publication/fcc33b68-d581-11e7-a5b9-01aa75ed71a1/language-en. Acesso em: 30 abr. 2018.
STEVENS, J. Applied multivariate statistics for the social sciences. Nova Iorque: Routledge, 2009.
TINSLEY, H. E.; TINSLEY, D. J. Uses of factor analysis in counseling psychology research. Journal of Counseling Psychology, vol. 34, n. 4, p. 414-424, out. 1987.
Anexo
Escala De Autoavaliação De Competências Digitais De Professores
Para cada uma das 21 afirmações que se seguem, deve selecionar apenas a opção que considera mais adequada.
Notas
Ligação alternative
https://periodicos.ufmg.br/index.php/textolivre/article/view/16848 (html)