HTML

ePub

PDF

Introdução

A comunicação e a partilha de significados num mundo altamente mediatizado requer múltiplas literacias, muitas das vezes denominadas de literacia mediática, literacia da informação, literacia visual, literacia multimodal ou literacia digital. Independentemente das definições e abordagens, estas literacias têm vindo a abrir debates críticos sobre quais as competências que os cidadãos devem ter e desde quando elas devem ser adquiridas. Para Frau-Meigs (2014) a literacia mediática e informacional inclui competências operacionais (programação), editoriais (escrita-leitura-produção multimédia) e organizacionais (navegação, classificação, filtragem, avaliação) consideradas competências centrais na educação para os media na era digital. Para além da sua importância como uma competência individual, a literacia mediática abre o diálogo social e cultural que enfatiza a sua pluralidade. As pessoas não criam significados individualmente, mas como membros de comunidades interpretativas de significados partilhados (Livingstone, Wijnen, Papaioannou, Costa, & Grandio, 2013) onde determinadas práticas de literacia estão presentes e são mutuamente construídas. Na sequência disso e, com o objetivo de medir a literacia mediática e informacional dos alunos do 2º e 3º ciclos do Ensino Básico a nível nacional, foi adotado um modelo concetual centrado nas competências operacionais, editoriais, organizacionais e socioculturais. Adicionalmente, foram incluídas no modelo competências de gestão da(s) identidade(s) digitais, definidas como a capacidade de os cidadãos se representarem online com privacidade e em segurança (Costa, Sousa, Rogado & Henriques, 2017). A primeira tentativa para medir a literacia mediática da população europeia foi feita em 2009 pela EAVI (the European Association for Viewers Interests) com o estudo “Study on Assessment Criteria for Media Literacy Levels: A Comprehensive View of the Concept of Media Literacy Level in Europe Should be Assessed”. O conceito de literacia mediática subjacente a este estudo foi o definido à época pela Comissão Europeia: “a competência para lidar, autónoma e criticamente, com o ambiente comunicacional e mediático estabelecido pela sociedade da informação”. De acordo com esta concetualização de literacia mediática duas dimensões podem ser claramente distinguidas: (1) as competências individuais associadas ao uso, sentido crítico e socialização; (2) e as competências ambientais associadas ao acesso e educação para os media, políticas, regulação e outros papéis dos stakeholders (Celot & Tornero, 2009, p.21). Neste âmbito, um instrumento de avaliação foi desenvolvido e recolhidos os níveis de literacia mediática nos (27) países da União Europeia (UE). Nesse estudo Portugal ocupava o 18º lugar com um rating de 75 pontos em 150, ficando abaixo da média da UE (Celot & Tornero, 2009, p.69). Este estudo, à semelhança da maioria dos estudos quantitativos em literacia mediática, focava-se na frequência de uso dos media como uma dimensão da literacia mediática e apoiava-se em especialistas a nível nacional para atribuição de pesos aos vários indicadores de contexto da literacia mediática.

A primeira medição em Portugal da literacia mediática de crianças no contexto da educação formal foi conduzida pelo Centro de Estudos em Comunicação e Sociedade (CECS) da Universidade do Minho. Na introdução ao estudo, os autores dão conta da complexidade de medir a literacia mediática: “O que avaliar, como, em que contexto, de que modo e para quê, são algumas das questões que se formulam e cujas respostas continuam em aberto” (Pereira, Pinto, & Moura, 2005, p. 2). Especificamente direcionado aos alunos do último ano do ensino secundário, o estudo baseou o seu modelo de análise em acessos e usos, compreensão, análise e avaliação e participação e produção (Pereira, Pinto, & Moura, 2005, p. 37). O instrumento de medida constituído por 33 questões, continha uma maioria de perguntas sob a forma de exercícios aos quais correspondia uma pontuação e, nessa perspetiva, aproximava-se de um teste de competências. Os autores refletem e questionam de forma aprofundada não só o instrumento de medição, como a relevância do conhecimento dos jovens sobre os ambientes e conteúdos mediáticos que este pretende avaliar (Pereira, Pinto, & Moura, 2015, p. 71-96).

No presente estudo damos conta do processo de desenvolvimento e evidência de validade e fiabilidade da ELMI para alunos dos 2º e 3º ciclos do Ensino Básico em Portugal.

Método

Participantes

Participaram no estudo 1151 estudantes dos 2º e 3º Ciclos do Ensino Básico, com idades compreendidas entre os 10 e os 18 anos de idade (M = 12.47; DP = 1.65), 514 do género masculino (44.70%) e 637 do género feminino (55.30%). Quanto à escolaridade, 221 alunos frequentavam o 5º ano (19.20%), 228 alunos o 6º ano (19.80%), 232 alunos o 7º ano (20.20%), 233 alunos o 8º ano (20.30%) e 237 alunos o 9º ano (20.60%). Para efeitos de cálculo dos dados demográficos da amostra, os anos de escolaridade foram agregados por ciclo de ensino (Tabela 1).

A amostra acima descrita resultou de um processo de amostragem não probabilística por quotas. A amostra foi determinada tendo em conta a população total de alunos dos 2º e 3º ciclos, neste caso, 554897 (FFMS, 2014). Foram utilizados um nível de confiança de 95% e um intervalo de confiança de 2.9. Foi considerada uma taxa de resposta de 0.5. A fórmula utilizada foi a seguinte:

Foi obtida uma amostra de 1140. Posteriormente, calcularam-se as proporções da distribuição da amostra por cada NUT III, pretendendo assegurar a maior representatividade da possível realidade nacional (Tabela 2). Em resultado do referido processo de arredondamento, definiu-se como dimensão final da amostra 1151 participantes.

Desenvolvimento do Instrumento

O instrumento desenvolvido tem por objetivo medir a autoperceção de literacia mediática em crianças dos 2º e 3º ciclos do ensino básico em Portugal. Tendo sido utilizado o Português Europeu, a sua construção foi baseada no modelo concetual centrado nas competências operacionais, editoriais, organizacionais, socioculturais e de gestão das identidades digitais. Inicialmente obteve-se um conjunto de 54 itens, tendo sido eliminados os itens potencialmente ambíguos ou que não correspondiam exatamente ao modelo concetual de base. Teve-se igualmente em consideração que dada a idade dos participantes seria desejável um modelo com menos itens. Após esta fase obteve-se um conjunto final de 36 itens. A adequação da linguagem dos mesmos foi aferida junto de uma amostra de 20 alunos da população-alvo.

O instrumento aplicado a nível nacional era composto por 36 itens, respondidos com recurso a uma escala de Likert de 5 pontos, um formato considerado adequado para esta faixa etária. O questionário era composto por duas partes distintas. A Parte I compreendia as competências organizacionais, editoriais, operacionais (Frau-Meigs, 2014) e de gestão das identidades digitais (Costa, Sousa, Rogado & Henriques, 2017), composta por 24 itens que mediam a familiaridade dos respondentes com estas competências e o formato de resposta variava entre 1 (não sabes como fazer/nunca fizeste) e 5 (já fizeste e tens experiência em fazer).

A Parte II era composta por 12 itens e procurava avaliar atitudes e crenças face à literacia mediática crítica, aprendizagem e relacionamento interpessoal. O formato de resposta consistia numa escala de Likert de 5 pontos que variava entre 1 (Discordo totalmente) e 5 (Concordo totalmente). A composição do instrumento é apresentada na Tabela 3.

Procedimento

O instrumento foi aplicado durante o ano-letivo 2016/2017 em 41 escolas de Portugal continental e regiões autónomas. A aplicação foi feita através de um formulário online, previamente aprovado pela Monitorização de Inquéritos em Meio Escolar (MIME) do Ministério da Educação, com o apoio de professores bibliotecários em cada escola. Os itens do questionário foram aleatorizados antes da aplicação, para controlar possíveis enviesamentos decorrentes de resposta sequencial aos itens de uma mesma competência. Por ter sido recolhida uma amostra superior à definida na quotização em algumas regiões, foram realizados acertos à base de dados antes do início da análise estatística.

Preparação de dados e análise estatística

Primeiramente foi realizada a estatística descritiva dos 36 itens da versão portuguesa da escala de literacia mediática: média, desvio-padrão, mínimo, máximo, curtose, assimetria e curtose. Uma Análise Factorial Exploratória (AFE) foi conduzida com o método de extração de Mínimos Quadrados Não Ponderados (ULS), utilizando uma matriz de correlação policórica. O método de extração ULS foi escolhido por produzir estimativas mais precisas (Li, 2016). O número de fatores extraídos baseou-se no método da Análise Paralela (PA) com permutação de dados (Timmerman & Lorenzo-Seva, 2011). O método de rotação aplicado foi o PROMIN por permitir melhores soluções fatoriais para um conjunto de dados ordinais, maximizando a simplicidade do fator. A análise foi conduzida via FACTOR Software V. 10.8. As cargas fatoriais <.30 foram consideradas não-substantivas, as cargas ≥.30 e <.40 foram consideradas questionáveis, e as cargas ≥.40 foram consideradas substantivas (Volker et al., 2016). Itens com baixas comunalidades (h2 <.30), cargas fatoriais não-substantivas ou ambiguidade dos itens (cargas fatoriais >.30 em pelo menos dois fatores) foram eliminados (Field, 2009).

Em relação à fiabilidade, a consistência interna dos fatores encontrados foi analisada através do software IBM Statistical Package for the Social Sciences (SPSS) V.25 com base no alfa de Cronbach (α) e na correlação inter-item média. Valores de alfa de Cronbach > 0.70, correlação inter-item média entre .15 - .40 são indicadores de boa consistência (Clark, & Watson, 1995). O alfa ordinal foi computado manualmente, de acordo com as recomendações de Zumbo, Gadermann e Zeisser (2007). O alfa ordinal é equivalente ao Alfa de Cronbach, contudo, baseia-se em uma matriz de correlação policórica estimando o alfa com maior precisão em dados ordinais. Além destes coeficientes, foi calculado o ómega de McDonald (ωt) a fim de avaliar a consistência interna global do instrumento. Este coeficiente reflete o verdadeiro nível de fiabilidade, visto o seu valor não ser inflacionado pelo número de itens do instrumento (McDonald, 1999; Revelle & Zinbarg, 2009). Em todos os procedimentos estatísticos foi estabelecido um nível de significância de 5%.

Resultados

Estatística Descritiva

A Tabela 4 apresenta a estatística descritiva (média, desvio-padrão, mínimo, máximo, assimetria e curtose) dos 36 itens da escala de literacia mediática e informacional para alunos dos 2º e 3º ciclos do Ensino Básico em Portugal.

Verificou-se que as respostas aos itens 4, 17, 25 e 36 apresentaram um valor médio acima de 4, sendo o item 17 (Proteger o meu computador e telemóvel com passwords seguras e fortes) e 36 (Eu aprendo sozinho(a) a usar programas de computador experimentando os diversos botões e menus) aqueles com a média de resposta mais elevada (M = 4.33). Já o menor valor médio de resposta foi verificado para o item 10 (Criar uma App). O item 30 (Os meios de comunicação podem ser usados para distribuir informações falsas e incorretas sobre pessoas, lugares ou coisas) foi aquele que apresentou uma maior dispersão nas respostas (DP = 1.54) e o item 17 (Proteger o meu computador e telemóvel com passwords seguras e fortes) a menor dispersão (DP = 0.97). Todos os itens apresentaram respostas com similar amplitude de valores. Em relação à assimetria e curtose, todos os itens apresentam valores entre -2 e + 2, indicando uma distribuição normal univariada (Field, 2009).

Validade de Constructo

Seguindo as recomendações de Hair, Black, Babin e Anderson (2009), foi garantido um rácio participantes-item superior 20:1 para a realização da AFE. A normalidade univariada foi assumida, no entanto, os valores de distância de Mahalanobis evidenciaram 42 outliers multivariados (valor crítico χ2 (36) = 67.98, α = 0,001), os quais foram posteriormente, removidos. Não foram encontrados problemas de multicolinearidade, apresentando todos os itens da escala uma Tolerance > 1 e um Variance Inflation factor < 10. (e.g., Hair et al., 1995), resultando numa amostra final de 1109 participantes.

O valor KMO de .91 apoiou a adequação da amostra. A significância do teste de esfericidade de Bartlett [χ2 (630) = 12507; p <0.001] revelou que as correlações policóricas entre os itens eram adequadas para conduzir uma AFE.

Os resultados da Análise Paralela (AP) apontaram uma solução de dois fatores (com base no percentil 95%) ou três fatores (com base na média). Com o objetivo de identificar o número adequado de fatores a extrair, avaliou-se a percentagem de variância explicada e a raiz quadrada da média dos resíduos quadráticos (RMSR) para os modelos bifatorial e trifatorial propostos. A RMSR é um índice de discrepância entre a matriz original e a ajustada, em que um valor mais próximo de zero indica maior ajustamento do modelo (Tabachnick & Fidell, 2013).

Dado que o modelo trifatorial (RMSR = 0.04; % Variância Explicada = 43.93) apresentou menor RMSR e maior percentagem de variância explicada que o modelo bifatorial (RMSR = 0.06 ; % Variância Explicada = 38.16 ) a AFE foi forçada à extração de 3 fatores.

A AFE inicial revelou baixas cargas fatoriais dos itens 1, 2, 11, 30, bem como a presença de itens ambíguos (item 12, 15 e 32) e baixas comunalidades dos itens 28, 34, 35, 36 (h2 <.30), sendo, por isso, removidos. O processo iterativo até à estrutura trifatorial final estável levou à remoção de mais 3 itens (o item 22 por baixa comunalidade e os itens 14 e 21 por não saturarem no fator teórico). No total foram excluídos 14 itens da escala inicial.

A Tabela 5 mostra a estrutura trifatorial final com 22 itens.

Os três fatores, constituídos por 22 itens, explicaram 53.23% da variância total. Os nomes dos fatores foram atribuídos com a cooperação de um painel constituído por 6 especialistas em literacia mediática. O Fator 1 foi intitulado “Criação de Media” e é composto pelos itens 8, 9, 19, 16, 19, explicando 32.25% da variância da escala. O Fator 2 foi designado “Interação” e agregou os itens 7, 26, 27, 29, 31 explicando 13.37% da variância da escala. O Fator 3 foi designado “Gestão de Informação” sendo constituído por 12 itens (3, 4, 5, 6, 13, 17, 18, 20, 23, 24, 25, 33) explicando 7.70 % da variância da escala. Os valores das comunalidades foram elevados (todos h2 >.30) indicando que a variância dos itens é devidamente explicada pelos fatores (Tabela 5)

Como apresentado na Tabela 6, as correlações inter-fatores foram positivas e moderadas, reforçando a não-ortogonalidade dos mesmos.

Em termos de fiabilidade (Tabela 7) a consistência interna do fator “Criação de Media” foi considerada aceitável (α de Cronbach = .78; α ordinal = .86) e o fator “interação” apresentou um α de Cronbach = .74 e um α ordinal = .75) sendo igualmente aceitável. Já o fator “Gestão de Informação” apresentou uma boa consistência interna (α de Cronbach = .85; α ordinal = .89).

No que respeita às correlações médias inter-item, tanto as dos fatores bem como a da escala total, variaram dentro dos valores adequados (Clark & Watson, 1995). A consistência global da escala foi excelente (ωt =.92) (Katz, 2006).

Discussão

O objetivo primário do presente estudo visou a construção e validação da ELMI, junto de uma amostra de alunos dos 2º e 3º ciclos do Ensino Básico em Portugal.

Com base nos resultados da AFE e na análise de especialistas foi possível sustentar uma estrutura fatorial constituída por três fatores: Criação de Media, Interação e Gestão de Informação. A subescala Criação de Media diz respeito às competências de concetualização e desenvolvimento de media em formato digital. Já a subescala Interação refere-se à capacidade de se comunicar online para diversos fins e a subescala Gestão de Informação está relacionada com a capacidade de se aceder, utilizar e analisar criticamente os media de forma segura e com garantia de privacidade, no ambiente digital.

A estrutura trifatorial da ELMI resulta de um processo de refinamento no sentido de captar a perceção de competências na utilização dos media, em amostras de adolescentes em Portugal, explicando 53.23% de variância total, o que está dentro do intervalo aceitável (Streiner, 1994). No que respeita à fiabilidade, a ELMI mostrou uma consistência interna global excelente (ωt =.92), sustentada pela adequada consistência interna de todas as subescalas (Alfa de Cronbach e Alfa Ordinal > .70). A consistência interna da subescala “Gestão de Informação” foi superior às demais por ser constituída por um maior número de itens, o que inflaciona o valor de Alfa (Nunnally & Bernstein, 1994). Os resultados também revelaram homogeneidade das subescalas, apresentando-se a correlação média inter-item dentro dos valores ideais (Clark & Watson, 1995).

Em geral, os resultados obtidos através dos procedimentos estatísticos (AFE e análise de consistência interna) fornecem suporte empírico à validade e fiabilidade da ELMI para a avaliação da perceção de literacia mediática e informacional de adolescentes Portugueses, podendo ser aplicada em estudos de intervenção ou como medida complementar de diagnóstico dado que o instrumento é de fácil e rápido preenchimento, podendo constituir uma mais-valia para professores e investigadores.

Limitações e Trabalho Futuro

A principal limitação do presente estudo está relacionada com a autoavaliação de competências. O problema subjacente a dados provenientes da autoavaliação de competências tem sido amplamente discutido, considerando-se que este tipo de instrumentos é mais permeável a enviesamentos que os que recorrem à avaliação efetiva (Anderson, Thien, & Pitts, 2017). Algumas das razões mais apontadas para os possíveis enviesamentos vão desde a compreensão das questões colocadas a fenómenos associados à desejabilidade social (Rosenman, Tennekoon, & Hill, 2011). Num estudo com alunos do ensino superior comparou-se a expetativa de nota num teste de avaliação com a classificação efetivamente obtida, concluindo-se que a maioria se autoavalia eficazmente (51.00%), existindo um número de alunos que se sobreavalia (39.00%) e outro conjunto que se subavalia (10.00%). Será ainda importante referir que a tendência para a sobrestimação é superior em alunos com piores resultados (Mayer et al., 2006).

Ainda assim, a autoavaliação de competências é uma das formas mais utilizada na recolha de dados de investigação em educação, pela fácil operacionalização e aplicação dos instrumentos. Os resultados obtidos têm-se demonstrado fiáveis na predição de competências efetivas. Deste modo, a autoavaliação tem vindo a ser discutida como uma competência que pode ser estimulada e desenvolvida (Sundström, 2005).

Para além disso, no presente estudo não foram exploradas as validades convergente e divergente, as quais sustentam igualmente a validade de constructo (Almeira & Freire, 2007) e que deverão ser tidas em conta em estudos futuros. De igual modo, será desejável utilizar um critério concorrente para avaliação da validade de critério e uma análise de teste-reteste que permita avaliar a estabilidade temporal do instrumento. A correlação moderada entrefatores e o valor elevada de Ómega de McDonald sustentam a ideia de um fator geral. Novos estudos com análise fatorial confirmatória forneceriam mais informação sobre uma possível estrutura hierárquica da ELMI.

Agradecimentos

Este estudo foi realizado no âmbito do Projeto GamiLearning (UTAP-ICDT / IVC-ESCT / 0020/2014), financiado pela Fundação para a Ciência e Tecnologia (FCT) pelo Programa UT Austin | Portugal. A equipa de investigação agradece à RBE e, em particular à Margarida Toscano, por todo o apoio prestado no processo de administração dos questionários e validação da escala. Agradece-se também às especialistas Maria Emília Brederode (Presidente do Conselho Nacional de Educação), Sara Pereira (Professora Associada, Universidade do Minho), Margarida Toscano (Coordenadora Interconcelhia RBE), Elsa Conde (Subcomissária PNL2027), Isabel Mendinhos (Membro do Gabinete RBE) e Teresa Pombo (Professora requisitada, PNL2027) cujo contributo foi fundamental na validação da escala.

Referências

Anderson, R., Thier, M., & Pitts, C. (2017). Interpersonal and intrapersonal skill assessment alternatives: Self-reports, situational-judgment tests, and discrete-choice experiments. Learning And Individual Differences, 53, 47-60. DOI: 10.1016/j.lindif.2016.10.017

Celot, P. & Tornero, J. M. (2009). Study on Assessment Criteria for Media Literacy Levels - Study on Assessment Criteria for Media Literacy Levels. Retrieved from: http://ec.europa.eu/culture/media/literacy/docs/studies/eavi_study_assess_crit_media_lit_levels _europe_finrep.pdf, acedido em 23/12/2011

Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7(3), 309-319. DOI: 10.1037/1040-3590.7.3.309

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2ª Ed.). Hillsdale, NJ, USA: Lawrence Earlbaum Associates.

Costa, C., Sousa, C., Rogado, J., & Henriques, S. (2017). Playing Digital Security. International Journal of Game-Based Learning, 7(3), 11-25. DOI: 10.4018/ijgbl.2017070102

Field, A. (2009). Discovering Statistics Using SPSS (3ª Ed.). London, UK: Sage Publications.

Frau-Meigs, D. (2014). Media and Information Literacy (MIL): how can MIL harness the affordances of digital information cultures post-2015? Geneva: WSIS Action Line C9 report on Media and Information Literacy.

Fundação Francisco Manuel dos Santos (2014). Alunos matriculados: total e por nível de ensino. Retrieved from: https://www.pordata.pt/Portugal/Alunos+matriculados+total+e+por+n%C3%ADvel +de+ensino-1002-7950

Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2009). Multivariate data analysis (7ª Ed.). NJ, USA: Prentice Hall.

Hair, J., Anderson, R., Tatham, R. L., & Black, W. C. (1995). Multivariate data analysis with readings. Englewood Cliffs, USA: Prentice Hall.

Katz, M. H. (2006). Multivariable analysis (2ª Ed.). Cambridge: Cambridge University

Li, C. H. (2016). The performance of ML, DWLS, and ULS estimation with robust corrections in structural equation models with ordinal variables. Psychological Methods, 21(3), 369–387. DOI:10.1037/ met0000093

Livingstone, S., Wijnen, W., Papaioannou, T., Costa, C., & Grandio, M. (2013). Situating media literacy in the changing media ecology: critical insights from European research on audiences. In: N. Carpentier, K. Shroeder and H. Hallet (Eds.). Audience Transformations: Shifting Audience Positions in Late Modernity. London: Routledge.

Mayer, R., Stull, A., Campbell, J., Almeroth, K., Bimber, B., Chun, D., & Knight, A. (2006). Overestimation Bias in Self-reported SAT Scores. Educational Psychology Review, 19(4), 443-454. DOI: 10.1007/ s10648-006-9034-z

Pereira, S., Pinto, M., & Moura, P. (2015). Níveis de Literacia Mediática: Estudo Exploratório com jovens do 12º ano. Braga, Portugal: CECS/Universidade do Minho

Revelle, W. & Zinbarg, R. E. (2009). Coefficients alpha, beta, omega, and the glb: Comments on Sijtsma. Psychometrika, 74, 145-154. DOI:10.1007/s11336-008-9102-z

Rosenman, R., Tennekoon, V., & Hill, L. (2011). Measuring bias in self-reported data. International Journal Of Behavioural And Healthcare Research, 2(4), 320. DOI: 10.1504/ijbhr.2011.043414

Streiner D. L. (1994). Figuring out factors: the use and misuse of factor analysis. Canadian Journal of Psychiatry, 39(3), 135-140.

Sundström, A. (2005). Self-assessment of knowledge and abilities - a literature study. Uma, Sweden: Umeå Universitet.

Tabachnick, B. G. & Fidell, L. S. (2013). Using multivariate statistics (6ªEd.). Boston: Allyn and Bacon.

Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16(2), 209-220. DOI:10.1037/a0023353

Volker, M. A., Dua, E. H., Lopata, C., Thomeer, M. L., Toomey, J. A., Smerbeck, A. M., … Lee, G. K. (2016). Factor Structure, Internal Consistency, and Screening Sensitivity of the GARS-2 in a Developmental Disabilities Sample. Autism Research and Treatment, 2016(8243079), 1–12. DOI: 10.1155/2016/8243079

Zumbo, B. D., Gadermann, A. M., & Zeisser, C. (2007). Ordinal Versions of Coefficients Alpha and Theta for Likert Rating Scales. Journal of Modern Applied Statistical Methods, 6(1), 21–29. DOI: 10.22237/ jmasm/1177992180

IR