Artigos
Received: 17 October 2024
Revised document received: 16 December 2024
Accepted: 11 February 2025
DOI: https://doi.org/10.1590/1983-3652.2025.55336
Resumo: Este trabalho apresenta os resultados dos testes de usabilidade do software hipermídia “AutorIA”, realizados com estudantes de um curso de Geografia em uma universidade pública mineira. Essa ferramenta foi criada com o objetivo de colaborar na escrita de textos acadêmicos e tem como foco inicial a produção de resumos acadêmicos. Para a avaliação da usabilidade, fundamentamo-nos em Nielsen (1994, 2012) e Conrad e Levi (2002). Como referencial técnico, valemo-nos das diretrizes da NBR 9241-11 (Normas Técnicas, 2021). Para a criação do software, baseamo-nos no conceito de resumo proposto por Machado, Lousada e Abreu-Tardelli (2004) e ainda nos fundamentos da Sociorretórica de Swales (1990), priorizando o modelo Create a Research Space (Modelo CARS) e suas possíveis adaptações ao gênero em questão. Em termos metodológicos, realizamos um trabalho de natureza aplicada, utilizando uma abordagem qualitativa com objetivo exploratório (Paiva, 2019). Os resultados revelam que as avaliações positivas da ferramenta se sobrepuseram às negativas: enquanto as ações ligadas à eficácia foram as mais bem avaliadas, a satisfação dos participantes foi o critério que apresentou mais fragilidades. Esses dados ratificam, portanto, que o software tem potencial para cumprir adequadamente a função a que foi destinado, mas, para que isso ocorra, alguns ajustes ainda se mostram necessários.
Palavras-chave: Resumo acadêmico, Software “AutorIA”, Usabilidade.
Abstract: This paper intends to present the results of usability tests conducted on the hypermedia software ”AutorIA” carried out with students enrolled in a Geography course at a public university in Minas Gerais. This tool was created with the aim of collaborating in the writing of academic texts and its initial focus is the production of academic summaries. For the usability assessment, we based ourselves on Nielsen (1994, 2012) and Conrad and Levi (2002). As a technical reference, we used the guidelines of NBR 9241-11 (Normas Técnicas, 2021). To create the software, we based ourselves on the concept of summary proposed by Machado, Lousada and Abreu-Tardelli (2004) and also on the principles of Swales’s (1990) Sociorhetoric, prioritizing the Create a Research Space model (CARS Model) and its possible adaptations to the genre in question. In methodological terms, we conducted research of applied nature, using a qualitative approach with an exploratory objective (Paiva, 2019). The results reveal that positive assessments of the tool outweighed the negative ones: while actions related to effectiveness were the best evaluated, participant satisfaction was the criterion that presented the most fragilities. Therefore, this data confirms that the software has the potential to adequately fulfill its intended purpose, but for this to occur, some adjustments are still necessary.
Keywords: Academic summary, AutorIA software, Usability.
1 Introdução
Ao ingressarem na universidade, muitos estudantes podem se sentir inseguros quanto à sua proficiência em produzir textos acadêmico-científicos. Essa insegurança, muitas vezes, é motivada pela complexidade e pela novidade que esse tipo de produção significa para eles.
Nesse sentido, defendemos iniciativas pedagógicas que possam tornar esse percurso menos “árduo”, por isso propusemos um projeto interdisciplinar e interdepartamental intitulado “O processo de produção de gêneros acadêmicos: reflexões e desdobramentos. Essa proposta vem sendo desenvolvida, desde março de 2019, no âmbito do Grupo de Pesquisa “Letramentos, Gêneros e Ensino”, vinculado à Universidade Federal de São João del-Rei (UFSJ). Como desdobramento desse projeto mais amplo, criamos o software “AutorIA”, cujo objetivo é apoiar/monitorar a leitura e a escrita de textos acadêmico-científicos.
A criação dessa ferramenta hipermídia vai ao encontro do que educadores da atualidade têm chamado de Educação 4.0. Esse termo, segundo Garofalo (2018, p. 1), refere-se “à revolução tecnológica que inclui linguagem computacional, inteligência artificial, Internet das coisas (IoT) e contempla o Learning by doing, cuja tradução significa aprender por meio da experimentação, projetos, vivências e mão na massa”.
Sendo assim, coadunamo-nos com a tendência atual de integração efetiva dos recursos tecnológicos às práticas pedagógicas, a fim de quebrar a tradição de um ensino que prescinde do protagonismo, por parte de quem aprende, e da inovação, por parte de quem ensina. Compreendemos, portanto, que as Tecnologias Digitais da Informação e Comunicação (TDIC) podem tornar o ambiente educacional cada vez mais desafiador, estimulante e colaborar para o engajamento dos(as) estudantes em seu processo de aprendizagem.
A partir dessas premissas, iniciamos a criação do software priorizando a escrita de resumos, já que o domínio desse gênero pode favorecer a elaboração de outros gêneros, como a resenha, por exemplo. Sabemos que a palavra ‘resumo’ pode suscitar várias acepções, podendo aproximar-se do Abstract ou dos resumos de teses/dissertações, por exemplo. Sob nossa perspectiva, o resumo é compreendido como uma retextualização de outro texto, que tem por objetivo apresentar a organização das principais informações da obra original, devendo haver uma postura autoral por parte de quem resume (Machado; Lousada; Abreu-Tardelli, 2004).
Neste trabalho, especificamente, temos por objetivo apresentar os resultados dos testes de usabilidade do software hipermídia “AutorIA” na elaboração de resumos produzidos por graduandos(as) em Geografia de uma universidade pública. Tal ferramenta foi idealizada a partir de fundamentos da Sociorretórica de Swales (1990), dando ênfase ao modelo Create a Research Space (modelo CARS). Em se tratando da avaliação da usabilidade de softwares, Nielsen (1994) afirma que essa verificação inclui modos de avaliar as interfaces do usuário para encontrar problemas. Além disso, os testes têm como objetivo analisar o processo de interação entre os usuários e o computador, verificando, assim, a facilidade (ou não) de uso do sistema (Conrad; Levi, 2002). Dessa forma, a análise da usabilidade trará informações quanto às potencialidades e fragilidades do aplicativo, a fim de percebermos se ele cumpre efetivamente a função a que foi destinado.
Por conseguinte, para atingir nossos objetivos, este trabalho está assim organizado: após esta introdução, discutimos os fundamentos das teorias e diretrizes que nos subsidiaram; a seguir, descrevemos o percurso metodológico realizado; posteriormente, apresentamos os dados e suas respectivas análises e discussões e, em última instância, tecemos nossas considerações finais.
2 O Modelo CARS
Conforme mencionado na seção anterior, o produto que criamos é um dos frutos de um projeto interdisciplinar que se iniciou em 2019. Ele foi pensado para apoiar e monitorar a leitura e a escrita de gêneros acadêmicos.
Sendo assim, para organizarmos o processo de escrita, baseamo-nos no modelo Create a Research Space (CARS), proposto por Swales (1990). Esse modelo foi criado a partir dos resultados de duas pesquisas anteriores, propostas por Swales (1984) e Swales e Najjar (1987), em que analisaram introduções de artigos científicos. Nessas investigações, os autores verificaram que havia certa regularidade na distribuição das informações no texto, e essas porções textuais foram denominadas movimentos retóricos. Na primeira versão, os movimentos propostos para as introduções de artigos foram: estabelecer o campo de pesquisa; sumarizar pesquisas prévias; preparar e depois introduzir o que foi pesquisado.
Já a segunda versão foi produzida para adequar problemas levantados por outros pesquisadores. Essa proposta era mais sofisticada, pois indicava a possibilidade de que os movimentos (estabelecer o território; estabelecer o nicho e ocupar o nicho), agora em número de três, fossem desdobrados em passos, ou seja, especificações desses movimentos (Biasi-Rodrigues; Hemais; Araújo, 2009).
Após os trabalhos de Swales, muitos outros pesquisadores têm proposto adaptações ao modelo CARS, seja a partir da análise de resumos de artigos de pesquisa (Santos, 1995), de resumos de dissertações (Biasi-Rodrigues, 1998), de Abstracts (Motta-Roth; Hendges, 2010) e de resumos na universidade (Silva; Botelho; Caetano Oliveira, 2021; Caetano Oliveira, 2020). Esses trabalhos têm promovido a ampliação do entendimento do gênero, considerando, inclusive, sua configuração em campos disciplinares diversos.
Sendo assim, entendemos que esse modelo pode ser aplicado não apenas ao estudo do resumo, como faremos preliminarmente, mas também a outros gêneros, por isso elegemos essa proposta como norteadora da produção dos textos no software “AutorIA”.
3 Breve descrição do software “AutorIA”
Sabemos que existem outras ferramentas que se propõem a colaborar na tarefa de escrita (TurbineText, Ressomer, por exemplo), porém elas já entregam o texto pronto, com trechos copiados do texto original, sem permitir que os estudantes reflitam sobre o que estão fazendo. Essa é justamente a vantagem que o “AutorIA” tem em relação aos produtos que já existem, pois o nosso software possibilita que o(a) aluno(a) seja protagonista durante todo o processo de leitura/escrita dos textos. Como já apontamos em trabalho anterior (Caetano Oliveira; Teixeira, 2021), o uso de uma ferramenta tecnológica para o ensino de gêneros acadêmicos justifica-se pelas seguintes razões:
é um material atraente, atende às novas demandas sociais, pode ser uma ferramenta para o letramento digital, é um apoio durante o processo de produção escrita, não visa apenas ao produto, pode ser acionado a qualquer momento, permite auto/heteroavaliação durante todo o processo e possibilita um feedback mais interativo (Caetano Oliveira; Teixeira, 2021, p. 1410).
Nesse sentido, o módulo do(a) aluno(a)1 que propusemos disponibiliza recursos para baixar um texto em PDF e fichá-lo, podendo ser feitas marcações e recortes das ideias principais. Ademais, são disponibilizados: um modelo de estrutura retórica - que ajuda a direcionar a produção do resumo -, um editor de texto e também a possibilidade de geração semiautomática de referências bibliográficas. O “AutorIA” dispõe ainda de recursos complementares para facilitar as produções dos resumos: verbos que podem sinalizar ações realizadas pelo autor do texto original; exemplos de vários tipos de articuladores textuais, tradutor, dicionário e sinônimos, resumos prontos como exemplo e suas respectivas análises. Além disso, há a possibilidade de verificar a frequência de palavras-chave do texto-fonte em relação ao resumo, para que o estudante se automonitore quanto a possíveis fugas ao tema, plágio ou excesso de palavras repetidas.
Para o professor, ainda será permitido personalizar os passos da estrutura retórica, bem como as cores utilizadas para marcar o texto durante o fichamento, de forma que o software se adapte ao estilo e à metodologia de ensino do(a) docente e dos campos disciplinares.
Além disso, está sendo desenvolvido um módulo que permitirá ao professor realizar o feedback para o(a) aluno(a) por meio da ferramenta. Nessa versão, será possível marcar, no próprio resumo, as revisões, sugestões de melhoria ou elogios ao texto.
Como se percebe, a ferramenta não dispensa a figura do docente, mas pressupõe que ele deve “rever os valores e métodos do ensino tradicional e passar a avaliar em que momento do processo ensino-aprendizagem essas tecnologias podem ajudar, como também, os benefícios que podem proporcionar na construção do conhecimento” (Jucá, 2006, p. 23).
Em termos computacionais, o software foi desenvolvido com interface gráfica voltada para Web, de forma que possa ser acessado via Internet usando o framework Angular e linguagem de programação Typescript. A análise do texto e carregamento do PDF foi feita usando a linguagem Python e o sistema de armazenamento utiliza o banco de dados Firebase.
A partir do exposto, propusemos uma pesquisa para avaliar a usabilidade do software, assunto que será tratado na próxima seção.
4 A análise da usabilidade de ferramentas digitais
Os testes de usabilidade são muito comumente usados para verificar a qualidade de um produto digital. Esse quesito é “um atributo de qualidade que avalia a facilidade de uso das interfaces do usuário. [...] Também se refere a métodos para melhorar a facilidade de uso durante o processo de design” (Nielsen, 2012, p. 1, tradução nossa).
A observação das qualidades do design na Web é imprescindível, pois a usabilidade, nesse ambiente, é uma condição necessária para a sobrevivência: “se um site é difícil de usar, as pessoas vão embora. [...]. Se os usuários se perderem em um site, eles partem. Se as informações de um site forem difíceis de ler ou não responderem às perguntas dos usuários, eles saem” (Nielsen, 2012, p. 2).
Para evitar essas impropriedades, o Grupo de Nielsen (Nielsen Norman Group) instituiu dez princípios fundamentais de usabilidade, conhecidos como heurísticas, que são específicos para aplicações na Web. Esses princípios são chamados de “heurísticas” porque são considerados regras gerais de usabilidade (Nielsen, 1994), a saber:
- 1. visibilidade do status do sistema - o design deve sempre manter os usuários informados sobre o que está acontecendo, por meio de feedback adequado num período de tempo razoável;
- 2. correspondência entre o sistema e o mundo real - o design deve usar linguagem familiar aos usuários;
- 3. controle e liberdade para o usuário - os usuários podem executar ações por engano e por isso eles precisam de uma ”saída de emergência” rápida, claramente marcada, para sair da ação indesejada;
- 4. consistência e padrões já estabelecidos - consideração das experiências de utilização anteriores do usuário, para que ele não tenha de aumentar sua carga de capacidade cognitiva para aprender algo novo;
- 5. prevenção de erros - eliminação das condições para que eles não ocorram;
- 6. reconhecimento em vez de recordação - visibilidade aos elementos, às ações e às opções, para não sobrecarregar o usuário;
- 7. eficiência e flexibilidade de uso - possibilidade de acelerar a interação dos usuários e permitir que eles personalizem ações frequentes;
- 8. estética e design minimalista - as interfaces não devem conter informações irrelevantes ou raramente necessárias;
- 9. ajuda aos usuários para reconhecer, diagnosticar e recuperar erros - as mensagens de erro devem ser expressas em linguagem simples, indicar com precisão o problema e sugerir uma solução de forma construtiva;
- 10. ajuda e documentação - o sistema, caso haja necessidade, deve fornecer documentação para ajudar os usuários a entender como concluir suas tarefas.
Nielsen (2012) afirma que a realização de testes com usuários é a forma mais básica e útil de avaliar a usabilidade. Segundo o autor, esses testes devem possuir três componentes: um usuário representativo do público-alvo, as tarefas a serem executadas por esse usuário e a observação/análise do desempenho dos usuários (Nielsen, 2012, p. 3).
Além de Nielsen, Conrad e Levi (2002) também discutem a usabilidade. Para eles, esse critério se refere ao “grau em que um determinado software auxilia a pessoa sentada diante do teclado para realizar uma tarefa, em vez de se tornar um impedimento a mais para tal realização” (Conrad; Levi, 2002, p. 1, tradução nossa).
De acordo com os pesquisadores, esses sistemas podem ser avaliados utilizando os seguintes critérios: “facilidade de aprendizagem, retenção do aprendizado ao longo do tempo, velocidade de conclusão da tarefa, taxa de erro e satisfação subjetiva do usuário” (Conrad; Levi, 2002, p. 1). Sendo assim, os testes de usabilidade têm a função de descrever as características da interação entre os usuários e o sistema, para que os pontos fracos sejam identificados e, posteriormente, corrigidos.
Esses autores esclarecem que tais testes podem também ser realizados de modo simples e rápido, com quase nenhum custo, a não ser o tempo da equipe. Importante frisar ainda que o “resultado final é que praticamente qualquer tipo de teste de usabilidade - contanto que seus resultados sejam repassados ao grupo de desenvolvimento e aplicados - trará melhorias para o produto” (Conrad; Levi, 2002, p. 2, tradução nossa). E é justamente isso que pretendemos com este trabalho.
Ao compararmos as duas propostas, verificamos que as heurísticas de Nielsen estão centralizadas na usabilidade de interfaces do usuário, ao passo que os critérios de Conrad e Levi focam a arquitetura e a estrutura interna dos softwares.
Com o intuito de buscar uma visão mais objetiva, e que, ao mesmo tempo, sintetizasse as abordagens anteriores, recorremos às diretrizes da NBR 9241-11, atualizada em julho de 2021. De acordo com essa Norma, a usabilidade “se concentra na eficácia, eficiência e satisfação da interação do usuário em relação ao objeto de interesse” (Normas Técnicas, 2021, p. 10). Esses componentes são assim definidos:
eficácia: acurácia e completude com que os usuários atingem objetivos específicos; eficiência: recursos utilizados em relação aos resultados alcançados; satisfação: até que ponto as respostas físicas, cognitivas emocionais do usuário resultantes do uso de um sistema, produto ou serviço atendem às necessidades e expectativas do usuário (Normas Técnicas, 2021, p. 4).
Como se percebe, o primeiro critério está centrado no sucesso ao realizar determinada tarefa; o segundo, no desempenho do software, e o terceiro, nos sentimentos dos usuários. Assim considerado, validamos tais parâmetros como adequados e suficientes para avaliar a usabilidade de nossa ferramenta e por isso as questões do teste, de alguma forma, os contemplaram.
Na Seção 6, abordaremos, com mais detalhes, essa correspondência.
5 Métodos
Para desenvolver este trabalho de natureza aplicada, utilizamos uma abordagem qualitativa com objetivo exploratório (Paiva, 2019). Para a geração de dados, utilizamos como instrumento um questionário do Google Forms.
Antes de iniciarmos a pesquisa, submetemos o referido projeto ao Comitê de Ética de nossa universidade. A aprovação foi documentada por meio do Parecer Consubstanciado nº 47955821.9.0000.5151. A princípio, os estudantes de uma turma ingressante de um curso de Geografia de uma universidade pública, no primeiro semestre de 2020, foram convidados a participar da pesquisa. Do total de dezoito alunos, cinco aceitaram o convite.
Inicialmente, foi solicitado que esses discentes produzissem um resumo acadêmico utilizando o software “AutorIA”, para que, posteriormente, pudessem avaliar a ferramenta. Salienta-se que, para fins desta pesquisa, não traremos as análises dos textos produzidos pelos alunos, o que será realizado em outra oportunidade. Aqui, demos ênfase especial à análise do questionário respondido pelos estudantes.
Após a escrita, eles preencheram um questionário no Google Forms para indicarem suas opiniões sobre o aplicativo. Esse documento teve de ser respondido on-line, pois estávamos num período em que a pandemia atingia níveis alarmantes e, por essa razão, era necessário o distanciamento entre os participantes.
As questões que compuseram o questionário foram divididas em três etapas. Na primeira, tivemos por objetivo levantar o perfil digital dos alunos, a fim de verificarmos se essa variável poderia interferir nos resultados.
Na segunda etapa, produzimos vinte e oito questões que se enquadraram nos critérios de “satisfação”, “eficácia” e “eficiência”, nessa ordem de prioridade. Essa escolha se deu porque estávamos interessados em investigar se os usuários se sentiram satisfeitos e se obtiveram sucesso na realização das tarefas, já que essas prerrogativas os motivariam a usar o software novamente.
Por sua vez, o critério de “eficiência” foi considerado o menos relevante para nossos propósitos, já que a ferramenta não requer tantos recursos computacionais; por isso esse quesito foi o menos explorado.
Essas questões eram de múltipla escolha, cujas respostas foram organizadas segundo a escala de Likert (1932): “Discordo Totalmente”, “Discordo”, “Indeciso”, “Concordo” e “Concordo Totalmente”. As correspondências entre os critérios e as questões propostas no questionário são indicadas na Tabela 1.
Correspondência entre os critérios e o questionário.
Fonte: Elaboração própria.
Por fim, a última seção do questionário foi composta por quatro questões discursivas, para que os participantes se expressassem livremente sobre os aspectos que mais/menos gostaram e também apontassem sugestões para a melhoria da ferramenta.
Após o preenchimento, os questionários foram analisados. Como parâmetro para essa análise, interpretamos como avaliações favoráveis aquelas em que a maioria das respostas foi registrada como “Concordo Totalmente” e “Concordo”.
Por outro lado, para um maior rigor, as avaliações foram consideradas negativas se pelo menos 1 participante indicou como opção “Discordo” ou “Discordo Totalmente” em relação ao quesito analisado.
6 Análise e discussão dos dados
A análise da primeira parte do questionário permitiu verificar que cinco alunos(as) do curso de Geografia da universidade pública selecionada responderam às questões. Os(as) participantes eram jovens, tinham entre dezoito e vinte e três anos. Todos utilizavam computadores há mais de cinco anos e gastavam mais de dez horas semanais na Internet.
Sendo assim, os(as) participantes dominam recursos computacionais básicos, passam muito tempo conectados e, talvez, por isso, não tenham tido dificuldades para lidar com a ferramenta hipermídia. Na segunda parte do instrumento, nossa análise priorizou os quesitos mais bem e mais mal avaliados pelos alunos, segundo os critérios de satisfação, eficácia e eficiência. Iniciemos pelos pontos positivos, ou seja, cujas respostas foram “Concordo” (C) ou Concordo totalmente” (CT), conforme apontado na Tabela 2:
Síntese da quantidade de respostas positivas dos(as) participantes.
Fonte: Elaboração própria.
Segundo os discentes, a ferramenta permitiu bom alcance dos objetivos durante o processo de escrita do resumo. Além disso, eles(as) afirmaram que o software oferecia informações relevantes e suficientes para realizar as tarefas e ainda disponibilizava bons mecanismos e informações para aprender a fazer resumos.
Os alunos frisaram também que os recursos foram disponibilizados de forma clara pelo programa (exemplos de resumos, sugestões de expressões para introduzir, desenvolver, concluir o texto etc.), auxiliando-os(as) no momento da produção.
Outro recurso avaliado positivamente foi o tutorial, já que, de acordo com os(as) estudantes, ele forneceu importantes explicações sobre o processo de produção do gênero.
Por fim, constatou-se a relevância da ficha de autoavaliação sugerida na ferramenta, visto que ela foi muito proveitosa como roteiro de revisão do resumo produzido pelos(as) discentes.
Levando em conta os dados apresentados na Tabela 1, podemos afirmar que os quesitos mais bem avaliados foram o da satisfação e o da eficácia do software, tendo este último maior relevo. Isso se deu, segundo os(as) estudantes, devido à disponibilização de materiais de apoio que colaboraram para a elaboração dos resumos.
Esses quesitos avaliados de forma positiva contemplam as heurísticas seis, oito e dez de Nielsen (1994), que se referem, respectivamente, à visibilidade dos elementos e das opções aos usuários, ao fornecimento apenas de informações relevantes e necessárias e à disponibilização de documentação que possa ajudar no desenvolvimento das tarefas.
Por outro lado, apresentamos na Tabela 3, os pontos negativos apontados pelos(as) participantes, cuja referência foram as respostas “Discordo” (D) ou “Discordo Totalmente” (DT):
Síntese da quantidade de respostas negativas dos(as) participantes.
Fonte: Elaboração própria.
A análise da tabela nos permite verificar que pelo menos 1 discente pontuou que o programa não foi tão fácil de ser utilizado. Provavelmente, por assumir essa dificuldade, o(a) estudante pode ter se irritado em alguns momentos. Houve também problemas relacionados a encontrar os caminhos de volta e por isso o(a) aluno(a) pode ter se sentido “perdido(a)”.
Ademais, foi feita uma ponderação quanto à lentidão de processamento do software e também quanto ao aspecto da não atratividade na configuração das páginas.
Finalmente, um(a) aluno(a) pontuou a dificuldade de navegação no programa.
Ao analisarmos as respostas indicadas na Tabela 2, constatamos que houve avaliação negativa quanto os critérios de eficácia (dificuldade em encontrar caminhos de volta), eficiência (lentidão do programa) e satisfação. Esse último critério teve maior destaque, principalmente no que se refere à dificuldade de navegação (o que talvez possa ter causado irritação) e ao layout da interface, que não pareceu atrativo.
Ao confrontarmos esses critérios com aqueles propostos por Nielsen (1994), podemos afirmar que os pontos mais frágeis do software infringem diretamente as heurísticas três, seis, sete e oito, problemas estes interpretados, respectivamente, como a dificuldade em encontrar caminhos de volta, dificuldade de manuseio, ineficiência de uso e design não atrativo. A partir desses resultados, tais quesitos têm passado por adequações, a fim de serem aperfeiçoados.
Apesar de não ter sido considerado na análise, merece destaque, ainda, o elevado número de indecisos: em dezessete questões sobre satisfação, onze usuários demonstraram dúvida na avaliação e, nas nove questões sobre eficácia, cinco foram os indecisos. Esse fato nos leva a crer que os aspectos que provocaram indecisão por parte dos usuários também precisarão ser aprimorados em médio prazo.
Após a apresentação das análises dos dados relativos à etapa II do questionário, passamos, a seguir, às análises da etapa III, as questões abertas.
A primeira pergunta dizia respeito ao atendimento geral das expectativas dos(as) discentes ao utilizarem o software. A maioria dos(as) voluntários(as) (75%) se sentiu satisfeita e isso pôde ser comprovado pelas justificativas abaixo, as quais reforçam a importância dos recursos da ferramenta:
Pergunta 1: O site satisfez suas expectativas? Por favor, justifique sua resposta. Estudante 1: “Sim, principalmente na parte em que ensina a fazer resumos”.
Estudante 2: “Sim, o software não só facilita no desenvolvimento do resumo como proporciona melhoras com suas funcionalidades.”
Estudante 3: “Sim, entendo que ele ainda está sendo programado e com isso algumas coisas são possíveis (sic) de se relevar, mas isso apenas demonstra o seu grande potencial”.
Estudante 4: “Sim, ajuda bastante, pois tenho dificuldade em fazer resumos, o tempo todo acho q estou copiando o texto, e com os recursos do programa não me senti assim”.
No entanto as expectativas do estudante 5 não foram totalmente satisfeitas, já que a ferramenta não oferece recursos que ele considera importantes:
Estudante 5: “Em partes, eu senti um pouco de falta de um corretor ortográfico e de conseguir ver o texto original completo na hora de escrever o resumo”.
A próxima pergunta dizia respeito ao que os alunos mais gostaram no aplicativo. Verificamos que eles consideraram interessantes recursos de diferentes naturezas, com ênfase especial aos elementos de conexão:
Pergunta 2: O que mais gostei no software?
Estudante 1: “A ajuda para fazer os resumos e as dicas de conectivos”.
Estudante 2: “O que mais me chamou atenção foram os exemplos de resumos e outras funcionalidades como esta, pelo fato de facilitarem no desenvolvimento do resumo”.
Estudante 3: “O auxílio para a confecção de referencia (sic) bibliográfica e os conectores”. Estudante 4: “Mostra dados comparativos do meu resumo com o artigo em que estou resumindo”.
Estudante 5: “A divisão da tela e a variação de cor para cada tipo de marcação, o que ajuda bastante na hora de procurar no texto o que procura”.
Essas falas vêm ao encontro do que foi observado na Tabela 1, a partir da qual visualizamos os pontos positivos da ferramenta.
Por outro lado, os aspectos que os alunos menos gostaram foram: Pergunta 3: O que menos gostei no software?
Estudante 1: “A dificuldade para começar a escrita”.
Estudante 2: “A dificuldade com a marcação das partes mais importantes do texto, por não ter um conhecimento prévio dos termos que foram utilizados para os tópicos”.
Estudante 3: “Interface um pouco difícil de trabalhar e poluida (sic), a rodagem do site entre abas e o exportador para .pdf que corrompe os dados”.
Estudante 4: “Tive um pouco de dificuldade para achar as coisas que queria usar, mas depois de um tempo consegui”.
Estudante 5: “Não poder colocar o texto original ao lado do resumo, mas só as partes grifadas”.
Aqui também se percebe uma correspondência com o que aponta a Tabela 2, que demonstra os aspectos negativos da ferramenta.
Relacionada à questão anterior, finalmente, na última questão do questionário, solicitavam-se sugestões para que o software pudesse ser aperfeiçoado, e os alunos assim se manifestaram:
Pergunta 4: Apresente, por gentileza, sugestões para melhoria da ferramenta.
Estudante 1: “Melhoria da funcionalidade de formatação do texto, tive dificuldade para encontrar coisas que por exemplo, no Word seriam mais fáceis para mim”.
Estudante 2: “Eu tive um problema em exportar o resumo em .pdf, sempre corrompendo-o. Acredito que se colocar o ótimo tutorial dividido em partes antes de começar a criar os textos melhor e tirar a necessidade de colocar a página em tela cheia para acessar certos recursos mesmo com uma resolução de 1280x720”.
Estudante 3: “O corretor ortográfico seria muito bom”.
Estudante 4: “Acho que seria interessante ter sugestões de sinônimos”. Estudante 5: “Inserir um corretor gramatical, pois não encontrei no programa”.
Percebe-se, aqui, dentre os recursos mais sugeridos, aqueles ligados a questões gramaticais.
Enfim, todos os dados apresentados quanto às potencialidades, fragilidades e sugestões sobre o software foram repassados e estão sendo colocados em prática, de forma criteriosa, pela equipe de desenvolvimento do projeto. Reiteramos, assim, as palavras de Conrad e Levi (2002), que defendem que os testes de usabilidade só serão úteis e trarão melhorias para o produto se o grupo de trabalho aplicar seus resultados.
7 Considerações finais
Refletir sobre o processo de escrita na universidade e sobre os modos de favorecer seu processo de ensino e aprendizagem é fundamental e urgente, e esta pesquisa vem justamente fornecer subsídios para melhorar uma ferramenta computacional criada com esse objetivo.
Os resultados nos mostraram fortalezas e fragilidades do software “AutorIA”. Dentre os pontos positivos, destacamos a disponibilização de informações e recursos relevantes para a produção de resumos (tutoriais e sugestão de estrutura retórica do gênero) e a possibilidade de gerar estatísticas relativas à comparação entre o texto original e o resumo. Além disso, os(as) participantes destacaram facilitadores, como a geração semiautomática de referência bibliográfica e os marcadores para fichamento, aspectos ligados à eficácia da ferramenta.
Como aspectos negativos, foram levantadas questões quanto à organização da interface e problemas na navegação. De acordo com os(as) alunos(as), algumas informações ficaram dispersas na interface, dificultando seu acesso de forma natural sem sair da tela da escrita.
Foi identificada ainda a necessidade de deixar a interface mais sensível ao contexto, oferecendo os recursos de apoio de acordo com o estágio da escrita e sem a necessidade de acessar menus laterais ou botões na barra superior. A proposta é que esse recurso de apoio possa ser usado sem dispersar a atenção do(a) aluno(a) em relação ao foco principal, que é a produção do resumo e sua satisfação ao realizar tal atividade.
A partir desses dados, procederemos a ajustes estratégicos no software, a fim de que, de modo progressivo, possamos torná-lo mais adequado ao cumprimento de seu principal propósito: apoiar/monitorar, efetivamente, a produção de gêneros acadêmico-científicos dos(as) estudantes por meio da disponibilização de recursos que possam subsidiar uma escrita autoral.
Referências
BIASI-RODRIGUES, B. Estratégias de condução de informações em resumos de dissertações. 1998. Tese (Doutorado) - Universidade Federal de Santa Catarina, Florianópolis. Tese de Doutorado, Programa de Pós-Graduação em Letras/Linguística.
BIASI-RODRIGUES, B.; HEMAIS, B.; ARAÚJO, J. C. Análise de gêneros na abordagem de Swales: princípios teóricos e metodológicos. In: BIASI-RODRIGUES, B.; ARAÚJO, J. C.; SOUSA, S. C. T. de (ed.). Gêneros textuais e comunidades discursivas: um diálogo com John Swales. Belo Horizonte: Autêntica, 2009. p. 17-32.
CAETANO OLIVEIRA, M. de C. A produção de resumos acadêmicos: um estudo preliminar sobre a usabilidade do software “AutorIA - MEU RESUMO”. Fólio Revista De Letras, v. 12, n. 1, p. 725-747, 2020. DOI: https://doi.org/10.22481/folio.v12i1.6728. Disponível em: Disponível em: https://periodicos2.uesb.br/index.php/folio/article/view/6728. Acesso em: 18 dez. 2023.
CAETANO OLIVEIRA, M. de C.; TEIXEIRA, F. A. Resumos acadêmicos na área de Geografia: análise da estrutura retórica e percepções sobre o processo de produção. Revista da ABRALIN, v. 20, n. 3, p. 1400-1426, 2021. DOI: 10.25189/rabralin.v20i3.1920. Disponível em: Disponível em: https://revista.abralin.org/index.php/abralin/article/view/1920. Acesso em: 18 dez. 2023.
CONRAD, M.; LEVI, F. G. Usability Testing of World Wide Web Sites. 2002. Disponível em: Disponível em: https://www.researchgate.net/publication/221517595_Usability_Testing_of_World_Wide_Web_Sites. Acesso em: 18 jan. 2024.
GAROFALO, D. Educação 4.0: o que devemos esperar. [S. l.: s. n.], mar. 2018. Disponível em: Disponível em: https://novaescola.org.br/conteudo/9717/educacao-40-o-que-devemos-esperar. Acesso em: 23 jul. 2024.
JUCÁ, S. C. S. A relevância dos softwares educativos na educação profissional. Ciências e Cognição, v. 8, p. 22-28, 2006. Disponível em: Disponível em: http://pepsic.bvsalud.org/pdf/cc/v8/v8a04.pdf. Acesso em: 17 ago. 2023.
LIKERT, R. A Technique for the Measurement of Attitudes. New York: Archives of Psychology, 1932.
MACHADO, A. R.; LOUSADA, E.; ABREU-TARDELLI, L. S. Resumo. São Paulo: Parábola, 2004.
MOTTA-ROTH, D.; HENDGES, G. R. Produção textual na universidade. São Paulo: Parábola , 2010.
NIELSEN, J. Usability inspection methods. [S. l.: s. n.], 1994. Disponível em: Disponível em: https://dl.acm.org/doi/pdf/10.1145/259963.260531. Acesso em: 3 jul. 2023.
NIELSEN, J. Usability 101: Introduction to Usability. 2012. Disponível em: Disponível em: https://www.nngroup.com/articles/usability-101-introduction-to-usability/. Acesso em: 1 ago. 2023.
NORMAS TÉCNICAS, Associação Brasileira de. NBR ISO 9241-1. Ergonomia da interação humano-sistema. Parte 11: Usabilidade: Definições e conceitos. Rio de Janeiro, 2021.
PAIVA, V. L. M. de O. e. Manual de pesquisa em estudos linguísticos. São Paulo: Parábola , 2019.
SANTOS, M. B. dos. Academic Abstracts: a genre analysis. 1995. f. 81. Diss. (Mestrado) - Universidade Federal de Santa Catarina, Programa de Pós-Graduação em Letras/Inglês, Florianópolis.
SILVA, M. C.; BOTELHO, L. S.; CAETANO OLIVEIRA, M. de C. A produção de resumos acadêmicos na universidade: percepções de modelos de ensino-aprendizagem na perspectiva dos letramentos. Trabalhos em Linguística Aplicada, v. 60, n. 2, p. 580-594, 2021. Disponível em: Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/tla/article/view/8660840. Acesso em: 5 ago. 2024.
SWALES, J. M. Research into structure of introductions to journal articles and its application to the teaching of academic writing. In: COMMON Ground: shared interests in ESP and communication studies. Usa: Pergamon Press, 1984. p. 77-86.
SWALES, J. M. Genre Analysis: English in academic and research settings. Cambridge: Cup, 1990.
SWALES, J. M.; NAJJAR, H. The writing of research article introductions. Written Communication, v. 4, p. 175-192, 1987.
Notes
Author notes
Autor Correspondente: Marília de Carvalho Caetano Oliveira
