A Engenharia de Software (ES) é uma disciplina voltada à aplicação de teorias, conhecimentos e práticas no desenvolvimento de sistemas de software confiáveis e que satisfaçam os requisitos dos usuários e clientes (ACM, 2013). Deste modo, como resultado do ensino de ES, espera-se que os profissionais, além de resolver problemas técnicos, também desenvolvam habilidades não técnicas, tais como: gestão, comunicação e trabalho em equipe (Sedelmaier, Landes, 2015).

Tipicamente a ES é ensinada por meio de aulas tradicionais expositivas (Parsons, 2011). Este método instrucional é adequado para apresentar conceitos abstratos e informações pontuais, mas pode não ser o mais adequado para alcançar objetivos cognitivos em níveis mais elevados como a aplicação e transferência de conhecimento para situações reais (Parsons, 2011). No entanto, as restrições práticas das aulas geralmente limitam a exposição dos estudantes a cenários realistas, o que pode dificultar a aprendizagem de como aplicar os conceitos. Por outro lado, outros métodos instrucionais, como os jogos educacionais, podem ser mais adequados para alcançar a aprendizagem em níveis elevados de forma mais eficaz (Connolly et al., 2012). Jogos educacionais são projetados especificamente para ensinar as pessoas sobre um determinado assunto, expandir conceitos, reforçar o desenvolvimento, ou ajudá-los a explorar ou aprender uma habilidade ou uma mudança de atitude (Dempsey et al., 1996).

Motivados pela necessidade de fornecer mais oportunidades práticas para os estudantes, vários jogos educacionais foram desenvolvidos para o ensino de ES, incluindo jogos digitais e não-digitais (Battistella, Gresse von Wangenheim, 2016; Petri, Gresse von Wangenheim, 2017). Os jogos digitais são jogos eletrônicos que envolvem interação humana com uma interface de usuário para gerar feedback visual em um dispositivo eletrônico, como smartphones, computadores, tablets, etc. (Mitamura et al., 2012), enquanto jogos não-digitais são reproduzidos com recursos não-digitais, como tabuleiros, cartas, lápis e papéis, etc. (Connolly et al., 2007).

Os jogos para o ensino de ES, em geral, objetivam oferecer experiência prática aos alunos em um ambiente seguro e controlado, ajudando a alcançar a aprendizagem no nível de aplicação, o que de outra forma, devido a restrições práticas, pode não ser possível na Engenharia de Software (Navarro, van der Hoek, 2005). Muitos dos jogos para o ensino de ES são jogos de simulação, geralmente abrangendo tópicos de Gerenciamento de Engenharia de Software, por exemplo, Deliver! (Gresse von Wangenheim, Savi, Borgatto, 2012), SimSoft (Bavota et al., 2012), Scrumia (Gresse von Wangenheim, Savi, Borgatto, 2013), no qual o aluno assume o papel de gerente de projeto e executa o planejamento, monitoramento e controle de um projeto de software (Battistella, Gresse von Wangenheim, 2016); Processo de Engenharia de Software, por exemplo, SimSE (Navarro, 2006), Problems and Programmers (Baker et al., 2006), simulando a execução de um tipo específico de processo de desenvolvimento de software ou engenharia de requisitos; e Teste de Software, por exemplo, Secret Ninja Testing (Bell et al., 2011), U-Test (Thiry et al., 2011), no qual o jogador deve resolver os desafios ao preparar os casos de teste.

Deste modo, acredita-se que os jogos educacionais potencializam diversos benefícios, como o aumento da eficácia da aprendizagem, aumento no interesse e motivação dos estudantes (Gresse von Wangenheim, Shull, 2009). Os jogos podem também criar um ambiente divertido e seguro, onde os alunos podem tentar alternativas e ver as consequências, aprendendo com seus próprios erros e experiências práticas (Pfahl et al., 2001). Assim, acredita-se que os jogos podem ser uma estratégia instrucional eficaz e eficiente para o ensino e aprendizagem. No entanto, estas alegações são questionáveis ​​ou não rigorosamente comprovadas (Gresse von Wangenheim, Shull, 2009; Connolly et al., 2012). Assim, na prática, o uso dos jogos para o ensino de ES necessita evidenciar a sua qualidade e o impacto esperado na aprendizagem e/ou o engajamento que eles prometem (Caulfield et al., 2011; Connolly et al., 2012).

Deste modo, para obter uma compreensão mais abrangente da qualidade dos jogos utilizados para o ensino de ES no Brasil, analisamos evidências empíricas das avaliações de jogos digitais e não-digitais utilizados para o ensino de ES a partir de estudos de caso que usaram o modelo Meega - Model for the Evaluation of Educational Games - (Savi, Gresse von Wangenheim, Borgatto, 2011), um modelo de avaliação de jogos educacionais mais utilizado na prática. Nossa análise é baseada em um conjunto de dados de 41 estudos de caso que relataram o uso do modelo Meega, avaliando 19 diferentes jogos para o ensino de ES em diferentes instituições de ensino de computação do Brasil, envolvendo uma população total de 704 alunos.

Embora os jogos educacionais estão sendo amplamente utilizados para o ensino de ES, é essencial avaliar esses jogos para obter evidências empíricas da qualidade dos jogos como base para uma adoção efetiva e eficiente. A avaliação de um método instrucional, como jogos educacionais, visa medir o nível de seu sucesso, avaliando se o público-alvo alcançou os objetivos definidos (Branch, 2010).

Na literatura, vários estudos resumem o estado da arte na avaliação de jogos para computação e ensino de ES (Petri, Gresse von Wangenheim, 2017; Battistella, Gresse von Wangenheim, 2016; Gresse von Wangenheim, Shull, 2009, Calderón, Ruiz, 2015; Caulfield et al., 2011; Connolly et al., 2012). Estes estudos mostram que, além de avaliar o efeito de aprendizagem, outros fatores também são avaliados, incluindo motivação, experiência do usuário, usabilidade etc., demonstrando que não existe um consenso sobre os fatores a serem avaliados (Petri, Gresse von Wangenheim, 2017; Calderón, Ruiz, 2015; Petri, Gresse von Wangenheim, 2016). Porém, a maioria das avaliações de jogos educacionais são realizadas de forma ad-hoc em termos de design de pesquisa, medição e coleta de dados e análises, evidenciando a falta de rigor científico utilizado nas avaliações (Petri, Gresse von Wangenheim, 2017; Battistella, Gresse von Wangenheim, 2016; Gresse von Wangenheim, Shull, 2009, Calderón, Ruiz, 2015; Caulfield et al., 2011; Connolly et al., 2012).

Neste contexto, para fornecer um apoio mais sistemático, até agora houve poucas tentativas para desenvolver abordagens para avaliar a qualidade de jogos educacionais (Petri, Gresse von Wangenheim, 2016). Entre as abordagens para a avaliação de jogos encontradas na literatura, duas se destacaram: Meega (Savi et al., 2011) e EGameFlow (Fu et al., 2009). Ambas abordagens foram sistematicamente desenvolvidas pela decomposição explícita das metas de avaliação em medidas e na definição de um questionário, validado através de uma série de estudos de caso. Ambas abordagens se concentram na avaliação da aprendizagem/melhoria do conhecimento e na experiência do usuário durante o jogo, incluindo também no caso do modelo Meega, a motivação promovida pelo jogo. Atualmente, o modelo Meega parece ser usado mais amplamente na prática sendo relatado por vários estudos de autores diferentes avaliando diferentes jogos e contextos (Petri, Gresse von Wangenheim, 2017; Calderón, Ruiz, 2015; Petri, Gresse von Wangenheim, 2016). Por esta razão, neste trabalho, consideramos essa bem definida e avaliada abordagem para resumir evidências empíricas de avaliações de jogos para o ensino de ES.

De modo a sintetizar evidências empíricas de jogos usados para o ensino de ES no Brasil um estudo de caso é conduzido (Wohlin et al., 2012; Yin, 2009), estruturado em três etapas: definição, execução e análise.

Na fase de definição, seguindo a abordagem GQM (Basili et al., 1994), o objetivo do estudo é decomposto em aspectos de qualidade e questões de análise para serem analisadas com base nos dados coletados nas avaliações de jogos. O objetivo deste estudo é sintetizar evidências empíricas sobre a qualidade de jogos digitais e não-digitais para o ensino de ES em termos de motivação, experiência do usuário e aprendizagem do ponto de vista de pesquisadores no contexto de ensino de ES em nível superior no Brasil.

A fase de execução é organizada em três etapas. Primeiro, identificamos e selecionamos estudos de caso potenciais pela busca no Google e Google Scholar por artigos que reportassem a avaliação de um jogo de ES utilizando o modelo Meega para a avaliação em uma instituição do Brasil. Como resultado, identificamos 41 estudos de caso, tabela 1. Então, nós contatamos os autores (via e-mail) solicitando os dados da avaliação. Na etapa 3, nós agrupamos os dados coletados nos estudos de caso selecionados, tabela 1, em uma única amostra de dados para a análise.

A seleção de estudos de caso que utilizaram o modelo Meega se dá pelo fato de que o modelo Meega foi desenvolvido especificamente para a avaliação de jogos educacionais, além de, atualmente, ser o modelo de avaliação mais amplamente utilizado na prática para este tipo de avaliação (Calderón, Ruiz, 2015; Petri, Gresse von Wangenheim, 2017). O objetivo do modelo Meega é avaliar um jogo educacional em relação à motivação, experiência do usuário e aprendizagem do ponto de vista dos alunos no contexto de uma unidade instrucional. Seguindo o processo de estudo empírico (Wohlin et al., 2012) e o guia para o desenvolvimento de escalas de medição (Devellis, 2013), o Meega foi desenvolvido pela decomposição sistemática de fatores de qualidade usando a abordagem GQM (Basili et al., 1994). Esses fatores de qualidade foram refinados em um conjunto de dimensões a partir das quais os itens do questionário foram derivados para operacionalizar a coleta de dados em estudos de caso, após a aplicação do jogo. A decomposição dos fatores de qualidade do modelo Meega é apresentado na figura 1.

Figura 1 - Figura 1 - Decomposição dos fatores de qualidade (Savi et al., 2011).

Cada estudo de caso que utiliza o modelo Meega para a avaliação de jogos começa com a aplicação do tratamento (jogo educacional) e, em seguida, o questionário é respondido pelos alunos para a coleta dos dados.

Por fim, na fase de análise, nós conduzimos uma análise abrangente sobre a qualidade dos jogos de ES, deste modo, utilizamos os dados coletados de forma acumulada para sintetizar evidências empíricas sobre a qualidade dos jogos em termos de motivação, experiência do usuário e aprendizagem. Assim, analisamos cada uma das questões de análise definidas.

O objetivo deste estudo é sintetizar evidências empíricas sobre a qualidade de jogos digitais e não-digitais para o ensino de ES em termos de motivação, experiência do usuário e aprendizagem do ponto de vista de pesquisadores no contexto de ensino de ES em nível superior no Brasil. Com base neste objetivo, nós derivamos as seguintes questões de análise, agrupadas pelos fatores de qualidade avaliados:

Motivação

QA1: Os jogos de ES contribuem para a motivação do estudante?

QA2: Há diferença entre a motivação proporcionada por jogos digitais e não-digitais?

Experiência do usuário

QA3: Os jogos de ES proporcionam uma positiva experiência de usuário?

QA4: Há diferença entre a experiência de usuário proporcionada por jogos digitais e não-digitais?

Aprendizagem

QA5: Os jogos de ES contribuem para a aprendizagem?

QA6: Há diferença entre a aprendizagem proporcionada por jogos digitais e não-digitais?

De modo a maximizar o tamanho da amostra, coletamos dados de estudos de caso que avaliam os jogos de ES em cursos de computação em nível superior no Brasil usando o modelo Meega. Como resultado, obtivemos dados de 41 estudos de caso, com respostas de um total de 704 alunos em cinco instituições diferentes, conforme resumido na tabela 1.

Quadro 1 - Quadro 1 - Resumo dos estudos de caso.

Nome do jogo	Plataforma	Área de conhecimento da ES (Bourque, Fairley, 2014)	Curso/semestre	Instituição	Tamanho da amostra
Dealing with difficult people (Gresse von Wangenheim, Carvalho, Battistella, 2013)	Não digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2013-1	UFSC	14
			Gestão de Projetos/2013-1		28
			Planejamento e Gestão de Projetos/2015-2		23
DELIVER! (Gresse von Wangenheim, Savi, Borgatto, 2012)	Não digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2010-2	UFSC	15
			Gestão de Projetos /2010-2		13
DOJO	Digital	Gerenciamento de ES	Gestão de Projetos /2013-1	UDESC	19
EAReqGame (Petri, Chiavegatti, 2015)	Digital	Requisitos de Software	Engenharia de Software/2014-2	UFSM	14
Paper Tower (Gresse von Wangenheim, 2017)	Não digital	Gerenciamento de ES	Gestão de Projetos /2013-1	UDESC	4
PERT-CPM Game	Não digital	Gerenciamento de ES	Gestão de Projetos	UNISUL	5
PizzaMia (Schoeffel, 2014)	Não digital	Gerenciamento de ES	Gestão de Projetos /2013-1	UDESC	17
			Gestão de Projetos /2014-1		19
			Gestão de Projetos /2015-1		13
PMMaster (Gresse von Wangenheim, 2017)	Não digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2010-2	UFSC	7
			Gestão de Projetos /2010-2		16
			Planejamento e Gestão de Projetos/2012-1		21
			Gestão de Projetos /2012-1		33
			Planejamento e Gestão de Projetos/2015-1		17
			Planejamento e Gestão de Projetos/2015-2		12
PMQuiz (Petri; Battistella, Cassettari, Gresse von Wangenheim, Hauck, 2016)	Digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2015-1	UFSC	20
			Gestão de Projetos /2015-1		13
			Planejamento e Gestão de Projetos/2015-2		18
			Gestão de Projetos /2015-2		20
Project Detective (Gresse von Wangenheim, Rausis, Soares, Savi, 2014)	Não digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2011-2	UFSC	18
			Gestão de Projetos /2011-2		31
			Planejamento e Gestão de Projetos/2013-1		13
Risk Game	Não digital	Gerenciamento de ES	Gestão de Projetos /2013-1	UDESC	15
Risk Management Game	Não digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2015-2	UFSC	18
Schedule and Risk Game	Não digital	Gerenciamento de ES	Gestão de Projetos /2014-1	UDESC	5
SCRUM’ed (Schneider, 2017)	Digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2015-1	UFSC	23
SCRUMIA (Gresse von Wangenheim, Savi, Borgatto, 2012)	Não digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2010-2	UFSC	16
			Gestão de Projetos /2010-2		12
			Planejamento e Gestão de Projetos/2011-1		15
			Gestão de Projetos /2011-1		30
			Planejamento e Gestão de Projetos/2015-1		13
			Planejamento e Gestão de Projetos/2015-2		18
			Métodos Ágeis/2013-1	UDESC	23
SCRUM-SCAPE (Battistella, Camargo, Gresse von Wangenheim, 2016)	Digital	Gerenciamento de ES	Planejamento e Gestão de Projetos/2013-2	UFSC	17
ThatPMGame	Digital	Gerenciamento de ES	Gestão de Projetos /2013-1	UDESC	6
			Gestão de Projetos /2013-1		13
UsabiliCity (Ferreira et al., 2014)	Digital	Design de Software	Interação Humano Computador/2014	Uninorte	37
XPEnigma	Não digital	Gerenciamento de ES	Gestão de Projetos /2013-1	UDESC	20

Em síntese, os estudos de caso envolveram 19 diferentes jogos educacionais para o ensino de ES, sendo sete jogos digitais e 12 jogos não-digitais. Dezessete dos jogos avaliados concentram-se na área de Gerenciamento de ES, sendo aplicados, principalmente, em disciplinas de Planejamento e Gestão de Projetos de Software. Estes jogos, tipicamente, são utilizados para revisar conhecimentos por meio de perguntas e respostas, como nos jogos PMMaster e PMQuiz, simular a execução de um projeto, como no jogo Scrumia e também, para o desenvolvimento de habilidades interpessoais, como no jogo Dealing with Difficult People. Além disso, outros dois jogos objetivam desenvolver conhecimentos nas áreas de Requisitos de Software, um jogo, e Design de Software, um jogo.

Os dados coletados nos estudos de caso, tabela 1, foram agrupados em uma única amostra, utilizando-os cumulativamente para sintetizar as evidências empíricas de jogos de ES (e não para avaliar um jogo específico). O agrupamento de dados foi possível devido à semelhança dos estudos de caso selecionados e à padronização da coleta de dados (Kish, 1884). A este respeito, os estudos selecionados são semelhantes em termos de definição (com o objetivo de avaliar um jogo para o ensino de ES em relação à motivação, experiência do usuário e aprendizagem), design de pesquisa (estudos de caso) e contexto (ensino de ES em nível superior). Além disso, todos os estudos de caso selecionados são padronizados em termos de medidas (fatores/dimensão de qualidade), método de coleta de dados - questionário Meega - e formato de resposta - escala tipo Likert de 5 pontos.

No entanto, para analisar as diferenças entre jogos digitais e não-digitais, também agrupamos os dados coletados de acordo com a respectiva plataforma, digital ou não digital, conforme detalhado na tabela 2.

Tabela 1 - Tabela 1 - Resumo dos estudos de caso por plataforma.

Plataforma	Número de estudos de caso	População
Digital	11	200
Não digital	30	504
Total	41	704

Analisamos os dados coletados usando estatística descritiva em termos de distribuição de frequência e tendência central para responder a cada uma das questões de análise conforme definido na metodologia de pesquisa, agrupada por cada fator de qualidade (motivação, experiência do usuário e aprendizagem). A partir dos dados coletados, as frequências de respostas foram identificadas, considerando o intervalo de respostas em uma escala de tipo Likert de 5 pontos variando de 2 (discordo totalmente) a 2 (concordo totalmente).

QA1: Os jogos de ES contribuem para a motivação do estudante?

Em geral, em termos de motivação, os alunos perceberam uma contribuição positiva dos jogos de ES para motivá-los (Figura 2 (a)), especialmente devido à relevância do conteúdo do jogo e ao modo fácil de usar o jogo como material de estudo. Os alunos também indicaram que a atratividade do design do jogo é importante para motivá-los ao estudo.

Em termos de satisfação proporcionada pelos jogos, os alunos confirmam que estão moderadamente satisfeitos, pois sabem que terão oportunidades de praticar no seu trabalho profissional coisas que eles aprenderam jogando. Além disso, a maioria dos alunos também confirmou que eles conseguiram avançar devido ao seu esforço pessoal - o que corresponde a um elemento essencial de um jogo educacional, que só deve permitir que os alunos vençam se alcançaram os respectivos objetivos de aprendizagem (Dempsey et al., 1996).

Os alunos também indicaram que a facilidade de entender o jogo e suas regras é importante para usá-lo como material de estudo. No entanto, uma vez que esta confiança foi classificada apenas moderadamente positiva, pode indicar que, em geral, as regras e/ou mecanismos dos jogos podem ser melhorados, a fim de permitir que os alunos façam progressos nas tarefas de aprendizagem por meio de seus próprios esforços.

Os alunos confirmam que os jogos de ES são relevantes em termos de conteúdo e são consistentes com seus objetivos e que os alunos podem vincular conteúdo com seu futuro profissional.

A atenção promovida pelos jogos foi avaliada de forma bastante positiva. Isso confirma, principalmente, que a variação da forma, conteúdo e atividades e o design atraente são questões importantes para captar a atenção do aluno. No entanto, ainda pode ser melhorado, pois observamos algumas classificações negativas, indicando que os alunos não perceberam nada interessante no início do jogo.

Figura 2 - Figura 2 - (a) Diagrama de frequência e medianas de respostas em relação à motivação para ambas plataformas. (b) Medianas de jogos digitais e não-digitais em relação à motivação.

QA2: Há diferença entre a motivação proporcionada por jogos digitais e não-digitais?

Analisando a diferença entre a motivação proporcionada por jogos digitais e não-digitais, observamos que ambas as plataformas contribuem para a motivação dos estudantes: figura 2b. Em relação a satisfação e a confiança, a análise de ambas as plataformas também mostra resultados positivos semelhantes, principalmente, no que se refere ao uso dos jogos como material de estudo.

Em termos de relevância, novamente, os jogos digitais e não-digitais mostram uma avaliação positiva. No entanto, uma avaliação um pouco mais positiva sobre a conexão do conteúdo do jogo com outros conhecimentos foi percebida em relação aos jogos digitais. Isso, é claro, também pode estar relacionado ao conteúdo do jogo e ao seu contexto de instrução em que o jogo foi aplicado e não ao fato de serem jogos digitais.

QA3: Os jogos de ES proporcionam uma positiva experiência de usuário?

Em geral, a experiência do usuário fornecida pelos jogos foi avaliada de forma muito positiva - figura 3a. Isso demonstra que o uso de jogos como método de instrucional para o ensino de ES fornece uma boa experiência para os alunos, especialmente, em termos de interação social, cooperação e/ou competição entre os jogadores. Os alunos também indicaram que se divertiam jogando os jogos.

Os alunos também confirmaram, moderadamente, que tiveram uma sensação positiva sobre a eficiência dos jogos e que alcançaram os objetivos dos jogos aplicando seus conhecimentos prévios. Os alunos também apontaram que gostariam de jogar os jogos novamente e os recomendariam aos seus colegas. Mesmo assim, os alunos não ficaram desapontados quando interrompidos no final da aula. No entanto, isso pode expressar uma atitude normal de estudantes, esperando ansiosamente que a aula termine.

Quanto ao desafio fornecido pelos jogos, os alunos indicaram moderadamente positivo que os jogos progrediram a um ritmo adequado e foram devidamente desafiadores. No entanto, levando em consideração algumas avaliações negativas, as oportunidades de melhoria podem incluir a criação de novos obstáculos, atividades e situações em relação ao nível de competência dos jogadores.

A interação social tem sido o fator melhor classificado nos jogos. Isso demonstra que os jogos para o ensino de ES são uma boa estratégia para promover a interação entre os alunos. Os alunos apontaram que os jogos contribuíram para a cooperação e/ou competição e proporcionaram uma experiência divertida com outras pessoas. Além disso, os alunos conseguiram interagir com outros colegas durante o jogo, proporcionando um sentimento de ambiente compartilhado. Observamos também que, em vários casos, a interação durante o jogo motivou a continuação de uma interação mais próxima entre os alunos fora da sala de aula.

Com relação à imersão, os jogos foram classificados como moderadamente positivos. Este resultado mostra que os alunos tiveram uma experiência de envolvimento profundo no jogo, esquecendo suas atividades diárias, focando nas tarefas do jogo e perdendo a noção do tempo durante os jogos.

QA4: Há diferença entre a experiência de usuário proporcionada por jogos digitais e não-digitais?

No geral, analisando a experiência do usuário fornecida por jogos digitais e não-digitais para o ensino de ES, podemos identificar que ambas as plataformas foram classificadas como moderadamente positivas: figura 3b. Isso demonstra que os alunos experimentaram os jogos como uma estratégia de aprendizado positiva e atraente usando jogos digitais e não-digitais. Em termos de competência e desafios, ambas as plataformas foram avaliadas de forma semelhante.

Figura 2 - Figura 2 - (a) Diagrama de frequência e medianas de respostas em relação à experiência do usuário para ambos as plataformas. (b) Medianas de jogos digitais e não-digitais em relação à experiência do usuário.

Embora reconhecendo a diversão promovida por ambas as plataformas, os jogos não-digitais foram classificados como mais divertidos do que os digitais. Esse resultado pode ser relacionado a uma interação social mais forte entre os jogadores de jogos não-digitais que tornam o jogo mais divertido, interagindo e competindo com seus colegas, como mostrado na figura 3.

Figura 3 - Figura 3 - (a) Estudantes jogando o jogo não digital PMMaster. (b) Estudantes jogando o jogo digital Scrum-Scape.

No entanto, uma explicação para a falta de interação social fornecida pelos jogos digitais pode ser o fato de que nenhum dos jogos digitais analisados é um jogo multijogador. Isso pode ser explicado pelo fato de que a maioria dos jogos educacionais para o ensino de ES são desenvolvidos pelos próprios instrutores com recursos e tempo muito limitados. E assim, como o desenvolvimento dos jogos digitais requer um esforço considerável, muitas vezes esses jogos não alcançam todo o seu potencial de atratividade e modo de interação, o que parece reduzir o grau de diversão e imersão promovidos por esses jogos.

QA5: Os jogos de ES contribuem para a aprendizagem?

Em geral, a maioria dos alunos reconheceu que os jogos contribuíram positivamente para a aprendizagem, figura 5a. Os alunos consideraram especialmente que os jogos são eficientes para a sua aprendizagem ao compará-los com outras atividades da disciplina. A este respeito, observamos que os alunos ainda pediram para jogar novamente os jogos em preparação para exames, o que indica o jogo como uma maneira preferida de estudar. Além disso, os alunos também expressaram que esperavam que os jogos contribuíssem positivamente para a sua prática profissional.

QA6: Há diferença entre a aprendizagem proporcionada por jogos digitais e não-digitais?

Não houve diferença significativa em relação à aprendizagem, já que ambas as plataformas foram classificadas como moderadamente positivas - figura 5b. Somente em termos de prática profissional, os jogos não-digitais parecem ser capazes de contribuir mais do que os jogos digitais. Este resultado pode ser relacionado ao ambiente promovido pelo jogo não digital, promovendo a interação, compartilhamento de ideias, etc. entre os jogadores, simulando algumas características do ambiente que os alunos encontrarão em sua profissão futura.

Figura 4 - Figura 4 - (a) Diagrama de frequência e medianas de respostas em relação à aprendizagem para ambas plataformas. (b) Medianas de jogos digitais e não-digitais em relação à aprendizagem.

Os resultados obtidos a partir da análise da avaliação de 19 diferentes jogos para o ensino de ES fornecem evidências de que os jogos podem produzir um efeito positivo na aprendizagem de ES, proporcionar uma experiência agradável e envolvente aos alunos e motivá-los ao estudo.

Observamos que os jogos para o ensino de ES ajudaram a motivar os alunos, sendo considerados um método instrucional relevante que contribui para manter os alunos atentos na atividade de aprendizagem. Nós também observamos que, diferentes de outros tipos de métodos instrucionais, por exemplo aulas expositivas ou exercícios tradicionais, em que os alunos muitas vezes se distraem da tarefa de aprendizagem, os alunos participaram ativamente e mantiveram sua atenção ao longo do jogo. Embora ambas as plataformas contribuam para a motivação dos alunos, os resultados indicam que os jogos não-digitais parecem promover uma maneira melhor de manter a atenção dos alunos na tarefa de aprendizagem.

Os estudantes expressaram que jogar os jogos de ES foi uma experiência agradável e envolvente. Os jogos contribuíram para a imersão dos alunos na tarefa de aprendizagem e proporcionaram uma experiência divertida. Principalmente, a interação social promovida pelos jogos foi reconhecida como um fator muito positivo pelos alunos. Este resultado indica que a interação social é um atributo importante dos jogos educacionais (Dempsey et al., 1996), pois promove um sentimento de ambiente compartilhado que dá a oportunidade de compartilhar ideias, opiniões e conhecimento durante a interação com outros alunos. A este respeito, os jogos não-digitais foram avaliados de forma mais positiva do que os jogos digitais. Isso pode ser explicado pelo fato de que é mais fácil desenvolver um jogo não digital atraente com cartas simples, tabuleiro, etc., do que desenvolver um jogo digital atraente com modo multi-jogador, que requer um esforço de desenvolvimento considerável, e muitas vezes não disponível como a maioria destes jogos educacionais estão sendo desenvolvidos pelos próprios instrutores com recursos limitados.

Em termos de aprendizagem, os alunos expressaram que os jogos contribuíram positivamente para a sua aprendizagem. Muitas vezes, os jogos educacionais são usados como estratégia instrucional complementar para a o ensino de ES, tipicamente usado para expandir e/ou reforçar conceitos e proporcionar mais oportunidades práticas para os alunos. A maioria dos jogos analisados são projetados para ensinar conhecimento ao invés de habilidades ou atitudes, principalmente, conhecimento sobre Gerenciamento de ES: 90% dos jogos analisados, incluindo jogos digitais e não-digitais. Por outro lado, o exemplo do jogo Dealing with difficult people (Gresse von Wangenheim, Carvalho, Battistella, 2013), também ilustra que os jogos podem ser usados para ensinar uma mudança de atitude em relação à dificuldade de lidar com pessoas difíceis em projetos de software.

Em resumo, podemos observar que o uso de jogos para o ensino de ES já é uma realidade no Brasil e, com base em nossa análise, os jogos digitais e não-digitais contribuem para a motivação dos alunos, a experiência do usuário e a aprendizagem de ES. No entanto, levando em consideração o fato de que a maioria desses jogos são desenvolvidos pelos próprios instrutores com recursos limitados, os jogos não-digitais parecem ser uma maneira mais adequada de capturar a atenção e promover a imersão dos alunos sobre a tarefa de aprendizagem. Principalmente por meio da interação social, que muitas vezes, é promovida como uma característica intrínseca, onde criam facilmente uma experiência de aprendizagem mais divertida e agradável.

Devido às características deste tipo de pesquisa, este trabalho está sujeito a várias ameaças a validade. Nós, portanto, identificamos ameaças potenciais e estratégias de mitigação aplicadas para minimizar seu impacto em nossa pesquisa.

Algumas ameaças estão relacionadas ao design do estudo (Wohin et al., 2012). Para mitigar essa ameaça, definimos e documentamos uma metodologia sistemática para o nosso estudo usando a abordagem GQM (Basili et al., 1994). Outro risco está relacionado à omissão de conjuntos de dados existentes relacionados à avaliação de jogos de ES usando o modelo Meega. Para mitigar esse risco, buscamos estudos de avaliação existentes via Google e Google Scholar, representando amplos mecanismos de busca. Incluímos conjuntos de dados de todos os estudos que encontramos e para os quais recebemos os dados coletados. Outro risco refere-se à qualidade dos dados reunidos em uma única amostra, em termos de padronização de dados (formato de resposta) coletados e adequação ao modelo Meega. Como nosso estudo é limitado exclusivamente a avaliações que usaram o modelo Meega, o risco é minimizado, como em todos os estudos o mesmo instrumento de coleta de dados foi utilizado. Outra questão refere-se aos dados agrupados de diferentes contextos. Para mitigar essa ameaça, selecionamos estudos considerando apenas o contexto do ensino superior no Brasil em relação a apenas uma área de conhecimento: engenharia de software.

Em termos de validade externa, uma ameaça à possibilidade de generalizar os resultados está relacionada ao tamanho da amostra e à diversidade dos dados utilizados para a avaliação. Com relação ao tamanho da amostra, nossa avaliação usou dados coletados de 41 estudos de caso que avaliaram 19 diferentes jogos de ES digitais e não-digitais, envolvendo uma população de 704 alunos. Em termos de significância estatística, este é um tamanho de amostra satisfatório que permite a geração de resultados significativos. Os dados foram obtidos a partir de aplicações de jogos em cinco diferentes instituições.

Em termos de confiabilidade, uma ameaça refere-se a que medida os dados e a análise dependem dos pesquisadores específicos. Para mitigar essa ameaça, documentamos uma metodologia sistemática, definindo claramente o objetivo do estudo, o processo de coleta de dados e análise de dados.

Os resultados de nossa análise de 41 estudos de caso envolvendo 704 alunos e 19 jogos para o ensino de Engenharia de Software fornecem evidências de que jogos digitais e não-digitais podem produzir um efeito positivo na aprendizagem de ES em instituições de ensino superior do Brasil, proporcionando uma experiência agradável e envolvente aos alunos e motivando-os ao estudo. Em termos de motivação, os resultados mostram que os jogos educativos, incluindo jogos digitais e não-digitais, são um método instrucional adequado para o ensino de ES que mantém os alunos atentos à tarefa de aprendizagem. Os jogos de ES também proporcionam uma experiência positiva que contribui para a imersão, a diversão e, principalmente, para as interações sociais entre os jogadores durante o jogo, promovendo um ambiente compartilhado. Com base na percepção dos alunos, os jogos também contribuem positivamente para a aprendizagem.

Comparando jogos digitais e não-digitais, os resultados indicam que os jogos não-digitais parecem promover de forma mais fácil uma experiência positiva ao usuário, principalmente em termos de interação social e diversão, do que os digitais. A este respeito, considerando que a maioria dos jogos educacionais de ES são desenvolvidos pelos próprios instrutores com recursos limitados, os jogos não-digitais podem representar uma alternativa mais viável para o ensino de ES.

Além disso, observou-se também que o modelo Meega fornece um suporte prático para conduzir avaliações da qualidade de jogos educacionais de forma rápida e sem interromper o fluxo normal da aula. Diante disso, estamos atualmente trabalhando na evolução do modelo, desenvolvendo o modelo Meega+, também com foco na avaliação de jogos educacionais (Petri, Gresse von Wangenheim, Borgatto, 2017).