Artigos

A INFLUÊNCIA DA INOVAÇÃO NO ENSINO, QUALIDADE E COMPROMETIMENTO SOBRE A RETENÇÃO DE ALUNOS NO ENSINO SUPERIOR

THE INFLUENCE OF INNOVATION IN TEACHING, QUALITY AND COMMITMENT ON THE RETENTION OF STUDENTS IN HIGHER EDUCATION

Julio Cesar Ferro de Guimarães
Universidade Potiguar, Brasil
Eliana Andréa Severo
Universidade Potiguar, Brasil
Kleber Cavalcanti Nobrega
Universidade Potiguar, Brasil
Nilda Maria de Clodoaldo Pinto Guerra Leone
Universidade Potiguar, Brasil

A INFLUÊNCIA DA INOVAÇÃO NO ENSINO, QUALIDADE E COMPROMETIMENTO SOBRE A RETENÇÃO DE ALUNOS NO ENSINO SUPERIOR

Revista Gestão Universitária na América Latina - GUAL, vol. 12, núm. 1, pp. 249-269, 2019

Universidade Federal de Santa Catarina

O autor transfere todos os direitos autorais do artigo para a Revista Gestão Universitária na América Latina - GUAL, sendo vedada qualquer reprodução, total ou parcial, em qualquer meio de divulgação, impresso ou eletrônico, sem que a prévia e necessária autorização seja solicitada e, se obtida, fará constar o competente registro e agradecimento à Revista.

Recepção: 22 Abril 2017

Aprovação: 05 Novembro 2018

Publicado: 02 Janeiro 2019

Resumo: No âmbito educacional, diversas metodologias de ensino vêm sendo utilizadas para melhorar a qualidade, o comprometimento e a retenção de alunos. Perante o exposto, este estudo tem como objetivo analisar as relações da inovação, qualidade, comprometimento e retenção em seis Instituições de Ensino Superior. A metodologia utilizada foi uma pesquisa quantitativa e descritiva, por meio da análise de seis hipóteses de pesquisa, as quais foram testadas pela modelagem de equações estruturais. Os resultados indicam que as inovações no ensino superior, expressas por meio de metodologias ativas de aprendizagem, contribuem para a qualidade e comprometimento, desta forma as instituições de ensino podem obter a permanência dos alunos.

Palavras-chave: Inovação no Ensino, Qualidade percebida, Retenção de Alunos, Instituições de Ensino Superior.

Abstract: In the educational context, several teaching methodologies have been used to improve the quality, the commitment and the retention of students. Given the above, this study aims to analyze the relationships of innovation, quality, commitment and retention in six institutions of higher education. The methodology used was a quantitative and descriptive research, through the analysis of six research hypotheses, which were tested by the modeling of structural equations. The results indicate that innovations in higher education, expressed in through active learning methodologies, contribute to quality and commitment, so that educational institutions can obtain students' permanence.

Keywords: Innovation in Teaching, Perceived Quality, Retention of Students, Higher Education Institutions.

1 INTRODUÇÃO

A inovação em ensino vem sendo utilizada para melhorar o processo de aprendizagem, bem como visa a qualidade, o comprometimento e a retenção de alunos. Neste contexto, as metodologias ativas são aliadas, pois visam aprimorar a formação educacional, inovando na forma tradicional do ensino em sala de aula.

No cenário das Instituições de Ensino Superior (IES), a qualidade em serviços abrange um sistema em que os clientes (alunos) e os fornecedores (IESs), devem estar envolvidos para a satisfação de necessidades e desejos, visando um relacionamento contínuo (MANTOVANI; DE ARAÚJO; PRADO, 2013; MILAN; DE TONI; MAIOLI, 2013; MILAN et al., 2014; GUIMARÃES; SEVERO; SANTINI, 2014; PANDOLFI; CATEN; RODRIGUES, 2016; SIGNORI et al., 2018). Conforme Pandolfi, Caten e Rodrigues (2016), o crescimento do setor de ensino passa, necessariamente, pela competitividade entre as IES, que buscam formas de se diferenciar, desenvolvendo novos métodos de ensino e processos de serviços mais eficazes, com melhor qualidade e menor custo.

Quanto melhor a condição socioeconômica do estudante, maior o valor agregado para os graduandos (BERTOLIN; MARCON, 2015; SILVA et al., 2018). Para Guimarães, Severo e Santini (2014), a retenção do cliente (aluno), a qualidade do ensino, a confiança e a reputação da marca não podem ser transferidos. Por isso, relacionamentos estabelecidos são possíveis fontes de vantagem competitiva.

Contudo, a inovação em ensino visa uma melhoria da qualidade nos serviços prestados, que constitua uma variável percebida pelos alunos, o que influencia na sua satisfação e comprometimento, bem como na retenção de alunos no âmbito das IES. Coerentemente, a questão de pesquisa é traduzida por: Qual a influência da inovação no ensino, qualidade e comprometimento, sobre a retenção do aluno no ensino superior?

Neste contexto, este estudo tem como objetivo analisar as relações entre inovação de ensino, qualidade, comprometimento e retenção de alunos em IES. O artigo apresenta uma revisão da literatura elencando as hipóteses de: i) inovação e qualidade no ensino superior; ii) qualidade, comprometimento e retenção no ensino superior; iii) inovação, comprometimento e retenção no ensino superior; iv) comprometimento e retenção de alunos no ensino superior; metodologia utilizada; resultados e discussões; e, considerações finais.

2 REFERENCIAL TEÓRICO

2.1 INOVAÇÃO E QUALIDADE NO ENSINO SUPERIOR

A democratização do Ensino Superior continua a ser um desafio político, social e educacional, exigindo políticas públicas que possam oferecer maior oportunidade de acesso e garantir que os indivíduos concluam os estudos da educação superior (FIGUEREDO; FERRAZ; MIDLEJ, 2017). Entretanto, nas últimas décadas, a educação superior brasileira sofreu várias modificações, ocorreu um aumento do número de IES, de cursos de graduação e pós-graduação, da quantidade de ingressantes e concluintes (SILVA, 2012). Os serviços educacionais crescem na medida em que a população aumenta a capacidade de consumo, na busca permanente por uma formação acadêmica adequada às exigências do mercado, adentrando a inovação no ensino (SANTINI; GUIMARÃES; SEVERO, 2014).

A inovação em ensino visa a qualidade da prestação de serviços educacionais (MASETTO, 2004; SIMÕES; REDONDO; VILAS, 2013), podendo elencar diversas metodologias inovadoras, tais como a utilização de Metodologias Ativas de Aprendizagem (Casos de Ensino, Estudo de Caso, Gamificação, Aprendizagem baseada em problema – PBL, Ensino por Projetos, Flipped Classroom, Cooperative Learning, entre outras) (SACRISTÁN; PÉREZ GOMES, 1996; MAMEDE; PENAFIORTE, 2001; ZABALZA, 2004; SIMÕES; REDONDO; VILAS, 2013; URH et al., 2015). Os games, as simulações, bem como outras formas de aprendizagem baseada em experiências representavam uma alternativa inovadora para ministrar aulas (RUBEN, 1999; SIGNORI et al., 2018).

Conforme Semprebon et al. (2016) é necessário compreender os fatores que contribuem para o aumento da intensidade do relacionamento dos alunos com a IES. Conforme os autores, existe uma relação entre a qualidade de ensino e o relacionamento com a marca, que é moderada pela condição de pagamento (se o aluno é bolsista ou não), gênero e período em que estuda.

Contudo, a inovação influencia a qualidade de ensino, melhora significativamente o relacionamento entre fornecedores, empresa e clientes (GUIMARÃES et al., 2013; MILAN et al., 2014). Neste contexto, elenca-se a hipótese H1.

H1: A inovação no Ensino Superior influencia positivamente a qualidade do ensino.

2.2 QUALIDADE, COMPROMETIMENTO E RETENÇÃO NO ENSINO SUPERIOR

O uso de novas tecnologias no ensino viabilizaram a inserção de variadas ferramentas e sistemas disponibilizados para proporcionar uma aula de melhor qualidade e mais intereativa (LEAL; ALBERTIN, 2015; SIGNORI et al., 2018). Como qualquer consumidor, os alunos passam por diversas fases ao escolher a IES em que farão seus cursos, o que pode determinar o seu comprometimento (WIKLUND et al., 2003). Nesse sentido as IES para se manterem competitivas no mercado, realizam constantemente melhoramentos, refinando e adaptando seus processos e serviços (SIGNORI et al., 2018). Destaca-se que graduandos de cursos pertencentes a IES que possuem reconhecidos padrões de qualidade e valores acadêmicos, dependendo do aspecto social considerado, apresentam desempenho inferior ao de graduandos de IES de menor tradição (BERTOLIN; MARCON, 2015), portanto a trajetória da IES e a constante melhoria do ensino pode determinar a qualidade de ensino.

Os estudos de Santini, Guimarães e Severo (2014) indicam que existe um efeito cumulativo das experiências anteriores de consumo, fazendo com que a qualidade dos serviços seja uma construção contínua, expressa na satisfação, relacionada às experiências dos clientes. Consoante isso, a qualidade é um fator de consolidação e alavancagem no mercado, que melhora a imagem e a reputação da IES, e influencia o comprometimento do aluno, e a permanência desse na IES (BERGAMO; GIULIANI; GALLI, 2011; MILAN; DE TONI; MAIOLI, 2013; SANTINI; GUIMARÃES; SEVERO, 2014). Com base nas premissas de qualidade, comprometimento e retenção desenvolveu-se as hipóteses H2a e H2b.

H2a: A qualidade no Ensino Superior influencia positivamente o comprometimento dos alunos.

H2b: A qualidade no Ensino Superior influencia positivamente a retenção dos alunos.

2.3 INOVAÇÃO, COMPROMETIMENTO E RETENÇÃO NO ENSINO SUPERIOR

Os métodos de ensino vêm sofrendo inovações incrementais ao longo dos anos e essas inovações têm como objetivo ampliar a aprendizagem dos alunos (SIGNORI et al., 2018) e aumentar o engajamento do estudante com a IES. Consoante isso, a inovação no ensino superior visa a melhoria do processo de aprendizagem, por meio da utilização das tecnologias aplicadas à educação, os professores podem administrar várias atividades, podendo envolver os alunos em contextos de aprendizagem significativos (REDONDO et al., 2011; LIN; JOU, 2012; LEAL; ALBERTIN, 2015).

A inovação no ensino pode levar ao comprometimento e retenção dos alunos.O comprometimento abrange as dimensões afetivo, instrumental e normativo (MEYER; ALLEN, 1991), em que o comprometimento afetivo considera as características pessoais, organizacionais, além das características de como a tarefa foi planejada (CHANG Jr.; ALBUQUERQUE; 2002), nesse sentido a IES pode contribuir por meio da estruturação de forma consciente do processo educacional, de modo a criar um caminho de oportunidades, de mudanças de pensamentos, ações e condutas do aluno (FERRAZ, BELHOT, 2010), transformando o ensino/aprendizagem em uma experiência significativa. O comprometimento instrumental relaciona-se à percepção dos custos associados a deixar a organização, e o normativo refere-se ao sentimento de obrigação moral em permanecer na organização (MEYER; ALLEN, 1991).

As inovações educacionais são consideradas cada vez mais populares, com uso de técnicas e métodos mais interativos (FILSECKER, HICKEY, 2014; SIGNORI et al., 2018), nesse sentido é fundamental as IES desenvolverem inovações educacionais para aumentar o comprometimento das pessoas e evitar que os alunos saiam da instituição. Perante o exposto, elencando-se a importância da inovação no ensino superior para o comprometimento do aluno e retenção, elaborou-se as hipóteses H3a e H3b.

H3a: A inovação no Ensino Superior está positivamente relacionada ao comprometimento dos alunos.

H3b: A inovação no Ensino Superior influencia positivamente a retenção dos alunos.

2.4 COMPROMETIMENTO E RETENÇÃO DE ALUNOS NO ENSINO SUPERIOR

Entre os elementos que mantêm os alunos nas IES, destaca-se que é fundamental identificar os fatores motivadores dos alunos. Conforme Williams e Williams (2011), a motivação possui um aspecto positivo no processo de ensino/aprendizagem, uma vez que a intensidade e a qualidade do envolvimento exigido para aprender dependem do engajamento. O engajamento na aprendizagem é uma forma de comprometimento do aluno com a IES, o que contribui para a retenção do estudante.

Outro aspecto é o sentimento de pertencimento do aluno a uma IES que represente os valores e qualidade da formação profissional. Isso pode ser observado no estudo de Lazzarini, Miller e Zenger (2008), que identificou uma relação direta entre a marca e o aumento da confiabilidade dos serviços prestados, pois reduz riscos e incertezas, o que pode influenciar o comprometimento.

Para Trasorras, Weinstein e Abratt (2009) a retenção de clientes visa a manutenção dos clientes como compradores ativos, sistemáticos, lucrativos e rentáveis, a longo tempo. Nesse sentido, é fundamental identificar os fatores antecedentes da retenção dos clientes, pois essa é uma questão chave para o estabelecimento de ação das empresas, no sentido de reduzir custos, aumentar o potencial competitivo e manter os clientes (GREY, 2004; GUIMARÃES; SEVERO; SANTINI, 2014). No que tange o comprometimento e a retenção de alunos, desenvolveu-se a hipótese H4.

H4: O comprometimento influência positivamente a retenção dos alunos.

Coerentemente, com base nas quatro hipóteses de pesquisa elencou-se o modelo conceitual, conforme Figura 1.

Modelo teórico
Figura 1
Modelo teórico
Fonte: Elaborado pelos autores (2018).

3 METODOLOGIA

Essa é uma pesquisa quantitativa, descritiva, operacionalizada por meio de uma survey, com a aplicação da Modelagem de Equações Estruturais (MEE), em que foram investigadas 6 IES situadas Rio grande do Sul (3 IES) e Rio de Janeiro (3 IES), sendo 3 destas universidades Públicas e 3 Particulares, nos Cursos de Administração e Engenharia de Produção. A amostra final de 640 alunos foi resultante da aplicação de 658 questionários, por meio de formulário eletrônico e presencial, no período de março a julho de 2016. Nota-se que ocorreu a exclusão de 18 questionários pois estes apresentavam a presença de missings, por excederem 5% de não respostas do questionário. O total de questionários respondidos corresponde a 32 respondentes para cada variável, acima do mínimo de 10 respondentes por variável sugerido por Hair Jr. et al. (2007).

A amostra final de casos válidos atendeu ao parâmetro de amostragem, conforme sugerido por Kline (2005), para a utilização da MEE, que indica no mínimo 200 respondentes. Para a definição da amostra utilizou-se como critério o acesso às IES, tratando-se, portanto, de uma amostra não probabilística, por conveniência (HAIR Jr. et al., 2007).

Para avaliar qualitativamente os aspectos de inovação no ensino, aplicou-se um questionário com 2 perguntas abertas aos Coordenadores dos Cursos pesquisados. Neste questionário, os Coordenadores foram indagados sobre: i) os professores utilizam nas aulas algumas técnicas de Metodologias Ativas de Aprendizagem (Casos de Ensino, Estudo de Caso, Gamificação, Aprendizagem Baseada em Problema – PBL, Ensino por Projetos, Flipped Classroom, Cooperative Learning)?; ii) qual o percentual de professores do Curso, que utilizam pelo menos uma Metodologia Ativa de Aprendizagem?; iii) qual o percentual de professores do Curso, que utilizam três ou mais Metodologia Ativa de Aprendizagem?

O questionário de pesquisa utilizou como base as premissas dos estudos de: i) Inovação no Ensino Superior, adaptado das premissas de inovação de produto e serviço de Paladino (2007), da pesquisa de Guimarães, Severo e Santini (2013) e Signori et al. (2018); ii) Qualidade, Comprometimento e Retenção, adaptado das vaiáveis observáveis utilizadas por Anjos Neto (2003) e Guimarães, Severo e Santini, (2013). A pesquisa foi operacionalizada mediante as respostas do questionário (Tabela 1), a partir do grau de concordância ou discordância, conforme escala Likert de cinco pontos.

A MEE foi utilizada para testar e analisar as hipóteses da pesquisa, pois este método utiliza um conjunto de técnicas e procedimentos metodológicos de análise estatística, que permite o exame de uma série de relações de dependência simultaneamente, considerando as relações e correlações entre os construtos (MARUYAMA, 1998; KLINE, 2005; HAIR Jr. et al., 2007; FABRIGAR et al., 2010). Para o tratamento estatístico e análise dos dados, utilizou-se as recomendações de Byrne (2010), com o uso do software SPSS® (Statistical Package for Social Scienses) v.21 para Windows® o software AMOS® v.21, acoplado ao SPSS®.

Tabela 1
Variáveis latentes e observáveis – Rotação Varimax
Variáveis Observáveis * Cargas Fatoriais Comunalidade
Construto Inovação no Ensino Superior
IN1) A IES onde você estuda desenvolve serviços inovadores e diferentes os de outras Faculdades/Universidades da Região. 0,747 0,630
IN2) A IES onde você estuda utiliza novas tecnologias nos serviços e no atendimento às demandas dos alunos. 0,743 0,668
IN3) As técnicas de ensino empregadas em sala de aula são inovadoras e diferentes de outras IES da Região. 0,759 0,650
IN4) As formas de comunicação entre a IES onde você estuda e os alunos/comunidade apresentam inovações em relação às outras IES da Região. 0,740 0,639
IN5) Os métodos de ensino são melhores que os das outras IES da Região. 0,611 0,580
Média 3,528; Desvio Padrão 0,748; Cronbach’s Alpha 0,840; KMO 0,840; Confiabilidade Composta 0,900
Construto Qualidade
QL1) A equipe de professores é competente (dominam o assunto; transmitem bem a matéria; conciliam teoria e pratica; tem método de ensino e sistema de avaliação adequados). 0,413 0,383
QL2) A secretaria do curso e demais áreas administrativas funcionam como deveriam. 0,658 0,563
QL3) A infraestrutura (salas, equipamentos, recursos pedagógicos, entre outros) é adequada para a aprendizagem. 0,699 0,583
QL4) Há facilidade para estabelecer contato (acesso) com os professores. 0,601 0,472
Média 3,932; Desvio Padrão 0,641; Cronbach’s alpha 0,660; KMO 0,708; Confiabilidade Composta 0,755
Construto Comprometimento
CM1) Eu me sinto comprometido com a minha IES. 0,619 0,565
CM2) A minha relação com esta IES é importante para mim. 0,764 0,659
CM3) Vale a pena eu me empenhar para manter a relação com esta IES. 0,790 0,707
CM4) Eu me sinto emocionalmente ligado a esta IES (marcou relacionamentos afetivos com colegas; iniciou a minha vida profissional; amizades criadas) 0,764 0,626
CM5) Eu me sinto orgulhoso em estudar nesta IES. 0,669 0,720
CM6) O fato de estar emocionalmente ligado a esta IES (feito amizades e outros fatos marcantes em sua vida) pode levar-me a divulgar a IES para outras pessoas. 0,628 0,588
Média 4,269; Desvio Padrão 0,707; Cronbach’s Alpha 0,876; KMO 0,864; Confiabilidade Composta 0,845
Construto Retenção
RT1) Se eu tivesse que escolher novamente, escolheria esta Instituição de Ensino. 0,559 0,550
RT2) Se eu tivesse que escolher novamente, escolheria este curso que estou fazendo. 0,666 0,577
RT3) Caso percebesse pessoas criticando negativamente essa IES, eu a defenderia. 0,645 0,548
RT4) eu recomendaria esta IES para outras pessoas. 0,671 0,510
RT5) Eu recomendaria este curso desta IES para outras pessoas. 0,660 0,633
Média 4,053; Desvio Padrão 0,750; Cronbach’s alpha 0,759; KMO 0,766; Confiabilidade Composta 0,927
* Uso de escala Likert de 5 pontos: 1 – Discordo Totalmente; 2 - Discordo Parcialmente; 3 – Não Concordo e Nem Discordo; 4 – Concordo Parcialmente; 5 – Concordo Totalmente.
Fonte: Elaborado pelos Autores (2018).

Utilizou-se a Análise Fatorial Exploratória (AFE), para a verificação da combinação das variáveis observáveis, resultando em variáveis latentes denominadas construtos, Contudo, também utilizou-se a Análise Fatorial Confirmatória (AFC) para a análise dos dados, com base na literatura que suporta as hipóteses e os construtos. Para verificar a confiabilidade simples das variáveis observáveis calculou-se o Cronbach’s alpha, o qual deve ficar acima de 0,7 (LEE; HOOLEY, 2005; HAIR Jr. et al., 2007).

Outro índice analisado foi a Curtose, no qual cada variável observável é avaliada através do Coeficiente de Mardia, em que é esperado que valores inferiores a 5 (MARDIA, 1971; BENTLER, 1990). Nota-se que não foi identificado Curtose no conjunto de dados analisados. Ainda, na preparação dos dados, estes foram submetidos aos testes de Esfericidade de Bartlett (p<0,05), para avaliar a homogeneidade das variâncias e a medida de adequação de Kaiser, Meyer e Olkin (KMO), que deve ficar acima de 0,5 (PESTANA; GAGEIRO, 2014), para avaliar a viabilidade da AFE, dentro dos parâmetros.

A Comunalidade foi utilizada como parâmetro de análise da escala, a qual refere-se à quantia total de variância que uma variável original compartilha com todas as outras variáveis da pesquisa, que, segundo Hair Jr. et al. (2007) os valores deveriam ficar acima de 0,5. Na análise dos construtos e das escalas também foram utilizadas a Average Variance Extracted (AVE) (FORNELL; LARCHER, 1982) e a Confiabilidade Composta (Composite Reliability) (MARÔCO, 2010; HAIR Jr. et al., 2007).

Na análise dos resultados da MEE, seguindo as orientações de Iriondo et al. (2003), Kline (2005) e Hair Jr. et al. (2007), avaliou-se o Modelo Teórico e o Modelo Integrado Final, por meio dos índices de: i) valor do Chi-Quadrado do modelo estimado dividido pelos Graus de Liberdade (=ou> 5,0); ii) Comparative Fit Index (GFI) (> 0,90); iii) Normed Fit index (NFI) (> 0,90); iv) Incremental Fit Index (IFI) (entre 0,0 e 1,0); v) Relative Fit Index (RFI) (entre 0,0 e 1,0); vi) Root Mean Squared Error of Approximation (RMSEA) (entre 0,05 e 0,08). vii) Expected Cross-Validation Index (ECVI), que representa uma aproximação do ajustamento que o modelo pode atingir com outra amostra de mesmo tamanho que a aplicada, servindo como comparação entre modelos rivais. Para ECVI, quanto menor for o valor encontrado, melhor é o ajustamento do modelo.

4 RESULTADOS E DISCUSSÕES

No processo de depuração dos dados identificou-se casos com missing com mais de 10% de não respostas, para essa avaliação foram encontrados 18 casos que foram eliminados da amostra final. Também observou-se a possibilidade de haver escores extremos, para que, realizou-se a análise de outliers univariados e multivariados, com base nos estudos de Hair Jr. et al. (2007). Para tanto, utilizou-se o cálculo dos Z scores, no entanto não foram identificados casos com valores superiores a 3,3 para cada variável. Também utilizou-se o cálculo de Mahalanobis para a identificação de outliers multivariados, contudo não foram encontrados casos com uma distância tão grande entre o valor individual e as médias amostrais.

A amostra final é composta por 640 respondentes de 6 IES, sendo 4 IES Particulares (335 respondentes) e 3 IES Públicas (305 respondentes). No Curso de Administração são 322 respondentes e da Engenharia de Produção são 318 respondentes. Na operacionalização AFE, com o intuito de confirmar o Modelo Teórico (Figura 1) usou-se a rotação Varimax, que resultou na combinação das variáveis observáveis em 4 fatores, com 59,66% de explicação acumulada da variabilidade.

A avaliação de Comunalidade mostrou que há valores inferiores a 0,5 recomendado por Hair et al. (2007), nas questões QL1 (0,383) e QL4 (0,472), no entanto, estas foram mantidas por se tratarem de questões que abordam dimensões teóricas importantes para a pesquisa e para o entendimento dos construtos. As análises de normalidade e confiabilidade apresentam resultados dentro dos limites esperados (Tabelas 1 e 3): KMO 0,942 (>0,7); Cronbach’s Alpha 0,905 (>0,7); Bartlett Sphericity test 343,470 (significativo p>0,001); e Confiabilidade Composta 0,965 (>0,5), entretanto, o cálculo da Average Variance Extracted (AVE), para avaliar a validade convergente, resultou em 0,583 inferior ao recomendado (>0,7). O resultado da AVE não invalida o conjunto de dados para aplicação da análise de MEE. Para a avaliar Multicolinearidade, os dados foram testados por meio análise da correlação de Pearson, o qual não identificou correlações acima de 0,8, atestando a inexistência de multicolinearidade entre as variáveis observáveis.

As variáveis observáveis (Tabela 1) de cada construto, resultaram em médias superiores a 3,5 com desvio padrão inferior a 1,1 evidenciando que os alunos concordam que há qualidade, comprometimento e retenção nas IES, embora o construto Inovação no Ensino Superior seja a menor média (3,528), constituindo-se um amplo campo para o desenvolvimento dos processos de Ensino/Aprendizagem nas IES. Neste contexto, os Coordenadores afirmaram que, nas aulas, 74% dos professores utilizam pelo menos uma das Metodologias Ativas de Aprendizagem enquanto inovação em ensino, mas isto não está sendo amplamente percebido pelos alunos pesquisados.

Utilizou-se a ANOVA, com uso de médias das respostas das variáveis observáveis de cada construto, para verificar a existência de comportamento divergente dos respondentes, em relação aos grupos das IES Públicas e IES Particulares, em que identificou-se a existência de diferenças estatisticamente significativas nos construtos Qualidade, Inovação e Retenção. A Qualidade é mais percebida pelas IES Particulares (Média 4,09) e na IES Públicas (Média 3,76). O mesmo com os construtos de Inovação (Particular 3,72; Pública 3,32) e de Retenção (Particular 4,12; Pública 3,98). Os resultados podem ser considerados como um indicativo de que as IES Particulares tem buscado meios para melhorar os processos de ensino e manter os alunos nas instituições, o que está alinhado as premissas defendidas por Wiklund et al. (2003), Masetto (2004), Simões, Redondo e Vilas (2013), Leal e Albertin (2015) e Signori et al. (2018), que compõem um pré-requisito estratégico, o qual não é obrigatório para as IES Públicas, nas quais o aluno está vinculado por outras razões, como a gratuidade do ensino e o pré-conceito de que Universidades Públicas possuem excelentes profissionais de educação.

Também foi realizado o cálculo da ANOVA, nos grupos de Cursos de Administração e Engenharia da Produção, em que os resultados mostraram que há diferenças estatisticamente significativas nos construtos Qualidade, Inovação e comprometimento. A Qualidade é mais percebida nos Cursos de Administração (Média 4,10) e na Engenharia de Produção (Média 3,75). Um comportamento similar é observado nos construtos de Inovação (Cursos de Administração 3,63; Engenharia de Produção 3,42) e de Retenção (Cursos de Administração 4,97; Engenharia de Produção 4,01). Embora, a diferença entre as médias seja baixa, destaca-se que os Cursos de Administração utilizam mais estratégias inovadoras o que resultou em médias superiores nas percepções de qualidade e comprometimento. Coerentemente, este fato foi evidenciado pelas respostas dos Coordenadores, pois nos Cursos de Administração ocorre o uso de maior diversidade de Metodologias Ativas de Aprendizagem, em relação aos cursos de Engenharia de Produção. Nos Cursos de Administração 47% e nos cursos de Engenharia de Produção 37% dos professores utilizam três ou mais metodologias ativas nas aulas.

O Modelo Integrado Final (Figura 2) considerou a correlação entre a variáveis observáveis CM2ßàCM3, CM4ßàCM5, CM4ßàCM6 e CM5ßàCM6, para ajustar o modelo de análise e consequentemente melhorar os indicadores dos testes de hipóteses que estão expressos na Tabelas 2, nas quais os resultados indicam relações significativas para o Standardized Estimates (SE) e o Unstandardized Estimates (UE). Com estes resultados é possível confirmar que há uma intensa relação entre alguns dos construtos propostos na pesquisa: i) Inovação (IN)àQualidade (QL) (SE=0,758) (Hipótese H1); ii) Qualidade (QL)àComprometimento (CM) (SE=0,473) (Hipótese H2a); iii) Comprometimento (CM)àRetenção (RT) (Hipótese H4).

A hipótese Inovação (IN)àComprometimento (CM) (SE=0,228), com baixa intensidade na relação, embora tenha sido confirmada se opõe às premissas de Meyer e Allen (1991), Lin e Jou (2012) e Leal e Albertin (2015), afirma haver uma relação direta e intensa na utilização de estratégias inovadoras com o envolvimento do aluno (engajamento e comprometimento), no entanto a pesquisa de Signori et al. (2018) já aponta indícios que não basta a IES se inovadora para o engajamento e do aluno, é necessário a utilização de metodologias ativas que envolvam o aluno no processo de ensino/aprendizagem.

A hipóteses H2b Qualidade (QL)àRetenção (RT) (SE=0,035) e a hipótese H3b Inovação (IN)àRetenção (RT) (SE=0,006) apresentaram uma baixa relação de causalidade, com resultados estatisticamente não significativos. Portanto, considera-se que estas hipóteses não foram confirmadas.

Tabela 2
Teste das hipóteses (covariância e correlação) – Modelo Integrado Final
Hipóteses Standardized Estimates (SE) Unstandardized Estimates (UE)
H1 Inovação (IN) à Qualidade (QL) 0,758a 0,544a
H2a Qualidade (QL) à Comprometimento (CM) 0,473a 0,709a
H2b Qualidade (QL) à Retenção (RT) 0,035b 0,059b
H3a Inovação (IN) à Comprometimento (CM) 0,228a 0,245a
H3b Inovação (IN) à Retenção (RT) 0,006b 0,059b
H4 Comprometimento (CM) à Retenção (RT) 0,871a 0,991a
Fonte: Dados da pesquisa do relatório do AMOS (2018) a Nível de significância p<0,001

b Não significativo

A Tabela 3 apresenta os índices de ajustes do Modelo Integrado Final, que avaliam as medidas de ajuste absoluto, determinando o grau em que o modelo mensuração, prediz a matriz de covariâncias. Observa-se que o valor do Chi-quadrado dividido pelos Graus de Liberdade (3,16) menor que 5,0 sugeridos por Tanaka (1993). O calculado dos índices de CFI, NFI, IFI e RFI resultaram em valores superiores ou próximos ao recomendado de 0,9 (HAIR Jr. et al., 2007; KLINE, 2005). Os resultados dos índices de ajuste do modelo permitem a validade do modelo. O RMSEA apresenta o valor de 0,041, ficou a baixo dos limites sugeridos por Hair Jr. et al. (2007) e Kline (2005), entre 0,05 e 0,08, entretanto pode ser considerado adequado para o estudo em ciências sociais aplicadas.

Modelo
Integrado Final com base na saída do AMOS
Figura 2
Modelo Integrado Final com base na saída do AMOS
Fonte: Elaborado pelos autores (2018).

Tabela 3
Índices de ajustamento do modelo integrado final
Índices de Ajuste Modelo Integrado Final
Chi-Quadrado 1517,115
Graus de Liberdade 480
Chi-Quadrado dividido pelos Graus de Liberdade 3,16
Nível de Probabilidade 0,000 a
CFI – Comparative Fit Index 0,907
NFI – Normed Fit index 0,871
IFI – Incremental Fit Index 0,908
RFI – Relative Fit Index 0,830
RMSEA – Root Mean Squared Error of Approximation 0,041
ECVI – Expected Cross-Validation Index 1,517
KMO – Kaiser-Meyer-Olkin Measure of Sampling Adequacy 0,942
Cronbach’s Alpha 0,920
Bartlett Sphericity test 343,470 a
AVE – Average Variance Extracted 0,583
Confiabilidade Composta 0,965
Fonte: Elaborado pelos autores (2018). a Nível de significância p<0,001

Realizou-se a análise multigrupos, além da ANOVA, para testar as hipóteses e comparar as IES Particulares e IES Públicas, e verificar se há diferenças significativas na intensidade das relações entre os construtos, os resultados de Standardized Estimates (SE) e o Unstandardized Estimates (UE), expressos na Tabela 4.

As relações entre os construtos das hipóteses H1, H2a e H4 são significativas, entretanto, os resultados de SE e UE das hipóteses H1 e H2a indicam uma intensidade maior nas IES Públicas, portanto os alunos dessas IES são mais sensíveis a utilização de estratégias inovadoras e a qualidade do ensino. A hipótese H4 é mais intensa nas IES privadas, o que pode ser explicado pelo fato das IES privadas prestarem um serviço com custos, os alunos que permanecem (retenção) na IES estão mais comprometidos.

A hipótese H3a (IN-->CM) apresenta uma discrepância de intensidade, pois nas IES Particulares os valores de SE (0,464) são significativos (p>0,05) e suportariam esta hipótese, no entanto nas IES Públicas o (0,118) é significativo, o que refuta a hipótese H3a. A pesquisa com os Coordenadores dos Cursos indica que as IES particulares buscam a utilização de metodologias inovadoras de ensino, sendo que nestas IES os professores aplicam pelo menos uma metodologia ativa, em especial Estudos de Caso, Caso de Ensino, Estudo por Projeto e Gamificação, o que explica a percepção de Inovação (IN), que influência diretamente o Comprometimento (CM), embora com uma baixa intensidade de relacionamento.

Destaca-se que os resultados da Tabela 4 apontam que a percepção de relacionamento entre os construtos de Inovação (IN)àQualidade (QL) (hipótese H1) é maior nas IES Particulares (SE=0,743) em comparativo com as IES Públicas (SE=0,703), por conta das práticas pedagógicas com o uso de Metodologias Ativas de Aprendizagem, enquanto Qualidade (QL)àComprometimento (CM) (hipótese H2a) é maior nas IES Públicas (SE=0,648), reforçando que os alunos provenientes de processos seletivos públicos, com grande competitividade, resultam em um conjunto de alunos comprometidos.

Tabela 4
Teste de hipóteses – comparativo entre IES Particulares e Públicas
Construtos Modelo Integrado Final IES Particular IES Pública
SE UE SE UE SE UE
Inovação (IN) à Qualidade (QL) 0,758a 0,544a 0,743a 0,437a 0,703a 0,606a
Qualidade (QL) à Comprometimento (CM) 0,473a 0,709a 0,315a 0,496a 0,648a 0,848a
Qualidade (QL) à Retenção (RT) 0,035b 0,059b 0,164b 0,354b -0,079b -0,105b
Inovação (IN) à Comprometimento (CM) 0,228a 0,245a 0,464a 0,428a 0,118b 0,132b
Inovação (IN) à Retenção (RT) 0,006b 0,059b -0,156b -0,198b 0,059b 0,066b
Comprometimento (CM) à Retenção (RT) 0,871a 0,991a 0,922a 1,285a 0,907a 0,909a
Fonte: Elaborado pelos autores (2018). a Nível de significância p<0,001

b Não significativo

Outro aspecto importante da pesquisa refere-se a relação Comprometimento (CM)àRetenção (RT) (hipótese 4), em que as IES Particulares (SE=0,922) apresentam uma intensidade maior de relacionamento entre os construtos, em comparação com as IES Públicas (SE=0,907), reforçando os efeitos das ações de retenção dos alunos nas IES Particulares, como a aplicação de Metodologias Ativas de Aprendizagem, pois os motivos que levam à permanência de um estudante nesta IES está ligado a qualidade no ensino e aos relacionamentos com os professores (QL4) e métodos de ensino (IN5). Estes resultados corroboram com as pesquisas de Sacristán e Pérez Gomes (1996) Mamede e Penafiorte (2001), Simões, Redondo e Vilas (2013), Urh et al. (2015) e Signori et al. (2018), que expressam as possibilidades de os métodos de ensino influenciarem na aprendizagem e engajamento do aluno.

5 CONSIDERAÇÕES FINAIS

A prestação de serviços educacionais pelas IES é fundamental na formação de profissionais e cidadãos responsáveis e consequentes. A grande oferta de instituições de ensino presencial e a distância amplia a competitividade das IES, portanto é fundamental estabelecer estratégias de diferenciação e com isso evitar a saída dos alunos nos cursos. Para tanto, as IES buscam meios para melhorar a Aprendizagem e manter os alunos com um bom nível de engajamento e comprometimento do aluno com a IES.

Esse estudo identificou que as inovações de ensino, expressas por meio de Metodologias Ativas de Aprendizagem. Observa-se nos resultados da pesquisa que as IES Públicas ainda não utilizam suficientemente Metodologias Ativas de Aprendizagem, para que os alunos percebam de inovação nos processos de ensino. Esse é um aspecto fundamental para que os cursos nas IES públicas não tenham apenas a gratuidade como principal atrativo e esse não seja o único vetor de retenção do estudante.

Uma das principais contribuições da pesquisa está na identificação de que há uma baixa intensidade na relação entre a Inovação de Ensino e o Comprometimento dos alunos (hipótese H3a). Os resultados indicam que não basta as IES inovarem com a implementação de Metodologias Ativas de Aprendizagem, pois é fundamental que as inovações levem os alunos a ao engajamento e com isso se comprometerem com a IES, desta forma ocorrerá uma efetiva retenção do estudante.

Destaca-se que em termos de implicações gerenciais, com base nos resultados da pesquisa, pode-se sugerir que os gestores da IES, preocupem-se em implantar Metodologias Ativas de Aprendizagem com o cuidado de envolver o aluno e monitorar se este indivíduo está percebendo qualidade no processo, portanto não basta inovar com a premissa de que isto é algo melhor para a aprendizagem do estudante, já que a permanência (retenção) ocorrerá com maior intensidade se houver a percepção de que há qualidade neste novo método pedagógico. A retenção do aluno na IES é mais intensa quando há uma percepção da qualidade do serviço.

Essa pesquisa disponibiliza para a academia a proposição de um framework para a análise da Inovação de Ensino, Qualidade, Comprometimento e Retenção dos alunos, com um modelo de mensuração (variáveis observáveis) e o modelo de mensuração (relações entre construtos), o qual foi viabilizado com o uso da MEE e validado estatisticamente. Esse framework pode ser utilizado em outros estudos, contribuindo dessa forma com o avanço da ciência e consolidações das pesquisas de relacionamento com os usuários de serviços educacionais.

Esse estudo apresenta limitações relacionadas ao uso da escala do tipo Likert, que é composto de níveis discretos, podendo levar à formação de vieses de resposta, nos quais o efeito Halo (generalização), em que as respostas foram emitidas por um único respondente (BAGOZZI; YI, 1991; PODSAKOFF et al., 2003). Para avaliar esse efeito realizou-se os testes de normalidade, variabilidade, AFE e confiabilidade, os quais validaram a escala.

Para estudos futuros, sugere-se que outras regiões do Brasil sejam investigadas, bem como, a partir dos resultados dessa pesquisa, identificou-se outras novas questões de pesquisa, que podem ser respondidas por pesquisas qualitativas, relacionadas a: Quais os métodos de ensino inovadores utilizados nas IES? Como ocorre o processo de implementação das Inovações em Ensino nas IES?; Quais as ações das IES para a formação e engajamento dos professores, em relação as metodologias de ensino?; Quais as ações das IES para aumentar e mensurar o engajamento dos alunos às novas metodologias de ensino?.

REFERÊNCIAS

ANJOS NETO, M. R. Construção e teste de um modelo teórico de marketing de relacionamento para o setor de educação. 2003. Dissertação (Mestrado em Administração) – Programa de Pós-Graduação em Administração, Universidade Federal de Pernambuco – UFPE, Recife, 2003.

CHANG JR., J.; ALBUQUERQUE, L. G. Comprometimento Organizacional: uma abordagem holística e simultânea dos determinantes envolvidos no processo. Revista de Administração Mackenzie, v. 3, n. 2, p. 13-38, 2002.

BAGOZZI, R. P.; YI, Y. Multitrait–multimethod matrices in consumer research. Journal of Consumer Research, v. 17, n. 4, p. 426-439, 1991.

BENTLER, P. M. Comparative fit indexes in structural equations. Psychological Bulletin, v. 107, n. 2, p. 238-246, 1990.

BERGAMO, F. V. M.; GIULIANI, A. C.; GALLI, L. C. L. A. Modelo de lealdade e retenção de alunos para instituições do ensino superior: um estudo teórico com base no marketing de relacionamento. Brazilian Business Review, v. 8, n. 2, p. 43-67, 2011.

BERTOLIN, J. C. G; MARCON, T. O (des)entendimento de qualidade na educação superior brasileira – Das quimeras do provão e do ENADE à realidade do capital cultural dos estudantes. Avaliação, v. 20, n. 1, p. 105-122, 2015.

BYRNE, B. M. Structural equation modeling with AMOS: basic concepts, applications and programming. 2 ed. New York: Taylor & Francis Group, 2010.

FABRIGAR, L. R.; PORTER, R. D.; NORRIS, M. E. Some things you should know about structural equation modeling but never thought to ask. Journal of Consumer Psychology, v. 20, n. 2, p. 221-225, 2010.

FERRAZ, A. P. C. M.; BELHOT, R. V. Bloom's taxonomy and its adequacy to define instructional objective in order to obtain excellence in teaching. Gestão da Produção, v. 17, n. 2, p.421-431, 2010.

FILSECKER, M.; HICKEY, D. T. A multilevel analysis of the effects of external rewards on elementary students’ motivation, engagement and learning in an educational game. Computers & Education, v. 75, p. 136-148, 2014.

FORNELL, C.; LARCKER, D. F. Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research. v. 18, n. 1, 39-50. 1981.

GREY, C. Reinventing business schools: the contribution of critical management education. Academy of Management Learning and Education, v. 3, n. 2, p. 178-186, 2004.

GUIMARÃES, J. C. F.; COUTINHO, C. V. S.; LAIN, G. C.; MILAN, G. S.; SEVERO, E. A. Inovação de marketing em instituições de ensino superior da serra gaúcha. Revista GUAL, v. 6, n. 2, p. 79-105, 2013.

GUIMARÃES, J. C. F.; SEVERO, E. A.; SANTINI, F. Aplicação da modelagem de equações estruturais para análise da retenção de alunos do ensino superior. Connexio, v. 4, Edição Especial, p. 95-114, 2014.

HAIR JR., J. F., BLACK, W. C.; BARDIN, B. J.; ANDERSON, R. E. Multivariate Data Analysis. 7 ed., New Jersey: Prentice Hall, 2007.

IRIONDO, J. M.; ALBERT, M. J.; ESCUDERO A. Structural equation modeling: an alternative for assessing causal relationships in threatened plant populations. Biological Conservation. v. 113, p. 367-377, 2003.

KLINE, R. B. Principles and practice of structural equation modeling. 2 ed. New York: The Guilford Press, 2005.

LAZZARINI, S. G.; MILLER, G. J.; ZENGER, T. Z. Dealing with the paradox of embeddedness: the role of contracts and trust in facilitating movement out of committed relationships. Organization Science, v. 19, n. 5, 709-728. 2008.

LEAL, E. A.; ALBERTIN, A., L. Construindo uma escala multiitens para avaliar os fatores determinantes do uso de inovação tecnologica na educação a distância. Revista de Administração e Inovação, v. 12, n. 2, p. 315-341, 2015.

LEE, N.; HOOLEY, G. The evolution of “classical mythology” within marketing measure development. European Journal of Marketing, v. 39, n. 3/4, p.365-385, 2005.

LIN, Y.-T.; JOU, M. A Web Application Supported Learning Environment for Enhancing Classroom Teaching and Learning Experiences. Procedia – Social and Behavioral Sciences, v. 64, p. 1-11, 2012.

MARÔCO, J. Análise de equações estruturais: fundamentos teóricos, softwares & aplicações. Lisboa: PSE, 2010.

MASETTO, M. Inovação na Educação Superior. Interface – Comunicação, Saúde, Educação, v. 8, n.14, p.197-202, 2004.

MAMEDE, S.; PENAFIORTE, J. (Orgs.). Aprendizagem baseada em problemas. Fortaleza: Hucitec, 2001.

MARDIA, K. V. The effect of nonnormality on some multivariate tests and robustness to nonnormality in the linear model. Biometrika, v. 58, n. 1, p. 105-121, 1971.

MARUYAMA, G. M. Basics of structural equation modeling. London: Sage Publications, 1998.

MEYER, J. P.; ALLEN, N. J. A three-component conceptualization of organizational commitment. Human Resource Management Review, v. 1, p. 61-89, 1991.

MILAN, G. S.; LARENTIS, F.; CORSO, A.; EBERLE, L.; LAZZARI, F.; DE TONI, D. Atributos de qualidade dos serviços prestados por uma IES e os fatores que impactam na satisfação dos alunos do curso de graduação em administração. Revista Gestão Universitária na América Latina-GUAL, v. 7, n. 3, p.291-312, 2014

MILAN, G. S.; DE TONI, D.; MAIOLI, F. C. Atributos e dimensões relacionadas aos serviços prestados por uma instituição de ensino superior e a satisfação de alunos. Gestão e Planejamento, v. 13, n. 2, p. 199-214, 2013.

MANTOVANI, D.; DE ARAÚJO, J. P.; PRADO, P. h. M Análise dos antecedentes e consequentes da qualidade do relacionamento em instituições de ensino superior públicas estaduais. Revista Gestão Universitária na América Latina-GUAL, v. 6, n. 3, p. 288-309, 2013.

PALADINO, A. Investigating the drivers of innovation and new product success: a comparison of strategic orientations. Journal of Product Innovation Management, v. 24, p. 534-553, 2007.

PANDOLFI, C.; CATEN, C. S. T.; RODRIGUES, C. M. C. Análise do instrumento de avaliação de cursos em uma instituição de ensino superior da Serra Gaúcha. Revista GUAL, v. 9, n. 2, p. 301-319, 2016.

PESTANA, M. H.; GAGEIRO, J. N. Análise de dados para ciências sociais: a complementariedade do SPSS. 6 ed. Lisboa: Sílabo, 2014.

PODSAKOFF, P. M.; MACKENZIE, S. B.; LEE, J.; PODSAKOFF, N. P. Common method biases in behavioral research: a critical review of the literature and recommended Remedies. Journal of Applied Psychology, v. 88, n. 5, p. 879-903, 2003.

REDONDO, R. P.; GARCIA, R. M.; ARIAS, J. G.; SANZ, R. A. Teaching innovation network: an educational virtual model. Procedia Social and Behavioral Sciences, v. 15, p. 4053-4058, 2011.

RUBEN, B. D. Simulations, Games, and experience-based learning: the quest for a new paradigm for teaching and learning. Simulation Gaming, v. 30, n. 4, p. 498-505, 1999.

SACRISTÁN, G. J; PÉREZ GOMES, A. I. Compreender y transformar la Enseñanza. Madrid: Ed. Morata, 1996.

SANTINI, F.; GUIMARÃES, J. C. F.; SEVERO, E. A. Qualidade, comprometimento e confiança na retenção de alunos no ensino superior. Revista GUAL, v. 7, n. 1, p. 274-297, 2014.

SEMPREBON, E.; SCHIKOVSKI, M. P.; MOTTA, N. T.; PETROLL, M. L. M.; ROCHA, R. A. O impacto da qualidade de ensino na construção do relacionamento entre aluno e marca da universidade. Revista GUAL, v. 9, n. 1, p. 234-256, 2016.

SIGNORI, G. G.; GUIMARAES, J. C. F. de; SEVERO, E. A.; ROTTA, C. Gamification as an innovative method in the processes of learning in higher education institutions. International Journal of Innovation And Learning, v. 24, p. 115-137, 2018.

SILVA, S. S. Trajetórias de estudantes da rede pública que ingressam, permanecem e obtém êxito numa universidade pública. 2012. 146 f. Dissertação (Programa de Pós-Graduação em Educação) - Universidade Federal do Rio Grade do Norte, Natal, 2012.

SILVA, I. M.; BORINI, F. M.; REIS, G. G.; FLEURY, M. T. L.; SANTOS, L. L. D. Antecedents of cost innovation: the combined impact of strategy and organisational culture. International Journal of Innovation and Learning, v. 24, n. 3, p. 327-344, 2018.

SIMÕES, J.; REDONDO, R. D.; VILAS, A. F. A social gamification framework for a K-6 learning platform. Computers in Human Behavior, v. 29, p. 345-353, 2013.

TRASORRAS, R.; WEINSTEIN, A.; ABRATT, R. Value, satisfaction, loyalty and retention in professional services. Marketing Intelligence & Planning, v. 27, n. 5, p. 615-632, 2009.

URH, M.; VUKOVIC, G.; JEREB, E.; PINTAR, R. The Model for Introduction of Gamification into E-learning in Higher Education. 7th World Conference on Educational Sciences. Procedia – Social and Behavioral Sciences, v. 197, p. 388-397, 2015.

ZABALZA, M. A. O ensino universitário: seu cenário e seus protagonistas. Porto Alegre: Artmed, 2004.

WIKLUND, H.; KLEFSJO, B.; WIKLUND, P. S.; EDUARDSSON, B. Innovation TQM is Swedish higher education institutions – possibilities and pitfalls. The TQM Magazine, v. 15, n. 2, p. 99-107, 2003.

WILLIAMS, C. K.; WILIAMS, C. C. Five key ingredients for improving student motivation. Research in Higher Education Journal. V. 1, n. 1, p.104-122, 2011.

Notas

2 REFERENCIAL TEÓRICO
3 METODOLOGIA
4 RESULTADOS E DISCUSSÕES
5 CONSIDERAÇÕES FINAIS

Informação adicional

Sistema de Avaliação: Double Blind Review

HMTL gerado a partir de XML JATS4R por