Dossiê Temático

Recepción: 10 Mayo 2017
Aprobación: 10 Junio 2017
DOI: https://doi.org/10.24115/S2446-6220201732343p.77-93
Resumo: O estudo investiga fatores associados à aprovação de alunos em cursos de especialização oferecidos na modalidade de educação a distância pela Universidade Federal de São Paulo por meio do Sistema Universidade Aberta do Brasil. Aplicou-se um instrumento de pesquisa para investigação dos seguintes fatores associados ao sucesso dos alunos nos cursos: experiência, interesse, relevância para atividade profissional, organização, satisfação e adequação. Os dados coletados foram submetidos à análise estatística para que a associação dos fatores ao sucesso dos alunos nos cursos pudesse ser avaliada. Os resultados obtidos indicaram que o fator organização foi o principal preditor de sucesso, sendo que também se mostraram associados à aprovação nos cursos os fatores experiência e a categoria curso ofertado na modalidade a distância. Entende-se que os resultados alcançados contribuem para o entendimento do fenômeno evasão em cursos superiores na modalidade de educação a distância.
Palavras-chave: Educação a distância, Evasão em educação a distância, Sucesso em educação a distância, Planejamento em educação a distância, Ensino superior.
Abstract: The study investigates factors associated with the approval of students in specialized courses offered in distance education mode by the Federal University of São Paulo through the System Open University of Brazil. A research tool has been applied to investigate the following factors associated with the success of students in the courses: experience, interest, relevance to professional activity, organization, satisfaction and adequacy. The data collected were subjected to statistical analysis so that the association between the factors and the success of students in the courses could be evaluated. The results indicated that the organization factor was the main predictor of success, Other factors associated to the approval in the courses were the experience and the course offered in the distance mode. It is understood that the achieved results contribute to the understanding of the dropout phenomenon in higher distance courses.
Keywords: Distance education, Dropout in distance education, Success in distance education, Planning in distance education, Higher education.
Resumen: El estudio investiga los factores asociados con la aprobación de los estudiantes en los cursos que se ofrecen en la modalidad de educación a distancia en la Universidad Federal de Sao Paulo a través de la Universidad Abierta de Brasil. Se aplicó una encuesta para investigar los siguientes factores asociados con el éxito de los estudiantes en los cursos: experiencia, interés, relevancia para la actividad profesional, la organización, la satisfacción y la adecuación. Los datos recogidos fueron sometidos a un análisis estadístico para evaluar qué factores fueran determinantes para el éxito de los estudiantes. Los resultados indicaron que el factor de organización fue el principal predictor de éxito. También los factores experiencia y el tipo curso que se ofrece a distancia fueron importantes en la aprobación. Se entiende que los resultados obtenidos contribuyen para la comprensión del fenómeno de deserción en la educación superior en la modalidad a distancia.
Palabras clave: Educación a distancia, Deserción en la educación a distancia, Éxito en la educación a distancia, Planificación de la educación a distancia, Educación superior.
Introdução
No Brasil, a oferta de cursos superiores a distância foi oficializada em 1996 e legalmente é definida como uma modalidade educacional na qual a mediação didático-pedagógica nos processos de ensino e aprendizagem ocorre com a utilização de meios e tecnologias de informação e comunicação, com estudantes e professores desenvolvendo atividades educativas em lugares e tempos diversos (BRASIL, 1996, 2005). Com a abertura legal para a oferta de cursos a distância, instituições de ensino passaram a desenvolver e ofertar cursos em diversas áreas do conhecimento. A Universidade Federal de São Paulo (UNIFESP), por meio do então Centro de Informática em Saúde, atual Departamento de Informática em Saúde, que já investigava o desenvolvimento de modelos educacionais e aplicação de recursos digitais interativos para o ensino da saúde, iniciou em 1997 a oferta do curso a distância de Especialização em Nutrição em Saúde Pública.
Em 2005 o Governo Federal criou o Sistema Universidade Aberta do Brasil (UAB), com a finalidade de desenvolver a modalidade de educação a distância no país e direcionado à ampliação do acesso à educação superior pública e redução de desigualdades de oferta entre as diversas regiões geográficas (BRASIL, 2006). O funcionamento do sistema ocorre por meio de articulações entre as instituições de ensino superior e os governos estaduais e municipais, sob a gestão e o fomento do Governo Federal. As instituições de ensino assumem a responsabilidade pelo desenvolvimento e oferta de cursos superiores, individualmente ou compondo consórcios e associações.
Já os governos regionais se comprometem em prover os polos de apoio presencial, entendidos como unidades operacionais para o desenvolvimento descentralizado de atividades pedagógicas e administrativas relacionadas aos cursos ofertados pela UAB, contemplando a infraestrutura física e logística para seu funcionamento (laboratórios didáticos e de informática, bibliotecas, recursos tecnológicos etc) e recursos humanos, desde equipes de manutenção até equipe administrativa e tutores presenciais (BRASIL, 2005; MOTA et al, 2006; UAB, 2008). Há críticas ao sistema UAB, à sua forma de implantação, gestão e, sobretudo, questionamentos em relação à qualidade dos cursos oferecidos e da formação obtida pelos estudantes. Entretanto, destaca-se sua complexidade e o fato de ainda não estar totalmente consolidado, reforçando a importância de sua continuidade (COSTA, 2012).
A UNIFESP integra o Sistema UAB desde sua instituição oficial em 2006 e no período entre os anos de 2007 e 2016 desenvolveu e ofertou mais de dez cursos de especialização (carga horária mínima de 360h), aperfeiçoamento (carga horária mínima de 180h) e mestrado (semipresencial) voltados à formação continuada de profissionais das áreas da saúde, administração e educação fundamental. Com a consolidação da oferta de cursos de especialização e aperfeiçoamento na área da saúde pela UNIFESP por meio da UAB, essa oferta foi ampliada para outras áreas do conhecimento e em 2017 iniciado o curso de Tecnologia em Designer Educacional, primeiro curso superior na modalidade a distância desenvolvido e ofertado pela UNIFESP. Já nos anos iniciais dessas ofertas observou-se que a taxa média de conclusão dos cursos pelos alunos foi próxima a 50%.
Esse índice, aliado às críticas realizadas ao Sistema UAB, principalmente aquelas relacionadas à qualidade dos cursos ofertados, despertaram o interesse em investigar fatores que possam estar relacionados à conclusão dos cursos pelos alunos. Assim, como resultado deste estudo esperou-se a identificação de fatores associados ao sucesso de alunos de quatro cursos de especialização na área da saúde ofertados pela UNIFESP por meio do Sistema UAB, de modo a possibilitar a promoção de ações voltadas ao combate à evasão e à reprovação, permitindo a formação continuada de um maior número de profissionais.
Ensino superior na modalidade a distância em instituições públicas
O ensino superior no Brasil, que foi iniciado ainda no período colonial com a criação de cursos e escolas profissionais independentes, durante o século XX foi marcado por forte expansão buscando atender às demandas do mundo do trabalho e também por tentativas de reforma da universidade pública brasileira para adequação de seu modelo (TEIXEIRA, 2005). No ano de 1999 as instituições públicas de ensino superior representavam 17,5% do total de instituições e eram responsáveis por 35% das matrículas em cursos de graduação, ou seja, 832.022 de um total de 2.369.945 matrículas (BRASIL, 2002).
Já na primeira década do século XXI foram propostos diferentes programas que buscaram a ampliação de acesso aos cursos superiores e reorganização das Instituições Federais de Ensino Superior (IFES), com destaque ao Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni); Programa Universidade para Todos (ProUni) e Universidade Aberta do Brasil (UAB). Destes, destaca-se no presente estudo a UAB, que certamente contribuiu para ampliar a oferta no ensino superior em instituições públicas e também para o aumento da EAD nestas instituições.
Em 2014, após oito anos da implantação da UAB, havia 7.828.013 alunos matriculados em cursos de graduação no país, com 28% das matrículas em cursos presenciais e 10% das matrículas na modalidade EAD registradas em instituições públicas (BRASIL, 2017). Comparando os dados de 1999 e 2014 observa-se que o número de matrículas em cursos de graduação mais do que triplicou nesses 15 anos, mas mesmo com programas como Reuni e UAB, que ampliaram o número de vagas no ensino superior público, a participação das instituições públicas foi reduzida na educação superior em nível de graduação. As considerações sobre Educação a Distância (EAD) realizadas a partir deste momento têm como base a definição do termo que consta no texto do decreto nº 5.622, que regulamenta a EAD no Brasil:
Art. 1º Para fins deste Decreto, caracteriza-se a educação a distância como modalidade educacional na qual a mediação didático-pedagógica nos processos de ensino e aprendizagem ocorre com a utilização de meios e tecnologias de informação e comunicação, com estudantes e professores desenvolvendo atividades educativas em lugares e tempos diversos. (BRASIL, 2005)
Com as características apresentadas de uso de tecnologias atuais de informação e comunicação, como computadores e internet, a EAD pode ser reconhecida a partir da década de 1990, com a ressalva de que desde o século XIX há oferta de cursos a distância, sendo que sua evolução acompanhou o desenvolvimento tecnológico, principalmente das telecomunicações. Em 1996, com a publicação de uma nova versão da Lei de Diretrizes e Bases da Educação Nacional, a EAD no Brasil foi oficializada. Com essa abertura legal, universidades e instituições de ensino passaram a desenvolver e aplicar cursos em diversas áreas do conhecimento.
Considerando que não há um modelo único e ideal de curso superior na modalidade a distância, é necessário um amplo processo de planejamento e definição do Projeto Político Pedagógico (PPP), que contemple a identificação dos objetivos de aprendizagem permeada pela análise do contexto de aprendizagem e dos estudantes (BELLONI, 2006). Para subsidiar o planejamento do curso e a elaboração de seu PPP, os Referenciais de Qualidade definem princípios, diretrizes e critérios para a oferta de cursos superiores na modalidade a distância no país, tendo também a função de induzir o desenvolvimento da EAD nas instituições de educação e amparar os processos de regulação, supervisão e avaliação realizadas pelo poder público (BRASIL, 2007).
Nesse ambiente de estabelecimento da EAD como modalidade oficial de educação no Brasil, a UNIFESP foi pioneira na oferta de cursos a distância na área da saúde, com o curso de Especialização em Nutrição em Saúde Pública lançado em 1997 e desenvolvido por meio de uma parceria entre a disciplina de Nutrição em Saúde Pública e o então Centro de Informática em Saúde da Universidade Federal de São Paulo. Outros cursos de especialização e extensão na área da saúde foram desenvolvidos e ofertados na modalidade EAD pela UNIFESP, sempre buscando utilizar as tecnologias de informação e comunicação disponíveis em prol das necessidades e características específicas de cada curso.
Mesmo com 20 anos de experiência no desenvolvimento e oferta de cursos na modalidade a distância, a UNIFESP realiza poucas pesquisas nesta área, concordando com a situação relatada em outras instituições (ALMEIDA et al, 2013). Embora os questionamentos e busca pela compreensão de fenômenos observados estejam presentes durante todo o processo de preparação e oferta dos cursos, do planejamento à sua avaliação, em grande parte das vezes não convergem para a efetivação de pesquisas científicas formais.
A evasão em cursos superiores a distância
Nesse estudo, considerou-se que três situações possíveis para um aluno matriculado ao término do curso:
a. Aprovação: finalização do curso atendendo a todas as exigências e recebendo o respectivo certificado de conclusão. Sucesso é empregado como sinônimo.*
b. Reprovação: finalização do período regular do curso sem ter atendido ao conjunto de exigências para a aprovação.
c. Evasão: interrupção do processo de formação no curso, independentemente de ter dado continuidade ou retomado o estudo em outro curso ou instituição. Abandono é empregado como sinônimo.
Historicamente, os estudos sobre evasão surgiram nos Estados Unidos da América (EUA) com a grande expansão do ensino superior ocorrido ao final da Segunda Guerra Mundial. Evoluíram durante seis décadas, impulsionados por diferentes objetivos resultantes da realidade enfrentada pelo ensino superior em cada período e pelos próprios resultados decorrentes da construção do conhecimento na área (CISLAGHI, 2008).
Diante dos resultados de inúmeras pesquisas sobre evasão desenvolvidas ao longo de décadas, Tinto afirma que, embora haja temas comuns, o entendimento completo do abandono do ensino superior pelo aluno deve considerar as experiências e percepções pessoais individuais dos alunos que decidiram pela evasão (TINTO, 1993). Renato Cislaghi (2008), apoiado por Tinto (1993), destaca as inter-relações existentes entre o fenômeno evasão e o contexto em que ocorre, expresso este pelo desgaste (processo que pode demover um estudante de seu objetivo inicial de concluir o curso), permanência (objetivo institucional de manter um estudante) e a “resultante de diversos fatores que levam o estudante decidir permanecer num curso superior no qual ingressou, até concluí-lo” (CISLAGHI, 2008, p.66).
A ABED elabora anualmente o Relatório Analítico da Aprendizagem a Distância no Brasil (CensoEAD.BR), com o objetivo de identificar a situação atual da EAD no país. No ano de 2011, a evasão média em cursos autorizados a distância oferecidos por 81 instituições participantes da pesquisa foi de 20,5%, pouco acima dos 18,6% apurados para o ano de 2010. Entretanto, apenas 13,76% das instituições convidadas efetivamente participaram da pesquisa. Assim, mesmo sendo relevante a proposta do estudo, a baixa abrangência da pesquisa não permite generalizar os dados obtidos para todo o território nacional (ABED, 2012).
A taxa de evasão de um curso constitui um dos parâmetros citados como medida de eficácia e qualidade em EAD (WILLGING et al, 2009). Pesquisas apontam alta evasão em cursos on-line, sendo que esta é consideravelmente mais alta em cursos a distância do que em cursos presenciais (ABBAD et al, 2006; LEVY, 2007; STREET, 2010). Nesse contexto há muitas especulações sobre o que leva os cursos oferecidos na modalidade a distância a atingirem uma taxa de abandono superior à dos cursos presenciais (PALLOFF et al, 2004).
Em uma revisão da literatura sobre fatores que influenciaram a decisão de um aprendiz em abandonar ou permanecer em um curso superior a distância, Hannah Street também expõe a falta de pesquisa empírica na área e aponta que geralmente os estudos são realizados em uma única instituição, sendo que as características específicas desta influenciam os resultados obtidos. Seu estudo destaca que cursos on-line geralmente exigem um alto nível de interação e envolvimento do aluno, sendo que o nível de exigência é variável, ainda que dentro de uma mesma instituição. Além disso, variações em função da plataforma utilizada, diferenças entre projetos de cursos e programas levam os estudos a apresentarem fatores associados a abandono e permanência específicos a um curso em particular (STREET, 2010).
Analisando os fatores associados a abandono e permanência sob a ótica de um modelo de causalidade recíproca, a pesquisadora conclui que a decisão de um aluno abandonar ou persistir em um curso on-line influencia e é influenciada por fatores pessoais (auto-eficácia, autodeterminação, autonomia e gestão do tempo) e do meio-ambiente (apoio da família, apoio organizacional e suporte técnico). Complementa que fatores inerentes dos cursos, como desenho e relevância, também influenciam a decisão de permanecer ou abandonar um curso on-line (STREET, 2010). Sobre a auto-eficácia, definida como a crença de que se é capaz de executar certos comportamentos ou atingir determinados objetivos, constantemente mencionada como fator motivacional em relação a abandono ou persistência em EAD, pesquisas apontam que são recomendadas tanto estratégias de triagem de estudantes com essa característica como também ações para promover a auto-eficácia dos estudantes (STREET, 2010).
Pesquisas realizadas com estudantes que estavam frequentando regularmente cursos a distância mostraram que o grau de satisfação com o curso é um indicador da decisão de abandonar o curso (LEVY, 2007). E a identificação dos estudantes sob risco é um elemento chave para a redução das taxas de evasão, pois assim que estes estudantes são identificados os professores e tutores podem dirigir melhor as ações do curso para atender às suas necessidades específicas, reduzindo sua probabilidade de abandonar o curso (LYKOURENTZOU et al, 2009). Já apoio familiar e apoio organizacional (fatores externos aos cursos) e satisfação e relevância (fatores internos aos cursos) apresentaram diferenças significativas de valor entre os grupos de estudantes evadidos e estudantes que permaneceram nos cursos (PARK et al, 2009). Outro aspecto próprio dos cursos EAD, o diálogo (interação com tutor e/ou colegas de curso), também foi um diferencial entre os que concluíram seus cursos (FAVERO et al, 2006).
Quase a totalidade das pesquisas que buscam causas da evasão em cursos superiores a distância analisadas neste trabalho aponta a relação desta com aspectos associados ao tempo dedicado ao estudo pelos alunos: incapacidade de estimar com precisão o tempo requerido para os estudos (MARTINS et al, 2013; XENOS et al, 2002), falta de tempo (ABBAD et al, 2010; MARTINS et al, 2013) e também curso com ritmo acelerado (RIBEIRO et al, 2014) e excesso de trabalho (ALMEIDA et al, 2013), que na prática revelam falta de tempo para estudo. Por outro lado, os alunos que concluíram seus cursos indicaram praticar bons hábitos, como participar continuamente das atividades, mantendo a leitura e demais atribuições semanais em dia (FAVERO et al, 2006; HOLDER, 2007), e gerenciando seu tempo e atividades em um grau maior do que os alunos que evadiram (HOLDER, 2007).
A análise da associação entre a baixa disponibilidade de tempo para estudo e a não conclusão dos cursos podem indicar que os alunos que abandonam seu processo de formação podem ter assumido, erroneamente, uma imagem da EAD pertencente ao senso comum, a de que a modalidade exige menos do que a educação presencial e que é apropriada para quem não tem tempo de estudar (MARTINS et al, 2013). Uma conclusão relevante é a de que os estudantes têm uma menor possibilidade de evasão quando iniciam sua participação no curso consciente das especificidades da EAD, especialmente em relação à disponibilidade de tempo e responsabilidade para estudar (MARTINS et al, 2013). Fatores ligados ao curso – desenho, material didático, interação com tutores e professores e outros – também são apontados como causas de evasão, mas parecem ter uma menor relevância do que os aspectos relacionados ao estudante e seu contexto.
Há contradições na literatura em relação à dificuldade com o uso de tecnologias e outros aspectos próprios da educação a distância como causas da evasão. Apesar de alguns estudos indicarem que problemas com o uso do computador e internet influenciam o desempenho do aluno (CRAMPTON et al, 2012), a relação desse fator com o abandono de cursos é divergente. Problemas com a tecnologia foram apontados como motivo para o abandono em cursos em que os estudantes declararam ter pequena familiaridade com recursos tecnológicos (ALMEIDA et al, 2013), já outros estudos apontam que as dificuldades com a tecnologia não são os principais determinantes para a evasão, apesar de estarem correlacionadas com o desempenho acadêmico (MARTINS et al, 2013; XENOS et al, 2002). De forma geral, entende-se que as razões para a evasão em cursos a distância não são muito diferentes para os cursos presenciais, sendo que as razões específicas para cursos on-line, como questões relacionadas a tecnologia, falta de interação humana e problemas de comunicação, não são os principais motivos que levam ao abandono (WILLGING et al, 2009).
Diversos pesquisadores ao longo da última década indicam que uma inter-relação entre elementos próprios dos estudantes, seu contexto e fatores próprios dos cursos se relacionando à evasão em cursos superiores EAD (ABBAD et al, 2010; MARTINS et al, 2013; PARK, 2007; STREET, 2010;). O modelo proposto por Park (2007) apresenta os fenômenos evasão e permanência em cursos a distância diretamente influenciados por fatores internos e externos relacionados aos cursos e indiretamente influenciados por características e habilidades dos estudantes, sendo estas anteriores e independentes em relação ao curso (Figura 1).

De forma complementar ao saber advindo da experiência dos autores como gestores de cursos a distância na UNIFESP, os trabalhos estudados contribuíram para o conhecimento acerca do fenômeno evasão em cursos superiores a distância e fundamentaram a formulação de hipóteses para explicar a evasão existente nos cursos investigados na presente pesquisa.
Metodologia
A pesquisa sobre sucesso e evasão na educação a distância foi realizada no ano de 2012 e fundamentada em informações obtidas de alunos de quatro cursos de especialização oferecidos na modalidade a distância pela UNIFESP por meio da UAB (Gestão em Enfermagem, Cuidado Pré-Natal, Saúde Indígena e Gestão em Saúde), que apresentam como características comuns carga horária de 360 a 420 horas, duração de 12 a 16 meses, de 240 a 500 vagas ofertadas, 6 a 11 polos para apoio presencial a cada curso, dois tutores a distância e um tutor presencial para cada grupo de 50 alunos, recomendação de 10 horas semanais para estudo.
O grupo de 1.185 alunos matriculados nos cursos estudados foi convidado a participar da pesquisa por meio do preenchimento de um questionário disponível na internet, no qual indicaram sua posição relativa a cada um dos fatores relacionados no quadro a seguir:

A situação de cada aluno ao final dos cursos, se aprovado, reprovado ou evadido, foi obtida por meio de consulta a relatórios emitidos pelas coordenações dos cursos estudados. A análise estatística inferencial da amostra estudada foi realizada por meio de regressão logística considerando dois grupos diferentes de alunos: com sucesso (aprovados) e sem sucesso (reprovados e evadidos). Com a identificação de diferenças estatisticamente significantes no comportamento dos fatores entre os dois grupos distintos foram detectados os preditores de sucesso, ou seja, os fatores e valores que presumem se um aluno está no grupo sucesso ou não sucesso. A identificação dos preditores de sucesso considerou o intervalo de confiança mínimo de 95%.
Em função do modelo logístico não seguir uma distribuição normal e nem apresentar uma variância constante foi utilizado o método de ajustamento da Máxima Verossimilhança (Maximum Likelihood), que estima os coeficientes de regressão que maximizam a probabilidade de encontrar as realizações da variável dependente (sucesso) amostradas. Para esse teste, assumiu-se que alunos de um mesmo curso tendem a se comportar de uma maneira mais similar do que os alunos dos outros cursos, pois estão sob condições educacionais similares, provenientes das características próprias dos cursos. Em função desta circunstância foi utilizado o coeficiente de correlação intraclasse, com a consequente substituição do erro padrão convencional por um erro padrão robusto. Caso o modelo ajustado tenha sido significativo implica a existência de pelo menos uma variável independente linearmente relacionada com o sucesso (expressa em Odds Ratio). Foi utilizado o programa estatístico STATA® versão 12 para as análises inferenciais. Como na presente pesquisa havia divergências em relação ao momento em que um aluno era considerado evadido nos quatro cursos estudados optou-se por utilizar o sucesso (aprovação) para orientar a análise estatística. Reforça esse argumento a proposição de que em um curso a situação almejada é a aprovação dos alunos.
Resultados e discussão
Foram obtidas 439 respostas válidas, distribuídas pelos quatro cursos: 144 alunos (33%) do curso de Gestão em Enfermagem, 95 alunos (21%) do curso de Cuidado Pré-Natal, 122 alunos (28%) do curso de Saúde Indígena e 78 alunos (18%) do curso de Gestão em Saúde. Do total da amostra, 72% dos alunos obtiveram sucesso em seus cursos e 28% não.
Observou-se que a maioria dos alunos participantes (55%) não possuía experiência prévia em EAD e os principais fatores apontados que motivaram a inscrição no curso foram ‘curso ofertado pela UNIFESP’ (26%) e ‘necessidade profissional’ (27%). Mais de 70% dos alunos apontaram grau máximo para o fator ‘relevância para a atividade profissional’ e 50% também indicaram grau máximo de ‘satisfação com o curso’. Já as respostas à ‘adequação do curso à realidade local’ se concentraram principalmente nos dois últimos níveis: 36% dos participantes indicaram grau quatro e 42% grau 5. Na distribuição dos valores da ‘organização para participar do curso’ houve uma concentração de 85% das respostas nos três pontos da escala com maior valor (5, 4 e 3).
Os resultados obtidos na análise estatística inferencial confirmaram três dos parâmetros como preditores de sucesso nos cursos, como apresentado na Tabela 1: EXP se mostrou preditor de sucesso, reduzindo em 58% a chance de aprovação nos cursos; a categoria “Curso ofertado na modalidade a distância” do fator INT também se apresentou como preditor, aumentando em 1,6 a chance de sucesso; ORG mostrou-se preditor aumentando a chance de aprovação em 2,72.

Em relação ao preditor EXP, durante a fase inicial da pesquisa admitiu-se que poderia haver uma associação entre o sucesso em cursos a distância e a experiência prévia em EAD como aluno, tutor e/ou professor, sendo que essa experiência poderia ser preditora de sucesso, concordando com resultados obtidos em pesquisas anteriores (MARTINS et al, 2013). A análise estatística confirmou o fator EXP como preditor de sucesso nos cursos, entretanto, apontou redução em mais da metade da chance de sucesso aos alunos que indicaram ter experiência prévia em cursos a distância. A hipótese inicial de associação positiva entre EXP e sucesso baseou-se na premissa de que alunos com experiência na modalidade estariam já cientes das particularidades da educação a distância e apenas se disporiam a participar de um novo curso em EAD caso avaliassem como viável sua participação, considerando as características e exigências da modalidade.
Uma justificativa para a aparente contradição identificada pode estar relacionada à possibilidade desses alunos terem vivenciado situações negativas relacionadas à educação a distância, e neste caso podem ter realizado uma avaliação negativa de si próprios como aprendizes e não unicamente das experiências vividas, e desta maneira iniciarem a nova atividade educacional desmotivados e com descrédito em relação a sua competência como alunos em cursos a distância, estando mais propensos a não concluírem o curso. Nessas situações seria primordial a intervenção do tutor ou do professor no início do curso, prestando esclarecimentos e promovendo uma reflexão sobre as características da EAD, de uma forma geral e também particularmente aos alunos que não demonstrarem segurança em relação à modalidade de ensino, propondo caminhos e estratégias a serem seguidos pelos estudantes de modo que eles se preparem adequadamente para participar do curso.
Dando prosseguimento à análise dos resultados encontrados, esperava-se que as categorias do fator INT (Interesse em realizar o curso) “Necessidade profissional” e “Interesse pessoal”, por refletiram motivações intrínsecas dos estudantes, se associassem ao sucesso dos alunos nos cursos, e que as demais categorias, relacionadas a fatores externos de motivação, do ponto de vista do aluno, exercessem uma menor força motivadora para manter os alunos nos cursos (ABBAD et al, 2010; PARK, 2007). Contudo, a análise apontou que apenas “Curso ofertado na modalidade a distância” aumentou a chance de sucesso em 60%, em oposição ao esperado. Uma possível justificativa para o achado é a opção por esta categoria indicar a impossibilidade do aluno participar de um curso presencial, sendo que esta restrição se destacaria em relação às categorias “Necessidade profissional” e “Interesse pessoal”, que refletem motivações intrínsecas para a realização de um curso.
Na formulação da hipótese inicial considerou-se que alunos que indicariam a categoria “Necessidade profissional” como principal fator que os levaram à decisão de realizar o curso estariam cientes de sua necessidade de saber e como consequência permaneceriam ativos no curso até seu término e teriam um bom desempenho, sendo aprovados. Porém, como esta categoria não foi preditora de sucesso, acredita-se que o elemento motivador “Necessidade profissional” também deve estar presente em outros participantes, mesmo que tenham declarado na resposta ao questionário outra categoria como principal fator motivador da inscrição.
Ainda em relação à “Necessidade profissional”, é importante refletir sobre a importância do aluno estar consciente de que a aprendizagem do conteúdo do curso poderá efetivamente ser aplicada em sua atividade profissional, favorecendo o aprendizado e motivando a conclusão do curso. Entretanto, caso o conteúdo do curso ou sua condução não correspondam às expectativas formuladas pelos estudantes, bem como se houver um desinteresse pelos temas abordados em razão de uma alteração de atividade profissional e consequente modificação da necessidade de formação, por exemplo, a motivação inicial que levou à intenção de realizar o curso e à realização da inscrição não será suficiente para manter o aluno no curso, sendo que seu sucesso no processo de formação poderá entrar em risco.
De forma similar à análise da categoria “Necessidade profissional” da variável INT, também pode-se observar aspectos relacionados à Relevância do curso para a atividade profissional (PROF) à motivação para realizar o curso: entende-se que alunos que indicaram um alto grau de relevância do curso para sua atividade profissional atual e/ou futura deveriam considerar o curso como uma oportunidade para aprimorar o conhecimento exigido em sua área e desta forma estarem aptos e motivados com o processo de aprendizagem. Entretanto, o fato deste fator não ter se mostrado preditor de sucesso na análise realizada indica que o raciocínio não foi efetivo. Novamente avalia-se que a motivação inicial não foi suficiente para manter o aluno entusiasmado ao longo da realização do curso e com isso houve o abandono do curso por estudantes que inicialmente tinham uma autêntica intenção de realizar o curso.
A confirmação destes argumentos e a identificação de outros possíveis motivos para os fatores relacionados a INT e SAT não terem sido preditores de sucesso merecem investigação adicional devido à relevância da motivação como elemento fundamental na persistência de alunos em cursos. O propósito da inclusão do fator Adequação do curso à realidade local (ADQ) no estudo foi investigar uma possível associação entre o sucesso dos estudantes e o grau de conformidade dos cursos e seus conteúdos à realidade profissional local dos alunos.
Cabe considerar que a pertinência dessa avaliação se deve ao fato dos polos de apoio presencial dos cursos estarem localizados em municípios nas regiões Sudeste, Nordeste, Norte e Centro-oeste, com contextos sociais e condições para atuação profissional distintos, devendo ainda ser ponderado o fato dos alunos não necessariamente serem procedentes dos municípios a que pertencem os polos presenciais, mas também de demais regiões do país, gerando uma diversidade ainda mais intensa entre a realidade profissional dos alunos dos cursos. Como o fator não foi comprovado como preditor de sucesso nos cursos, presume-se que não haja uma distinção significativa das condições regionais, que as diferenças existentes sejam contempladas satisfatoriamente pelo conteúdo do curso ou ainda que o formato proposto para verificação do parâmetro não foi apropriado. Para aprimorar o entendimento da associação existente entre a adequação do curso à realidade local dos alunos e seu sucesso é indicada a realização de um estudo separadamente para cada curso, considerando a origem (instituição, município, região em que atua profissionalmente) do estudante e suas particularidades regionais.
O fator Satisfação com o curso (SAT) não foi preditor de sucesso no estudo realizado. Esperava-se a contribuição do parâmetro SAT para a predição de sucesso por avaliar o grau de satisfação do aluno com o curso como um todo, considerando ambiente, material didático e apoio de professor e/ou tutor, como apontado por Cislaghi (2008), Street (2010), Levy (2007), Park e Choi (2009) e Xenos et al (2002). Refletindo sobre o resultado inesperado obtido, acredita-se que uma explicação para o achado seja uma possível manutenção dos alunos como aprendizes dependentes ao longo dos cursos, de acordo com as estratégias de aprendizagem planejadas e os procedimentos de mediação aplicados pelos tutores e professores, fundamentados pelo projeto político pedagógico de cada curso.
Tratados como aprendizes dependentes os alunos podem ter se desestimulado em permanecer no curso, e a não identificação dessa situação pode ter levado ao fornecimento de informações imprecisas no preenchimento do instrumento de pesquisa deste estudo, que culminaram com a não associação de SAT ao sucesso nos cursos. A não identificação de SAT como preditor de sucesso também pode ser atribuída à variação de desempenho dos diferentes tutores dentro de um mesmo curso. O desempenho do tutor, medido por meio de avaliação pelo aluno da qualidade da interação aluno-tutor, domínio do conteúdo e uso de estratégias de ensino, contribui efetivamente para a qualidade do curso como um todo (ZERBINI, 2007). No entanto, os alunos dos cursos participantes desta pesquisa foram organizados em diferentes grupos dentro de cada curso, e cada grupo de alunos acompanhado por um diferente tutor.
Desta forma, as diferenças na condução de grupos distintos de alunos dentro de um mesmo curso (CISLAGHI, 2008; LEVY, 2007; PARK et al, 2009; STREET, 2010; XENOS et al, 2002) podem ter levado a uma não uniformidade na avaliação dos diferentes tutores dentro do curso, interferindo na atribuição de valor a variável SAT pelos alunos. Uma outra possibilidade ainda para esclarecer SAT não ter sido preditor de sucesso dos alunos nos cursos pode ser o fato de que praticamente 55% dos estudantes participantes da pesquisa não haviam tido uma experiência prévia em EAD, não possuindo, desta forma, parâmetros suficientes para realizar a avaliação de sua satisfação com o curso na modalidade a distância.
Considerando a relevância do parâmetro e os resultados obtidos, entende-se que a satisfação com os diversos aspectos do curso e sua relação com o sucesso dos alunos merece ser investigada de forma aprofundada. A pesquisa da satisfação dos estudantes com o acesso e usabilidade do ambiente do curso, material didático, conteúdo programático, apoio administrativo, metodologia de ensino, apoio do professor e tutor e ainda outros aspectos inerentes ao curso pode contribuir tanto para um processo de avaliação do curso resultando em ações para seu aperfeiçoamento como para o aumento da taxa de sucesso dos alunos no curso em função de uma melhor qualidade da educação (PARK, 2007).
A Organização para participar do curso (ORG) se mostrou como o preditor mais robusto e consistente encontrado na pesquisa: foi o fator com maior Odds Ratio, que representa a chance do fenômeno ocorrer, demonstrando sua forte intensidade e importância para o estudo. Os elementos da variável ORG que indicam a organização do aluno para participação no curso (gestão do tempo para estudo, apoio da instituição em que trabalha, apoio da família) foram definidos a partir da análise de trabalhos publicados sobre o tema sucesso de alunos em EAD e da experiência dos autores como gestores, tutores e também alunos de cursos a distância. ORG se comportou de acordo com o esperado e avalia-se que há total coerência nesse panorama. A confirmação de ORG como preditor reforça resultados de estudos já realizados, que apontam a relevância da adequada gestão do tempo dedicado ao estudo (ABBAD et al , 2010; ALMEIDA et al, 2013; HOLDER, 2007; MARTINS et al, 2013; WILLGING et al, 2009; XENOS et al, 2002), aspectos pessoais e familiares (CISLAGHI, 2008; MARTINS et al, 2013; XENOS et al, 2002) e apoio da instituição em que trabalha (CISLAGHI, 2008; PARK et al, 2009; STREET, 2010) no sucesso de alunos em cursos a distância.
Refletindo sobre os componentes do fator ORG - gestão do tempo para estudo, apoio da instituição em que trabalha, apoio da família - entende-se que, embora os conceitos sejam independentes, são complementares na dinâmica da participação e envolvimento do aluno com o curso. Se um dos três elementos possuir uma baixa intensidade, a Organização para participar do curso como um todo é influenciada e essa situação deve ser refletida no desempenho e participação do aluno no curso, e consequentemente em sua chance de sucesso. Esses parâmetros são inerentes ao aluno de um curso a distância (BELLONI, 2006), sendo que cabe a ele buscar e negociar cada elemento e desta forma conquistar um cenário adequado, em que tenha tempo e serenidade para se dedicar ao curso. Entretanto, cabe ao próprio curso prover informações sobre as condições indicadas para o estudo (como indicação do tempo semanal necessário para estudo, frequência semanal de acesso ao ambiente virtual do curso, frequência de participação em atividades síncronas e presenciais), além de recomendar, orientar e estimular a adoção de medidas que estabeleçam melhores condições de organização, que comprovadamente aumentam a chance de sucesso (STREET, 2010).
Acredita-se que alunos que estejam suficientemente motivados a realizar um curso a distância, principalmente em função do tema central abordado e da relação deste com suas necessidades de formação, como decorrência sejam também estimulados a organizarem sua vida para propiciar as condições de estudo fundamentais para sua dedicação adequada ao curso.
A relevância de ORG e o fato desse conjunto de parâmetros ter se mostrado preditor de sucesso de estudantes nos cursos estudados aponta que uma investigação mais detalhada e aprofundada dos elementos que compõem a variável no estudo pode contribuir para o entendimento da relação existente entre a organização para o estudo e o sucesso do aluno no curso, além da busca por outros possíveis indicadores de sucesso relacionados à organização.
A partir da avaliação dos resultados fornecidos pela análise estatística realizada nesta pesquisa, que proporcionou a identificação de preditores de sucesso de estudantes nos cursos a distância analisados, e com as informações e conhecimento construído com base em estudos já publicados sobre evasão em EAD, ambos combinados à experiência adquirida no acompanhamento e gestão de cursos na modalidade a distância desenvolvidos e ofertados pela UNIFESP, propõe-se um conjunto de recomendações direcionadas ao combate da evasão por meio de um processo de fortalecimento dos cursos e elucidação de candidatos e alunos quanto a particularidades do curso na modalidade de educação a distância.
Considera-se que um trabalho voltado à análise dos cursos sob a visão dos Referenciais de Qualidade para a Educação Superior a Distância, constituído por orientações elaboradas pelo governo e por especialistas em EAD, tem potencial para aperfeiçoar os cursos e atender de forma mais adequada os alunos que buscam a educação continuada na UNIFESP. Análise e adequações dos cursos sob a luz dos Referenciais de Qualidade para a Educação Superior a Distância, buscando aperfeiçoar os cursos e atender de forma mais adequada os alunos que buscam a educação continuada;
Elaboração e divulgação de guia informativo sobre as especificidades e atribuições dos alunos nos cursos superiores a distância da instituição, bem como informações específicas de cada curso (objetivos de aprendizagem, perfil de ingresso e egresso, tempo necessário para estudo diário e semanal); Preparação do aprendiz para exercer o papel de estudante no curso de forma consciente, responsável e autônoma, abordando aspectos como gestão do tempo para estudo, pactuação de apoio familiar e organizacional, uso de estratégias para apoiar o estudo.
As duas últimas indicações baseiam-se fortemente, além de evidências apontadas pela literatura, nos resultados fornecidos pela análise estatística do presente estudo, com os aspectos relacionados a Organização para participar do curso (gestão do tempo para estudo, apoio da instituição em que trabalha, apoio da família) como o principal preditor de sucesso dos alunos nos cursos estudados.
Considerações finais
A relevância do estudo da evasão em educação a distância é refletida pela aplicação desse parâmetro como uma das medidas para avaliar eficácia e qualidade em EAD (WILLGING et al, 2009), sendo o grau de satisfação atribuído pelo aluno ao curso ainda durante sua realização um indicador da possibilidade de abandono do processo de formação (LEVY, 2007) e consequentemente um alerta precoce sobre a avaliação efetiva do curso pelos estudantes.
A UNIFESP, apesar de ser uma das instituições públicas pioneiras no país na oferta de cursos superiores na modalidade a distância, iniciando o primeiro curso logo após a oficialização da EAD no Brasil com a publicação da versão de 1996 da Lei de Diretrizes e Bases da Educação Nacional, nunca havia realizado uma pesquisa sobre a evasão nessa modalidade. Compreende-se que o presente estudo, por meio das ponderações geradas a partir dos resultados obtidos, de fato colabora com o entendimento do fenômeno evasão nos cursos pesquisados e pode contribuir efetivamente com o desenvolvimento da EAD na instituição.
A evasão nos cursos analisados leva a sociedade brasileira a um múltiplo prejuízo: financeiro, pois o investimento realizado pelo Governo Federal, pela instituição de ensino e pelo mantenedor do polo presencial para a formação de um estudante não alcança seu propósito com o abandono do processo pelo aluno; individual, pois para o estudante a experiência de não ter concluído um curso pode exercer influência negativa sobre sua atuação profissional e também sobre sua educação futura; e social, pois toda a sociedade é privada dos benefícios da atuação e convívio com um indivíduo melhor qualificado. Assim, igualmente imprescindível à abertura de novas vagas no ensino superior público por meio da EAD é a necessidade de primar pela qualidade desses cursos – revelada pela “seriedade e coerência do projeto pedagógico, pela qualidade dos gestores, educadores e mediadores, e também pelo envolvimento do aluno” (MORAN, 2010, p.129) – como forma de assegurar uma formação adequada de um expressivo número de profissionais.
Entende-se que os resultados obtidos complementam os resultados sobre evasão em EAD já disponíveis na literatura e colaboram para a compreensão dos fatores associados ao sucesso e evasão de alunos em cursos superiores de especialização no Brasil, não apenas nos quatro cursos estudados. Juntamente com outros trabalhos sobre sucesso e evasão em cursos superiores na modalidade a distância oferecidos por meio da Universidade Aberta do Brasil, acredita-se que o trabalho contribui para a construção desse sistema no país. Entretanto, considerando as especificidades dos cursos investigados generalizações sobre os fatores preditores advindos da análise estatística não são recomendadas.
Referências
ABBAD, G.; CARVALHO, R. S.; ZERBIBI, T. Evasão em curso via internet: explorando variáveis explicativas. RAE-eletrônica, v.5, n. 2, 2006. Disponível em .http://rae.fgv.br/rae-eletronica/vol5-num2-2006/evasao-em-curso-internet-explorando-variaveis-explicativas Acesso em: 23 mai. 2017.
ABBAD, G. ; ZERBINI, T. ; SOUZA, D. B. L. Panorama das pesquisas em Educação a distância no Brasil. Estudos de Psicologia (UFRN), v. 15, p. 291-298, 2010. Disponível em < http://www.scielo.br/pdf/epsic/v15n3/a09v15n3.pdf>. Acesso em: 23 mai. 2017.
ABED. Associação Brasileira de Educação a Distância. Censo EAD.BR: relatório analítico da aprendizagem a distância no Brasil. São Paulo: Longman do Brasil, 2012.
ALMEIDA, O. C. S.; ABBAD, G.; MENESES, P. P. M.; ZERBINI, T. Evasão em cursos a distância: fatores influenciadores. Revista Brasileira de Orientação Profissional, v.14, n. 1, 2013. Disponível em . Acesso em: 23 mai. 2017.
BELLONI, M. L. Educação a distância. 4a ed. Campinas: Autores Associados, 2006.
BRASIL. Ministério da Educação. LDB - Lei nº 9394/96, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Brasília: MEC, 1996.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Censo da educação superior: 2002: resumo técnico. Brasília, INEP, 2002. Disponível em: . Acesso em: 17 mai, 2017.
BRASIL. Ministério da Educação. Decreto nº 5622 de 19 de dezembro de 2005. Regulamenta o art. 80 da Lei no 9.394/96, de 20 de dezembro de 1996, que estabelece as diretrizes e bases da educação nacional. Brasília: MEC, 2005.
BRASIL. Ministério da Educação. Decreto nº 5800 de 8 de junho de 2006. Dispõe sobre o Sistema Universidade Aberta do Brasil. Brasília: MEC, 2006.
BRASIL. Ministério da Educação. Secretaria de Educação a Distância. Referenciais de Qualidade para a Educação Superior a Distância. Brasília: MEC, 2007. Disponível em < http://portal.mec.gov.br/seed/arquivos/pdf/legislacao/refead1.pdf>. Acesso em: 23 mai, 2017.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Censo da educação superior: 2014: resumo técnico. Brasília: Inep, 2017. Disponível em: http://download.inep.gov.br/download/superior/censo/2014/resumo_tecnico_censo_educacao_superior_2014.pdf . Acesso em: 16 mai, 2017.
CISLAGHI, R. Um modelo de sistema de gestão do conhecimento em um framework para a promoção da permanência discente no ensino de graduação. 2008. 258f. Tese (Doutorado em Engenharia e Gestão do Conhecimento) – UFSC, Florianópolis.
COSTA, M. L. F. História e políticas públicas para o ensino superior a distância no Brasil: o Programa Universidade Aberta do Brasil em questão. Revista HISTEDBR On-line, n. 45, mar. 2012. Disponível em: . Acesso em: 01 ago. 2016.
CRAMPTON, A.; RAGUSA, A. T.; CAVANAGH, H. Cross-discipline investigation of the relationship between academic performance and online resource access by distance education students. In: Research in Learning Technology, vol. 20, 2012. Disponível em: http://www.tandfonline.com/doi/full/10.3402/rlt.v20i0.14430 . Acesso em: 23 mai, 2017.
FAVERO, R. V. M.; FRANCO, S. R. K. Um estudo sobre a permanência e a evasão na Educação a Distância. RENOTE – Revista Novas Tecnologias na Educação, v. 4, n. 2, 2006. Disponível em: http://seer.ufrgs.br/renote/article/view/14295/8212 . Acesso em: 01 ago. 2016.
HOLDER, B. An investigation of hope, academics, environment, and motivation as predictors of persistence in higher education online programs. The Internet and Higher Education, v. 10, n. 4, 2007. Disponível em: . Acesso em: 01 ago. 2016.
LEVY, Y. Comparing dropouts and persistence in e-learning courses. Computers & Education, v. 48, n. 2, 2007. Disponível em: http://www.sciencedirect.com/science/ article/pii/S0360131505000096 . Acesso em: 01 ago. 2016.
LYKOURENTZOU, I.; GIANNOUKOS, I.; NIKOLOPOULOS, V.; MPARDIS, G.; LOUMOS, V. Dropout prediction in e-learning courses through the combination of machine learning techniques. Computers & Education, v. 53, n. 3, 2009. Disponível em: http://www. sciencedirect.com/science/article/pii/S0360131509001249 . Acesso em: 01 ago. 2016.
MARTINS, R. X.; SANTOS, T. L. P.; FRADE, E. G.; SERAFIM, L. B. Por que eles desistem? Estudo sobre evasão em cursos de licenciatura a distância. ESUD 2013 – X Congresso Brasileiro de Ensino Superior a Distância. Disponível em < http://repositorio.ufla.br/bitstream/1/3127/1/EVENTO_Porque%20eles%20desistem.pdf>. Acesso em: 23 mai. 2017.
MORAN, J. M. A Gestão da Educação a Distância no Brasil. In: MILL, D, PIMENTEL, N. (Orgs.) Educação a Distância: desafios contemporâneos. São Carlos: Editora Universidade Federal de São Carlos, 2010.
MOTA, R.; CHAVES FILHO, H.; CASSIANO, W. S. Universidade Aberta do Brasil: democratização do acesso à educação superior pela rede pública de educação a distância. In: BRASIL. Ministério da Educação. Secretaria de Educação a Distância. Desafios da educação a distância na formação de professores. Brasília: SEED, 2006. p.13-6.
PALLOFF, M. R.; PRATT, K. O aluno virtual: um guia para trabalhar com estudantes on-line. Porto Alegre: Artmed, 2004. p.23-35.
PARK, J. H.; CHOI, H. J. Factors influencing adult learners’ decision to drop out or persist in online learning. Education Technology & Society, v. 12, n. 4, 2009. Disponível em: http://ifets.info/journals/12_4/18.pdf . Acesso em: 01 ago. 2016.
PARK, J. H. Factors related to learner dropout in online learning. In: INTERNATIONAL RESEARCH CONFERENCE IN THE AMERICAS, 2007, Indianapolis. Meeting Papers, Indianapolis: Academy of Human Resource Development , 28 fev. – 4 mar. 2007. Disponível em: http://eric.ed.gov/?id=ED504556. Acesso em: 01 ago. 2016.
RIBEIRO, G. O.; SILVA, T. E. V.; NUNES, A. O.; PINTO, F. A. P.; VASCONCELOS, F. H. L. Perspectivas para a Redução da Evasão em EaD a partir da Avaliação da Qualidade do Ensino Online. CBIE 2014 – 3º Congresso Brasileiro de Informática na Educação. Disponível em < http://br-ie.org/pub/index.php/wie/article/view/3126/2634>. Acesso em: 23 mai. 2017.
STREET, H. Factors influencing a learner’s decision to drop-out or persist in higher education distance learning. Online Journal of Distance Learning Administration, v. 13, n. 4, 2010. Disponível em: < https://www.westga.edu/~distance/ojdla/winter134/street134.html>. Acesso em: 01 ago. 2016.
TEIXEIRA, A. Ainda a deficiência estrutural do projeto nacional de educação. In: TEIXEIRA, A. Ensino superior no Brasil – análise e interpretação de sua evolução até 1969. Rio de Janeiro: Editora Universidade Federal do Rio de Janeiro, 2005. p.169-79.
TINTO, V. Conclusions. In: TINTO, V. Leaving College: Rethinking the causes and cures of student attrition. 2a ed. Chicago: The University of Chicago Press, 1993. p.204-212.
UAB. Universidade Aberta do Brasil. Brasília: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Brasília: CAPES, 2008. Disponível em: http://www.uab.capes.gov.br. Acesso em: 01 ago. 2016.
WILLGING, P. A.; JOHNSON, S. D. Factors that influence students’ decision to dropout of online courses. Journal of Asynchronous Learning Networks, v. 13, n. 3, 2009. Disponível em: http://www.eric.ed.gov/PDFS/EJ862360.pdf . Acesso em: 01 ago. 2016.
XENOS, M.; PIERRAKEAS, C.; PINTELAS, P. A survey on student dropout rates and dropout causes concerning the students in the Course of Informatics of the Hellenic Open University. Computers & Education, v. 39, n. 4, 2002. Disponível em: http://www.sciencedirect.com/science/article/pii/S0360131502000726 . Acesso em: 01 ago. 2016.
ZERBINI, T. Avaliação da transferência de treinamento em cursos a distância. 305f. Tese (Doutorado em Psicologia) – UnB, Brasília, 2007.
Enlace alternativo
http://www.laplageemrevista.ufscar.br/index.php/lpg/article/download/343/486 (pdf)
Artículo relacionado
[Artículo corregido , vol1. 3, 77-93] http://www.laplageemrevista.ufscar.br/index.php/lpg/article/view/343/486