1 INTRODUÇÃO

A avaliação institucional é um importante instrumento de melhora da qualidade da educação superior, facilitando a devida prestação de contas à sociedade uma vez que possibilita a identificação de problemas e de oportunidades para elevar o desempenho da Instituição. É, portanto, uma ferramenta significativa para o planejamento da gestão universitária, devendo ser um processo contínuo de aperfeiçoamento do desempenho da educação, como determina a legislação, mais precisamente o Decreto-Lei n.º 10.861, de 14/abril/2004, (BRASIL, 2004).

Para tanto, a administração universitária necessita de ferramentas de avaliação, integradas às bases de dados institucionais, que usem tecnologias voltadas totalmente ao ambiente on-line, de tal modo que as informações sejam disponibilizadas aos gestores de forma facilitada para as tomadas de decisões, com o intuito de melhorar a qualidade do ensino, da pesquisa, da extensão e das atividades administrativas da instituição. A integração das coletas realizadas com as bases de dados institucionais permitirá ao usuário obter análises estratificadas, que conduzam a tomadas de decisões fundamentadas.

Nesses termos, as universidades precisam contar com uma ferramenta tecnológica, projetada em base de dados computacionais e com programação direcionada à internet, que possa auxiliar a gestão universitária, no aperfeiçoamento das atividades administrativas e das atividades da área pedagógica. A universidade Federal de Santa Catarina (UFSC) não foge a regra. Com isso, o objetivo deste trabalho é demonstrar o desenvolvimento de um sistema computacional incorporado à plataforma de sistemas institucionais da UFSC que sirva de suporte às tomadas de decisão dos seus gestores, considerando-se os dados coletados sobre pesquisas e avaliações institucionais.

Em linhas gerais, o sistema computacional apresentado tem o intuito de contribuir com a melhora da qualidade dos serviços prestados no âmbito da Universidade Federal de Santa Catarina, à medida que apresenta uma alternativa que visa a agilizar a coleta de dados e a possibilitar a utilização de recursos on-line, facilitando a análise das informações e permitindo, dessa forma, uma participação eficiente de todos os envolvidos no processo de avaliação institucional.

2 A UNIVERSIDADE: GESTÃO, AVALIAÇÃO E SISTEMAS INFORMACIONAIS

A universidade é vinculada à ideia de democracia e de democratização do saber humano, que demonstra a estrutura e a forma de funcionamento da sociedade. Consideradas como organização social, instituições desse tipo são regidas pelas ideias de gestão, de planejamento, de previsão, de controle e avaliação e de êxito. Ademais, até por imposição legal (BRASIL, 2004), a visão organizacional da universidade formou-se em uma administração regida por contratos de gestão, que é avaliada por índices de produtividade, calculada para ser flexível e estruturada por estratégias e programas de eficiência, eficácia e busca por resultados.

Neste contexto, a avaliação tem o importante papel de permitir o acompanhamento das gestões aplicadas na instituição universitária, possibilitando ajustes no seu direcionamento e o alcance das metas estabelecidas (LANER; CRUZ JUNIOR, 2004).

2.1 GESTÃO UNIVERSITÁRIA

Constata-se que o ensino superior atravessa uma série de desafios decorrentes das mudanças impostas pelas novas tecnologias, em especial as de informação e comunicação, que se alteram, em velocidades e quantidades sem precedentes na história da humanidade.

Em uma organização pública, principalmente universitária, inovações devem ser um dos objetivos básicos a ser almejado, pois essas organizações servem de estrutura de apoio para a sociedade na aplicação de novos conhecimentos. A sobrevivência da organização depende da gestão, que deve estar atenta ao processo dinâmico das mudanças contínuas que forçam adaptações no ambiente organizacional e que podem ser constatadas pela aplicação de avaliações institucionais.

Entendem-se, portanto, as avaliações institucionais como ferramentas capazes de contribuir para a obtenção da melhora nas gestões administrativas e pedagógicas, na qualidade dos serviços prestados pela organização e na renovação dos modelos mentais individuais e organizacionais (SENGE, 1990), fato que merece, na sequência, uma análise mais detalhada.

2.2 AVALIAÇÃO INSTITUCIONAL

Segundo Sobrinho (1997), a avaliação institucional não é somente um mecanismo de melhora nas ações institucionais e nas relações de produção de cidadania e conhecimento, mas, também, um mecanismo de sobrevivência da instituição. Depreende-se dai que, a avaliação institucional é capaz de fortalecer a gestão e possibilita melhoras no processo de planejamento e tomada de decisões. Adicionalmente, para Trigueiro (1998), a avaliação institucional promove a melhora qualitativa e é considerada como o processo sistemático e permanente que permite captar informações sobre o objeto avaliado, para contrastá-lo com um marco de referência e, a partir dessa comparação, emitir juízos de valor e propor alternativas para tomar decisões visando melhora desse objeto.

Por meio da avaliação institucional, avaliam-se alunos, professores, administradores e a instituição como um todo. Além disso, com a aplicação da avaliação, a comunidade poderá acompanhar o desempenho da instituição, corrigindo desvios, sugerindo alternativas de ações e reformulando estratégias para atingir os objetivos e metas propostas. Neste âmbito, políticas e objetivos bem definidos e claramente especificados e publicados implicam em um processo avaliativo mais bem consolidado e em um grau maior de sucesso.

Sobre o assunto, vale ressaltar, ainda, que a partir da Constituição de 1988, da Lei de Diretrizes e Bases da Educação Nacional (BRASIL, 1996) e do Plano Nacional de Educação (BRASIL, 2001), houve um reconhecimento legal da importância da avaliação institucional associada à ideia de melhora da qualidade.

2.3 AVALIAÇÃO INSTITUCIONAL NA UNIVERSIDADE FEDERAL DE SANTA CATARINA (UFSC)

O processo de avaliação institucional aplicado na UFSC tem o intuito de gerar impacto e mudanças na gestão administrativa e acadêmica, sendo influenciado por fatores técnicos e políticos. Os fatores técnicos incluem a formação da comissão de avaliação, a condução do processo, os procedimentos metodológicos, a informação coletada e os critérios e indicadores propostos. Já, os fatores políticos estão relacionados aos processos decisórios, à participação da comunidade interna e externa.

A avaliação institucional da UFSC foi iniciada na década de 80, oportunidade em que a UFSC promoveu encontros e seminários com a finalidade de discutir a avaliação institucional. Mas foi a partir da criação do Programa de Avaliação Institucional (PAIUB) que a avaliação institucional na UFSC intensifica-se (CADORI, 2005). Dentre as avaliações aplicadas, citam-se o Programa de Avaliação Institucional na UFSC (PAIUFSC) e o Programa de Auto-avaliação Institucional na UFSC (PAAI-UFSC) (PAAI-UFSC, 2010).

Na UFSC, o PAIUB, com denominação de PAIUFSC, teve início em 1993 e representou um projeto de caráter experimental, sob a coordenação da Pró-Reitoria de Ensino de Graduação (PREG). Para executa-lo, com a participação da comunidade universitária, a Comissão de Avaliação constituída para administrar o Programa, inicialmente desenvolveu um questionário que foi aplicado junto aos graduandos (RISTOFF et al, 1994). O citado processo de avaliação caracterizou-se pelas seguintes etapas: a) Conscientização dos envolvidos; b) Aplicação dos instrumentos de coleta; c) Organização e publicação das informações. Com a participação efetiva da comunidade universitária, são decididas posições acadêmicas frente ao processo de Avaliação de Ensino na UFSC.

2.3.2 PROGRAMA DE AUTO-AVALIAÇÃO INSTITUCIONAL NA UNIVERSIDADE FEDERAL DE SANTA CATARINA

O modelo de programa de auto-avaliação aplicado na Universidade Federal de Santa Catarina (PAAI-UFSC, 2010), formalizado com a criação da Comissão Própria de Avaliação da UFSC (CPA), em julho de 2004, por meio da Lei nº 10.861 que institui o Sistema Nacional de Avaliação da Educação Superior (BRASIL, 2004), é um processo que promove a participação da comunidade universitária, permitindo realizar uma autoanálise na Instituição, evidenciando as potencialidades e apontando as limitações, com a intenção de aprimorar o planejamento e a gestão da Instituição, fortalecer a missão institucional e a melhora contínua na qualidade do ensino, pesquisa, extensão e gestão institucional. Para isso, foram definidas dez dimensões avaliativas (PAAI-UFSC, 2010), quais sejam:

a) Políticas institucionais;

b) Políticas de pessoal;

c) Infraestrutura;

d) Responsabilidade social;

e) Políticas estudantis;

f) Organização e gestão;

g) Comunicação;

h) Sustentabilidade financeira;

i) Missão e perfil;

j) Avaliação institucional.

O Programa de Auto-avaliação Institucional aplicado na UFSC contou com a participação de toda a comunidade universitária para sua elaboração e foi coordenado pela Comissão Própria de Avaliação (CPA), com a participação de doze Comissões Setoriais de Avaliação, organizado conforme normas e princípios do SINAES (2009). Teve o propósito de promover uma cultura de avaliação contínua e dinâmica com a participação da comunidade universitária e de representantes da sociedade civil (CADORI, 2005).

2.4 SISTEMAS INFORMACIONAIS

A priori, cabe destacar o conceito de Sistema de Informação. Laudon e Laudon (1999) definem sistema de informação como um conjunto de componentes interligados que coleta, processa, armazena e dissemina informações para auxiliar nas tomadas de decisão. Igualmente, Davenport (1998) destaca que a qualidade da informação é extremamente importante na tomada de decisão, pois influencia diretamente nas ações gerenciais. O objetivo do sistema de informação é o de prover o usuário com o tratamento de informações de forma apropriada, seja por meio de mensagens, relatórios, arquivos, ou imagens.

Para Davenport (1998), a informação deve ser tratada como um recurso estratégico da instituição. O autor, ainda, assinala que a informação é influenciada pelo poder, pela política e pela economia. A forma como as organizações coletam, distribuem e usam a informação e o conhecimento refere-se ao gerenciamento de tais recursos que deve ocorrer por meio de um conjunto estruturado de atividades, quais sejam:

a) Identificação das necessidades de informação dos usuários;

b) Coleta de informações, formatação e estruturação da informação;

c) Distribuição da informação;

d) Utilização da informação.

Com o apoio da tecnologia de informação, um sistema de informação, desde a sua coleta e o seu armazenamento até sua utilização, tem de possibilitar um acesso rápido e fácil, além de dar disponibilidade de opções para análises e tratamentos das informações.

De outro modo, a tomada de decisão pode ser dificultada, pela falta de integração dos sistemas computacionais, pela dinamicidade e quantidade de informações colocadas à disposição do gestor, ou pelo desconhecimento das informações existentes na instituição. Nesse sentido, a utilização de ferramentas computacionais como um sistema de avaliação institucional, alinhada à cultura organizacional, com foco no apoio à decisão e contendo informações consistentes, organizadas e integradas, pode ser de grande valia aos gestores.

Diante do exposto, cabe observar aspectos de desenvolvimento de Sistemas de Informação, o que é feito a seguir.

2.5 DESENVOLVIMENTO DE SISTEMAS DE INFORMAÇÃO

O desenvolvimento de sistemas de informação é o procedimento que objetiva obter um melhor desempenho no tratamento das informações das organizações. Vários processos, técnicas, ferramentas e documentação para o desenvolvimento de sistemas de informação estão disponíveis, auxiliando no planejamento, gerenciamento, controle e avaliação do processo de desenvolvimento de software.

As atividades para o desenvolvimento do software podem ser particionadas em análise de requisitos, projeto, codificação, integração, testes, documentação e instalação do software, podendo conter as seguintes especificações (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS, 1998), como segue:

a) Análise dos requisitos do software;

b) Projeto da arquitetura do software;

c) Projeto do software;

d) Construção e testes do software;

e) Integração do software;

f) Teste de qualificação do software;

g) Integração do sistema;

h) Teste do sistema;

i) Instalação e aprovação do software.

O processo de desenvolvimento de software depende essencialmente da escolha de um modelo de ciclo de vida, pois tem influência direta sobre o sucesso do projeto, ajudando a garantir os objetivos finais de cada etapa planejada. O ciclo de vida de software define uma estratégia de desenvolvimento aplicada em um projeto de software que é realizado em etapas sequenciais (SOMMERVILLE, 2003).

Outro aspecto a ser destacado relaciona-se ao pré-requisito básico de qualquer sistema de informação, isto é, de que ele tenha condições de prover informações por meio de uma interface amigável ao usuário. Nesse sentido, devem ser consideradas, na análise do desempenho de um sistema, as seguintes variáveis:

a) A base de informações - Aquelas composta por informações existentes dos sistemas institucionais;

b) A interface com o usuário - Nas formas de apresentação para requisição ou disponibilização de informações;

c) Os relatórios e resultados apresentados - Nas formas de apresentação de resultados;

d) A utilização das informações pelo próprio usuário - Nas análises da informação recebida, considerando o contexto na visão do gestor.

Esse quadro permite concluir que, no desenvolvimento de um sistema de informações, deve ficar clara a ideia geral do projeto a ser desenvolvido para que as necessidades e expectativas dos usuários sejam mais bem entendidas, tornando-se possível, assim, que os objetivos propostos para ele sejam alcançados.

3 PROCEDIMENTOS METODOLÓGICOS

Na construção de um trabalho científico e no desenvolvimento da própria pesquisa, é preciso haver uma metodologia específica para que seus resultados sejam satisfatórios, necessitando de um planejamento cuidadoso e reflexões conceituais alicerçadas em conhecimentos já existentes.

Nesta pesquisa, em função de sua natureza aplicada, trabalhou-se dentro de uma abordagem qualitativa. Ademais, a pesquisa qualitativa, sob a ótica de Merrian (1998), envolve compreensão de um evento em seu ambiente e resulta em um trabalho descritivo.

A pesquisa aplicada, segundo Vergara (2007), é fundamentalmente motivada pela necessidade de resolver problemas concretos, tendo uma finalidade prática. Concomitantemente, trazendo a pesquisa aplicada para o pensamento socioeconômico administrativo, Mattar (1999) afirma que, nesse tipo de análise, estão envolvidas indagações na formulação de política, planejamento, ou sentidos do mesmo teor.

Quanto aos objetivos da pesquisa, esta se caracteriza como sendo descritiva. Segundo Gil (2007), a pesquisa descritiva tem como objetivo primordial a descrição das características de uma determinada população, ou fenômeno, ou então, o estabelecimento de relação entre variáveis. Nesta mesma linha de raciocínio, Silva e Menezes (2005) ponderam que um trabalho científico é um texto descritivo que apresenta os resultados de uma pesquisa. Para tanto, deve-se obedecer a critérios de coerência, consistência, originalidade e objetivação.

Quanto aos procedimentos técnicos da pesquisa, esta se constitui em estudo de caso e uma pesquisa-ação. A pesquisa caracteriza-se como estudo de caso, tendo como referência a UFSC. Busca-se, assim, a resolução do problema detectado em uma análise inicial por meio de pesquisa-ação. Este processo é iniciado com a identificação do problema e sua solução mediante planejamento, implementação, implantação e avaliação de sua eficácia (TRIPP, 2011).

A pesquisa foi realizada durante o primeiro semestre de 2012, utilizando-se um protótipo do sistema proposto, com a aplicação de um questionário estruturado (por meio da qual foram buscadas informações sobre requisitos e características que deveria ter um sistema computacional de coleta e avaliação institucional) junto a uma amostra intencional formada por 15 agentes envolvidos com gestão de processos de avaliação institucional e tomada de decisão dentro da Instituição.

Em termos técnicos, vale ressaltar que a finalidade de atender aos objetivos deste trabalho, no desenvolvimento do sistema, foram adotadas as técnicas de análise e desenvolvimento de sistemas computacionais, contemplando-se as seguintes etapas (LAUDON; LAUDON, 1999):

a) Planejamento do sistema;

b) Processo de desenvolvimento do sistema;

c) Implantação; e

d) Avaliação.

Por fim, a análise dos dados foi efetivada por meio da abordagem interpretativa, que, para Triviños (1990), recorre aos dados coletados da realidade, a experiência dos pesquisadores em relação ao fenômeno estudado e à literatura sobre o assunto.

4 ETAPAS DE DESENVOLVIMENTO DO SISTEMA COLLECTA

O sistema proposto foi desenvolvido por meio de um conjunto de ações que se interligam à medida que as quatro etapas fundamentais de análise de sistemas que o constituem são construídas (planejamento, desenvolvimento, implantação e avaliação). Como produto final, ocorreu o delineamento de um Sistema de Informação para coleta de dados para a Avaliação Institucional que foi, posteriormente, denominado por um dos atuais pesquisadores de COLLECTA.

4.1 PLANEJAMENTO DO SISTEMA COLLECTA

O protótipo do sistema para pesquisas e avaliações institucionais foi denominado de “COLLECTA - Sistema de computação para coleta de dados da UFSC”. Esse sistema é formado por módulos computacionais integrados às bases de dados institucionais oriundas dos sistemas de informações já existentes na UFSC, quais sejam:

a) Sistema de Controle Acadêmico da Graduação;

b) Sistema de Controle Acadêmico da Pós-Graduação;

c) Sistema de Administração de Recursos Humanos, em que constam dados e informações sobre os professores, os técnicos-administrativos e gestores;

d) Sistema de Egressos, com dados e informações sobre os formados dos cursos de graduação e pós-graduação da Instituição.

Com isso, passa a ser possível fazer, por meio do Collecta, procedimentos de análise dos resultados, com base em dados primários coletados e de dados secundários obtidos das bases de dados institucionais citadas.

Assim, na etapa de planejamento do Collecta, foram estabelecidas as diretrizes e restrições que nortearam o detalhamento dos planos e estratégias de ações e que são exigidas em um primeiro momento para que todo o processo obtenha sustentabilidade, dentre as quais:

a) Divulgar o Collecta, por meio das agências de comunicação e nos sites institucionais;

b) Articular junto à gestão administrativa a obtenção da infraestrutura básica necessária, o suporte tecnológico e pessoas qualificadas;

c) Capacitar servidores para atuarem no treinamento dos usuários e no uso do sistema.

É nesta etapa de planejamento, portanto, que se buscaram respostas para os seguintes questionamentos:

a) Definição dos usuários - Os usuários do sistema Collecta são as pessoas envolvidas na comunidade universitária cadastradas nas bases de dados institucionais, constituídas por 30.235 graduandos, 79.363 graduados (egressos), 5.749 pós-graduandos stricto sensu, 3.461 pós-graduandos lato sensu, 30.704 pós-graduados (egressos), 2.220 professores e 2.857 técnicos-administrativos;

b) O modo como os usuários serão incluídos no processo, qual metodologia utilizada para o aprendizado, que tipo de material utilizar em determinados treinamentos;

c) Quando iniciar a utilização do sistema - Após a implantação, o sistema deverá ser liberado institucionalmente, sendo disponibilizados manuais on-line.

Na etapa de planejamento, considerou-se um conjunto de ações que se interligam à medida que suas fases foram desenvolvidas, quais sejam:

a) Análise do problema (diagnóstico);

b) Análise de requisitos (levantamento de necessidades e requisitos);

c) Projeto do sistema (modelagem);

d) Implementação;

e) Implantação (instalação do sistema);

f) Avaliação do sistema.

Com a realização das entrevistas para este trabalho, os participantes relataram que tentativas de pesquisas e avaliações são produzidas por agentes institucionais, nas avaliações administrativas e acadêmicas, nas coletas de dados para trabalhos de conclusão de cursos, nas dissertações e teses, ou em outras necessidades de pesquisa e avaliações junto à comunidade universitária. Porém, afirmaram os entrevistados que não há, no âmbito da Instituição em estudo, um sistema informatizado destinado a coletar dados da comunidade universitária que esteja implementado nas condições desse projeto, vinculadas às bases de dados institucionais. Constatou-se, ainda, na análise do problema, que as pesquisas e avaliações aplicadas na Instituição são temporais e descartadas a cada utilização, sem o compromisso com a continuidade ou com o registro histórico das coletas e avaliações aplicadas.

Diante do exposto, na fase de planejamento, verificou-se a necessidade que o Collecta fosse implementado por meio de uma estrutura de fácil usabilidade, sincronizada com as bases de dados institucionais, oportunizando maior agilidade na coleta de dados e tratamento das informações e que possibilite apoio em processos decisórios nas mais variadas instâncias.

4.2 PROJETO DO SISTEMA COLLECTA

O sistema Collecta considera o atendimento de consultas públicas, pesquisas e avaliações institucionais que busquem informações nos seguintes públicos-alvo:

a) Alunos da graduação regularmente matriculados;

b) Alunos da pós-graduação regularmente matriculados;

c) Egressos (formados) da graduação e pós-graduação;

d) Professores em exercício;

e) Técnicos-administrativos em exercício;

f) Gestores institucionais, isto é, diretores de centro, chefes de departamentos, coordenadores de cursos e gestores de áreas administrativas.

Neste sentido, apresentam-se a arquitetura do Collecta com seus casos de uso, sua modelagem, e como são repassadas as informações entre o usuário e o sistema computacional.

4.2.1 CASOS DE USO

Os casos de uso representam uma sequência de rotinas formadas por ações, relacionamentos e mensagens que são trocadas entre o sistema e os usuários. Os casos de uso são utilizados para mostrar uma visão do comportamento do sistema e os serviços fornecidos no contexto de seu ambiente (BOOCH; RUMBAUGH; JACOBSON, 2006).

As funcionalidades básicas estão representadas na figura 1, em que se apresentam as interações entre o sistema Collecta e os usuários: Solicitante (professor e técnico-administrativo); Comissão de avaliação; Aluno (graduando, pós-graduando e egresso); Professor; Técnico-Administrativo; Gestor (na função de coordenador de curso, chefe de departamento, diretor, outros cargos administrativos); e Administrador do sistema.

Nesta representação, os usuários podem desempenhar diferentes funções dentro do sistema, quais sejam:

a) Administrador do sistema - solicitar, aprovar e consultar pesquisa ou avaliação;

b) Professor e Técnico-Administrativo - solicitar e consultar a pesquisa ou avaliação;

c) Comissão de avaliação - Analisar a solicitação, aprovar, propor ajustes na solicitação ou reprovar a liberação da pesquisa e avaliação para aplicação no público-alvo;

d) Alunos, egressos, técnico-administrativos, professores e gestores - Participar das pesquisas e avaliações quando solicitado, e consultar resultados publicados.

Figura 1 Diagrama geral de caso de uso do sistema Collecta
Fonte: Elaborado pelos autores (2012)

O Diagrama de caso de uso apresentado na figura 1 expressa as ações (representadas por elipses) que cada categoria de usuário (representado por figuras) pode executar dentro do sistema Collecta, com isso, possibilitando a sua modelagem – aspecto tratado na sequencia.

4.2.2 MODELAGEM DO COLLECTA

O método utilizado é o de modelo entidade-relacionamento contendo tabelas e atributos, que formam um banco de dados relacional , permitindo formas de armazenar, manter e buscar dados, utilizando-se uma linguagem padrão, denominada SQL (SOMMERVILLE, 2003).

Diante disso, são estruturadas as tabelas da base de dados do sistema, que são:

a) Inscrição da pesquisa e avaliação: Seu conteúdo é composto com informações sobre as pesquisas e avaliações solicitadas;

b) Áreas de concentração: Contém as grandes áreas de concentração da pesquisa, definidas pela da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior;

c) Categorias de público-alvo pré-definidas: Contém categorias de público-alvo vinculadas aos alunos, professores e técnico-administrativos da comunidade;

d) Funções exercidas pelo avaliado: Contém funções pré-definidas (professores, tutores), utilizadas para identificar responsáveis pela disciplinas/turma;

e) Dimensões da pesquisa: Para cadastramento de dimensões (conjunto de grupos de questão) da avaliação;

f) Grupos de questão: Para cadastramento de grupos de questão vinculado às dimensões da pesquisa;

g) Questões: Para cadastramento das questões pertencentes ao grupo de questão e dimensão definidas anteriormente;

h) Alternativas das questões: Para o registro das alternativas vinculadas à questão;

i) Tipos de escolha: Contém o formato de apresentação das alternativas da questão, sendo de única escolha, múltipla escolha ou texto;

j) Respostas dos participantes: Para registrar as respostas dos participantes de uma determinada pesquisa ou avaliação.

Depois de elaborada a modelagem do sistema Collecta, em que foram considerados as análises realizadas e os casos de uso definidos, enfoca-se agora a sua implementação.

4.3 IMPLEMENTAÇÃO DO SISTEMA COLLECTA

O processo de implementação do sistema foi realizado de forma iterativa até a sua finalização, sendo desenvolvidos os códigos-fontes conforme as seguintes etapas:

a) Análise dos requisitos - Refinamento dos requisitos especificados nos casos de usos;

b) Construção da base de dados - Criação das tabelas, dos relacionamentos e geração das visões das bases de dados do Collecta;

c) Implementação dos casos de uso - Programação de códigos-fontes para os componentes do sistema, implementação dos requisitos, elaboração do plano de implementação e integração;

d) Implementação de interfaces - Desenvolvimento, codificação e integração das interfaces (telas);

e) Testes do sistema - Teste de verificação do software, verificação quanto ao atendimento dos requisitos e integração (homologação interna). Homologação pelos usuários - Aceite do usuário, ajustes, instalação do sistema em ambiente de produção em módulos utilizáveis, publicação do manual e treinamento dos usuários;

f) Gerenciamento do projeto - Procedimento realizado durante todo o ciclo de vida do projeto. Identificação dos riscos, mudanças e ajustes nos procedimentos.

Definidas as etapas de implementação, na sequencia, delineia-se os procedimentos de: geração das estruturas das tabelas de dados, de confecção das interfaces, da programação e da implantação do Collecta.

4.3.1 ESTRUTURA DAS TABELAS DA BASE DE DADOS

As tabelas da base de dados do sistema COLLECTA são estruturadas por um conjunto de dados, com colunas (campos) de tipo numérico, alfanumérico, datas e imagens, linhas (registros) formadas com a combinação dos valores dos campos. Para otimizar e facilitar o acesso a essas linhas, são adicionados índices nas tabelas, denominados de chaves primárias ou secundárias, com a finalidade de referenciar determinada linha e, assim, acessar rapidamente um conjunto de dados pesquisados.

Para que as tabelas da base de dados fossem estruturadas, permitindo com que suas linhas e colunas sejam adequadamente usadas, foram definidas as interfaces que farão essas conexões entre o Collecta e o usuário, sendo demonstradas na sequencia algumas delas.

4.3.2 INTERFACES ENTRE O USUÁRIO E O COLLECTA

A interface é a forma de comunicação entre o usuário e o sistema computacional, em que está incluída a programação necessária para suas funcionalidades. Diante disso, a interface refere-se a um conjunto de telas que possibilita o registro de informações pelo usuário, o processamento e a obtenção de resultados disponibilizados pelo sistema, facilitando o acesso às suas funções (MORAN, 1981). Depreende-se dai que a usabilidade e a funcionalidade do sistema dependem do projeto e das características da interface.

4.3.2.1 INTERFACE PARA SOLICITAÇÃO DE PESQUISA DE OPNIÃO, AVALIAÇÃO OU CONSULTA PÚBLICA

Após acessar o Collecta, o usuário deverá selecionar uma das opções de solicitação:

a) Caso o usuário seja professor ou técnico-administrativo poderá solicitar:

à Pesquisa de Opinião – Quando for realizar pesquisa junto à comunidade universitária. Nesse caso, o questionário será mostrado ao público-alvo em um só momento com todas as questões;

à Avaliação Institucional – Quando for necessário realizar avaliações acadêmicas, nas quais a avaliação tenha de ser relacionada com disciplinas, turmas, discentes e docentes. Nesse caso, o questionário será mostrado em um formato estruturado e o participante responde o grupo de perguntas que lhe convier, podendo fazê-lo a qualquer momento enquanto o período para responder não estiver expirado;

à Consulta Pública – Quando houver necessidade de validação junto à comunidade universitária de determinada legislação, decretos e outros atos normativos;

b) Quando o usuário conectado for um solicitante da pesquisa, terá acesso total às pesquisas por ele solicitadas, para análise e acompanhamento;

c) Para todos os usuários da comunidade, o acesso será exclusivamente para responder a pesquisas ou avaliações ou para consultar os resultados publicados;

d) Depois de solicitada uma pesquisa ou avaliação, o pesquisador deve enviá-lo à comissão de avaliação para análise e liberação da solicitação.

Ao acessar a interface para solicitação de pesquisa de opinião, avaliação ou consulta pública, o usuário seleciona uma das opções apresentadas, completando todas as informações requeridas nas telas subsequentes. O usuário deve executar a montagem do seu questionário, como mostrado na sequencia, e aplica-lo no público-alvo da comunidade universitária.

4.3.2.2 INTERFACE PARA MONTAGEM DO QUESTIONÁRIO

Para iniciar a montagem do questionário, clica-se no botão Adicionar, em dimensão, e informa-se um nome para essa dimensão. Se essa dimensão for relacionada às disciplinas matriculadas pelos alunos no período (avaliação acadêmica), então, clica-se em Sim. Desse modo, quando o aluno for solicitado a responder o questionário, serão mostradas todas as disciplinas em que esteja matriculado no período, conforme registrado no sistema acadêmico.

Para incluir um grupo de questões, clica-se no botão Adicionar, em grupo, e informa-se um nome para esse grupo de questões. Quando for uma avaliação acadêmica que envolva avaliação do professor/tutor deve-se informar a função no campo “pesquisa por papeis?”.

Para adicionar as questões no grupo de questões, clica-se no botão Adicionar, em questão, descrevendo-se a questão. Complementa-se, informando o tipo de questão que deve ser de Única escolha, Múltipla escolha ou Texto. Para as questões escolhidas como Única escolha e Múltipla escolha, adicionam-se as alternativas. A figura 3 mostra essa interface.

Figura 2 Montagem dos questionamentos
Fonte: Elaborado pelos autores (2012)

Após a montagem do questionário com todos os questionamentos registrados no sistema, o usuário deve acionar o botão Visualizar Questionário, que apresenta a pesquisa/avaliação na visão do participante. Também, quando necessário, o pesquisador poderá ajustar o questionário preenchido, acionando o botão Próxima etapa (Conclusão e Edição de questões). Nessa mesma interface, está disponível o botão para o usuário enviar sua pesquisa/avaliação à Comissão de Avaliação para a análise da sua solicitação.

A estrutura do questionário é montada com base na definição de dimensões, grupos de questões, questões e suas alternativas. As dimensões e grupos de questões têm o intuito de organizar a disposição das questões e propiciar uma visualização ordenada dos resultados do questionário. A dimensão forma um nível maior que conterá os grupos de questões. Um grupo, por sua vez, pode ser formado por diversas questões com suas alternativas. A figura 4 mostra um exemplo de montagem da estrutura de um questionário:

Figura 3 Estrutura do questionário de avaliação
Fonte: Elaborado pelos autores (2012)

Nesse exemplo, a dimensão “docente” tem o grupo de questões “Sobre o professor”, que tem as perguntas “Atento aos objetivos da disciplina” e “Está atualizado e apresenta domínio do conteúdo”, e suas alternativas “Muito Bom, Bom, Regular, Ruim e Muito Ruim”.

4.3.2.3 INTERFACE DOS RESULTADOS DAS PESQUISAS E AVALIAÇÕES PUBLICADAS

O usuário da comunidade universitária tem acesso às pesquisas e avaliações publicadas, podendo realizar consultas nos resultados obtidos e apresentados, no formato ‘pdf’ ou ‘excel’. Para isso, definiu-se a interface mostrada na figura 4.

Figura 4 Apropriação dos resultados publicados
Fonte: Elaborado pelos autores (2012)

Essa interface (figura 5) oferece o acesso às informações prestadas pelos participantes na pesquisa ou avaliação e estarão à disposição do usuário para apropriação dos resultados.

Com o sistema Collecta desenvolvido, a implantação foi realizada em uma unidade acadêmica, na forma de um protótipo. Assim, análises mais detalhadas do sistema Collecta foram efetivadas e conduziram a ajustes, conforme a percepção dos usuários.

4.4 IMPLANTAÇÃO E AVALIAÇÃO DO COLLECTA

Para utilizar o Collecta, o usuário busca o endereço , informando sua matrícula e senha pessoal. Assim, acessa o Collecta para iniciar a formulação da avaliação, escolhe a opção de solicitação de Avaliação Institucional. Com isso, fica disponibilizada a interface de solicitação de avaliação. Então, o usuário pesquisador preenche as informações requeridas (tais como público-alvo a atingir e período de aplicação). Assim, o sistema libera a interface para montagem do questionário. O diagrama de fluxo de atividades da figura 5 mostra o envolvimento dos usuários nos procedimentos de utilização do Collecta.

Figura 5 Diagrama de procedimentos para utilização do Collecta
Fonte: Elaborado pelos autores (2012)

A aplicação da avaliação acadêmica por meio do Collecta permite que as avaliações sejam específicas para a unidade acadêmica, descentralizando o processo de avaliação. Assim, passa a ser possível conhecerem-se as potencialidades e fragilidades específicas do curso, direcionando-se os questionamentos para o perfil do curso e de seus alunos.

O processo aplicado no curso possibilita sua avaliação, permitindo uma análise sobre a perspectiva do discente, nos fatores relacionados, tais como:

a) Desempenho docente;

b) Processos pedagógicos;

c) Desempenho do discente;

d) Formação do currículo do curso;

e) Identificação das fragilidades e potencialidades.

Com as informações prestadas pelos discentes, obtêm-se subsídios para reflexões que auxiliam nas tomadas de decisão para o crescimento da formação pedagógica e na busca da excelência do curso, dos serviços acadêmicas e administrativos. A participação dos discentes faz com que as responsabilidades sejam compartilhadas e as prioridades das atividades a desenvolver sejam identificadas. Assim, apontam-se as insatisfações e, com isso, sua solução pode ser priorizada.

Destaca-se que o propósito principal do Collecta é a Avaliação Institucional, mas ele está preparado para atender a outras necessidades de pesquisas, avaliações e consultas públicas da comunidade universitária.

5 CONCLUSÃO

Procedimentos de avaliações institucionais requerem planejamento e aplicação constantes, devendo ter o apoio institucional e serem conduzidos por equipe de qualidade, com credibilidade e comprometida com o processo. Avaliar é uma atividade utilizada para tomada de decisões, seja para mudança ou para executar novas estratégias na perspectiva da melhora da qualidade dos serviços prestados pela Instituição. Assim, pode-se afirmar que a melhora da qualidade da Instituição está estritamente vinculada à sua avaliação.

De outro modo, é necessário que toda a comunidade universitária aceite e se conscientize da necessidade de uma contínua avaliação institucional, pois a utilização de processos de avaliações contribui para a definição de medidas de melhorias na qualidade dos serviços institucionais. A participação e o comprometimento dos integrantes da comunidade universitária na identificação das potencialidades e fragilidades institucionais permitirão um crescimento coletivo e responsável na busca da Universidade que a sociedade exige.

O direcionamento da aplicação de avaliações para um público-alvo específico concede possibilidade de descentralização do processo avaliativo, permitindo que a avaliação seja realizada para o perfil exclusivo da unidade universitária. Diante desse quadro, identificou-se como solução às demandas de Avaliação Institucional e de apoio à tomada de decisão na UFSC, um Sistema de Informação baseado em computador, que foi denominado de Collecta.

O Collecta tem o objetivo de ser um instrumento importante de coleta, avaliação, gestão de informação e publicação dos resultados da participação da comunidade universitária que, integrado a outros processos avaliativos, seja útil para orientar a gestão administrativa e acadêmica, apoiando processos decisórios. Para isso, é necessário que os gestores se apropriem dos dados coletados para a manutenção da qualidade do ensino, da pesquisa, da extensão e da administração universitária.

Com a utilização do Collecta, procura-se evitar o desperdício de esforço organizacional na realização desordenada de aplicação de avaliações e pesquisas descentralizadas. Com isso, a integração entre os sistemas computacionais administrativos e acadêmicos fica evidente, permitindo a recuperação de dados e informações existentes, sem a constante coleta e duplicação de recursos ora utilizados. A construção de uma série histórica de avaliações e pesquisas e a identificação de ocorrências significativas estará acessível à comunidade universitária, ficando facilitada a análise de alternativas de decisão presentes e a projeção de cenários futuros. O processo terá mais credibilidade com a centralização e propagação das informações e com a relativa diminuição de custos operacionais.

Com a publicação dos resultados, o Collecta disponibiliza as informações à comunidade universitária, que poderão servir de subsídios para a promoção de transformações e melhorias no ensino, na pesquisa, na extensão e na gestão.

Muito ainda há que se fazer e, neste sentido, acredita-se que a utilização dessa ferramenta computacional poderá servir de apoio a decisões gerenciais na UFSC. A partir de dados coletados nas pesquisas e avaliações desta Instituição, o Collecta pode vir a contribuir para a qualidade da educação oferecida e dos serviços prestados para a sociedade pela UFSC.

Certamente, o uso institucional do Collecta mostrará até que ponto ele está adequadamente desenvolvido e quais contribuições significativas trará à Instituição, na sua aplicação e no apoio que fornecerá à tomada de decisão da gestão acadêmica e administrativa. No futuro, novas implementações devem ser realizadas no sistema Collecta para que necessidades mais específicas sejam supridas.

REFERÊNCIAS

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS- ABNT. NBR ISO/IEC 12207: Tecnologia de informação - Processos de ciclo de vida de software. Rio de Janeiro: 1998.

BRASIL. Presidência da República. Lei n.º 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional (LDB). Casa Civil. Brasília, 1996. Disponível em: . Acesso em: 10 ago. 2015.

______. Presidência da República. Lei n.º 10.172, de 09 de janeiro de 2001. Aprova o Plano Nacional de Educação (PNE). Casa Civil. Brasília, 2001. Disponível em: . Acesso em: 10 ago. 2015.

______. Presidência da República. Decreto-Lei n.º 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências. Casa Civil. Brasília, 2004. Disponível em: . Acesso em: 10 ago. 2015.

BOOCH, G.; RUMBAUGH, J.; JACOBSON, I. UML: guia do usuário. Rio de Janeiro: Elsevier, 2006.

CADORI, A. A. (Org.). Programa de Auto-Avaliação Institucional da Universidade Federal de Santa Catarina - Comissão Própria de Avaliação. Florianópolis: UFSC, 2005.

DAVENPORT, T. H. Ecologia da informação: Por que só a tecnologia não basta para o sucesso na era da informação. São Paulo: Futura, 1998.

GIL, A. C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2007.

LAUDON, K. C.; LAUDON, J. P. Sistemas de informação. Rio de Janeiro: LTC, 1999.

LANER, A. S; CRUZ JUNIOR, J.B. Repensando as organizações: da formação à participação. Florianópolis: Fundação Boiteux, 2004.

MATTAR, F. N. Pesquisa de Marketing: metodologia, planejamento. 5. ed. São Paulo: Atlas, v. 2, 1999.

MERRIAN, S. Qualitative research and case study application in educacion. San Francisco: Jossey-Bass, 1998.

MORAN, The Command Language Grammars: a represetantion for the user interface of interactive computer systems. In: International Journal of Man-Machine Studies, 1981.

PAAI-UFSC. Programa de Auto-Avaliação Institucional, O Modelo Aplicado na UFSC. Colóquio Internacional de Gestión Universitaria en América del Sur, 10. Argentina, 2010. Disponível em: < https://www.google.com.br/search?q=Programa+de+Auto-Avalia%C3%A7%C3%A3o+Institucional,+O+Modelo+Aplicado+na+UFSC&ie=utf-8&oe=utf-8&gws_rd=cr&ei=qcwHV9KHNsWHwgTepJnADA >. Acesso em: 7 set. 2015.

RISTOFF, D. I. et al. A avaliação Institucional da Universidade Federal de Santa Catarina: O projeto. 71f. Florianópolis: UFSC, 1994.

SENGE, P. A quinta disciplina: arte e prática da organização que aprende. Rio de Janeiro: Editora Best Seller Ltda, 1990.

SILVA, E.L.; MENEZES, E.M., Metodologia da pesquisa e elaboração de dissertação. 4. ed. rev. atual. Florianópolis: Laboratório de Ensino a Distância da UFSC, 2005.

SINAES. Ministério da Educação. Comissão Especial de Avaliação. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. Brasília: INEP, 2009.

SOBRINHO, J. D. Avaliação institucional: integração e ação integradora. Revista da Avaliação da Educação Superior, Campinas. v. 2, n. 2, p. 19-29, 1997.

SOMMERVILLE, I. Engenharia de software. Pearson Education do Brasil. 6. ed. São Paulo: Addison-Wesley, 2003.

TRIGUEIRO, M. G. S. A Avaliação institucional nas universidades brasileiras: Diagnósticos e perspectivas. In: Reunião Plenária do Conselho de Reitores das Universidades Brasileiras-CRUB, 63, Fortaleza, 1998, Anais... Brasília: CRUB, p. 7-61, 1998.

TRIPP, D. Pesquisa-ação: uma introdução metodológica. Educação e Pesquisa. São Paulo, 2005. Disponível em: . Acesso em: 15 out. 2015.

TRIVIÑOS, A. Introdução à Pesquisa em Ciências Sociais. São Paulo: Atlas, 1990.

VERGARA, S. C. Projetos e relatórios de pesquisa em administração. 8. ed. São Paulo: Atlas, 2007.

Informação adicional

Sistema de Avaliação: Double Blind Review

Ligação alternative

https://periodicos.ufsc.br/index.php/gual/article/view/1983-4535.2018v11n1p138 (html)