Resumo:
Objetivo: Analisar a consistência da indexação em catálogos online das BUs da Universidade do Estado do Pará (UEPA), Universidade Federal do Oeste do Pará (UFOPA), Universidade Federal do Pará (UFPA), Universidade Federal do Sul e Sudeste do Pará (UNIFESSPA), Instituto Federal do Pará (IFPA) e Universidade Federal Rural da Amazônia (UFRA).
Metodo: Mensurar o grau de consistência entre os registros utilizando a avaliação extrínseca mediante a interconsistência em catálogos online. Calculou-se o índice de consistência rígido e relaxado entre os registros por meio da equação de consistência adaptada por Gil Leiva (2008), a partir da fórmula de Hooper (1965), e readaptada no presente estudo para abranger uma amostra de 10 ensaios obtidos nos catálogos das seis BUs analisadas.
Resultado: O índice de consistência rígido é baixo em relação ao índice de consistência relaxado que apresentou valores maiores, pois o índice de consistência rígido apresenta um intervalo que varia 5,83 a 3,33. Já o índice de consistência relaxado apresentou maior variação com um intervalo de 33,5 a 19,5. Verifica que o índice de consistência rígido apresenta média de 24,8 e o índice de consistência relaxado tem média de 24,05%.
Conclusões: A catalogação de assuntos apresenta em alguns momentos termos concordantes e divergentes nos catálogos online das BUs. A variação na atribuição dos termos entre os indexadores se deve a inexistência de política de indexação formalizada. Constata a validade da avaliação extrínseca mediante a interconsistência para verificação do grau de consistência dos registros.
Palavras-chave:IndexaçãoIndexação,Avaliação da interconsistênciaAvaliação da interconsistência,Índice rígidoÍndice rígido,Índice relaxadoÍndice relaxado,Catálogos onlineCatálogos online.
Abstract:
Objective: To analyze the consistency of indexing in online catalogs of BUs at the State University of Pará (UEPA), Federal University of Western Pará (UFOPA), Federal University of Pará (UFPA), Federal University of the South and Southeast of Pará (UNIFESSPA ), Federal Institute of Pará (IFPA) and Federal Rural University of the Amazon (UFRA).
Method: Measure the degree of consistency between records using extrinsic evaluation through interconsistency in online catalogs. The rigid and relaxed consistency index between the records was calculated using the consistency equation adapted by Gil Leiva (2008), using Hooper's formula (1965), and readapted in the present study to cover a sample of 10 tests obtained in the catalogs of the 6 BUs analyzed.
Result: The rigid consistency index is low in relation to the relaxed consistency index that presented higher values, since the rigid consistency index has an interval that varies from 5.83 to 3.33. The relaxed consistency index, on the other hand, showed greater variation with an interval of 33.5 to 19.5. It verifies that the rigid consistency index has an average of 24.8 and the relaxed consistency index has an average of 24.05%.
Conclusions: The cataloging of subjects at times presents concordant and divergent terms in the online catalogs of BUs. The variation in the attribution of terms between the indexers is due to the lack of a formal indexation policy. It verifies the validity of the extrinsic evaluation through interconsistency to check the degree of consistency of the records.
Keywords: Indexing, Evaluation of interconsistency, Rigid index, Relaxed content, Online catalogs.
Artigos
Avaliação extrínseca mediante a interconsistência nos catálogos das bibliotecas universitárias da amazônia brasileira: UFPA, UFOPA, IFPA E UFRA
Extrinsic evaluation through interconsistency in the catalogs of university libraries in the Brazilian Amazon: UFPA, UFOPA, IFPA and UFRA
Letícia Lima de SOUSA leticia.sousa@ufra.edu.br
Thiago Henrique Bragato BARROS bragato.barros@ufrgs.br
Franciele Marques REDIGOLO francieleredigolo@gmail.com
Mariângela Spotti Lopes FUJITA fujita@marilia.unesp.br
Recepção: 09 Outubro 2019
Aprovação: 05 Fevereiro 2020
Publicado: 17 Abril 2020
A representação da informação é composta por dois processos que se complementam, a Representação Descritiva da Informação (RDI) e a Representação Temática da Informação (RTI). A RDI consiste na identificação dos elementos físicos do documento, tais como, autor, título, local, editora e data de publicação. A RTI determina os pontos de acesso quem permitem a identificação do assunto tratado (MARTINHO; FUJITA, 2010).
Ao longo da história da indexação é possível ver que já era praticada por diversas bibliotecas passando por profundas mudanças a partir do avanço das pesquisas sobre formas de organizar a informação para torna-la acessível. O quadro 1 sintetiza os aspectos relevantes:
Foi no século XX que o processo de organização do conhecimento se desenvolveu, mais acentuadamente, surgindo a pesquisa bibliográfica intensiva e aprofundada, que levou a necessidade de realizar a RTI a fim de facilitar a recuperação e reafirmou o papel das bibliotecas como instituições promotoras da organização e representação do conhecimento (SHERA; EGAN, 1969).
A organização e representação do conhecimento é formada por dois conceitos essenciais: a organização do conhecimento e a representação do conhecimento. As atividades de organizar e representar o conhecimento resultaram na criação de instrumentos, processos e produtos (FUJITA, 2008).
Foram criados os sistemas de classificação de assunto, como o Dewey Decimal Classification (DDC) por Dewey (1876), objetivando organizar os livros nas estantes por assunto, indexação alfabética de Cutter, o sistema de classificação da Library of Congress, Uniterm e KWIC (GUIMARÃES, 2008). Outras ferramentas de representação do conhecimento foram criadas por Kaiser (1911), Metcalfe (1959), Coates (1960), Ranganathan (1965), Lynch e Petrie (1973), Austin (1974), Farradane (1977) e Craven (1978), dentre outros. Silva e Fujita (2004) destacaram os principais teóricos e suas contribuições, sintetizadas no quadro 2:
A prática da indexação se insere na Ciência da Informação (CI), pois é um campo voltado para a prática profissional e promotora de questionamentos sobre a efetiva comunicação da informação, especialmente, do registro do conhecimento humano no contexto social, organizacional e individual para propiciar o seu uso (SARACEVIC, 2009). Portanto, para que o conhecimento esteja acessível necessita ser representado dentro de um determinado contexto institucional como, por exemplo, as Bibliotecas Universitárias (BUs).
A BU é uma entidade de caráter orgânico formado de pessoas, coleções e instalações com o propósito de auxiliar seus usuários no processo de transformação da informação em conhecimento (AMERICAN LIBRARY ASSOCIATION, 1986)[1].
A BU é um sistema de informação que integra um sistema maior chamada universidade que propicia a geração do conhecimento objeto de estudo do ambiente universitário (FUJITA, 2005). O objetivo da BU é a disseminação da informação (MACEDO, 1992). Para cumprir seu papel com excelência a BU deve articular suas ações com a missão, finalidade e objetivos da universidade (ORERA ORERA, 2007).
A biblioteca é um subsistema da universidade e seu processo avaliativo não pode ser isolado sendo parte das Instituições de Ensino Superior (IES). A avaliação de um serviço de informação se constitui em um exercício ineficaz se não for pensada, essencialmente, com o objetivo de identificar meios de promover a melhoria dos serviços e produtos ofertados (LANCASTER, 1996).
Assim, a BU como um serviço de informação tem o papel de suprir as necessidades informacionais de seus usuários internos e externos. Para o cumprimento de sua missão adquire, processa tecnicamente a informação (RDI e RTI) e disponibiliza os materiais informacionais a comunidade.
O foco de análise desta pesquisa foi o resultado do processo de indexação, a representação temática em catálogos online de bibliotecas universitárias. Os catálogos online são uma fonte de informação valiosa para pesquisar materiais informacionais presentes no acervo, mostrando o que existe nas coleções das bibliotecas. As bibliotecas da Universidade do Estado do Pará (UEPA), Universidade Federal do Oeste do Pará (UFOPA), Universidade Federal do Pará (UFPA), Universidade Federal do Sul e Sudeste do Pará (UNIFESSPA), Instituto Federal do Pará (IFPA) e Universidade Federal Rural da Amazônia (UFRA) encontram-se inseridas no contexto amazônico com acervo distinto e tem como característica em comum o fato de serem Bibliotecas Universitárias (BUs). A partir disso é feito o seguinte questionamento: qual é o grau de consistência entre os registros presentes nos catálogos online das bibliotecas do contexto amazônico?
O objetivo geral é contribuir para o estudo da prática de indexação e da avaliação da indexação no contexto da RTI em BUs. Quanto aos objetivos específicos visa realizar um estudo teórico e metodológico sobre a indexação e sua avaliação situando-os no contexto das BUs, realizar uma análise comparativa da indexação realizada nos catálogos online das BUs, analisar a consistência enquanto indicador de qualidade da indexação em catálogos online das bibliotecas da UEPA, UFOPA, UFPA, UNIFESSPA, IFPA e UFRA e testar a aplicabilidade da avaliação da indexação utilizando como instrumento a avaliação extrínseca quantitativa em catálogos online.
A política de indexação surge em um cenário de necessidade crescente de critérios que possibilitem o elo entre indexação e recuperação da informação. Fujita (2012, p. 22) define política de indexação como “[...] um conjunto de procedimentos, materiais, normas e técnicas orientadas por decisões que refletem a prática e princípios teóricos da cultura organizacional de um sistema de informação”.
Carneiro (1985) explicita que os objetivos da política de indexação são definir quais são as variáveis que influenciam o desempenho do sistema de recuperação da informação, estabelecer critérios e princípios que guiarão a tomada de decisões para garantir maior eficiência, racionalização dos processos e a consistência das operações.
Ao longo do longo do tempo foram estabelecidas políticas de indexação. Posteriormente, surgiram também formas de avaliar essas políticas para verificar sua eficiência e eficácia na recuperação da informação, resultando no estabelecimento de variáveis que permitem sua avaliação, tais como, exaustividade, precisão (especificidade) na indexação e especificidade (precisão) na recuperação e consistência da indexação.
A exaustividade na indexação pode ser entendida como o uso de termos em quantidade suficiente para representar os conceitos importantes no documento. Já a exaustividade na recuperação da informação se relaciona a recuperação exaustiva de documentos que podem ser considerados úteis para responder à pergunta, é também denominada de revocação (PIOVEZAN, 2015).
, Para Lancaster (2004) uma indexação exaustiva trata do emprego de termos em quantidade suficiente abrangendo o conteúdo temático principal do documento. Quanto maior o número de termos utilizados para indexar o documento, mais acessível ele se tornará e será recuperado com mais frequência.
Martínez Tamayo e Valdez (2008) corroboram com a visão de Lancaster ao afirmarem que a indexação se refere à quantidade de termos que são dados a um documento. Quanto maior o quantitativo de termos atribuídos maior será a possiblidade de recuperação deste. Também existe a chamada indexação seletiva que atribui menor quantidade de termos ao documento.
Assim, a exaustividade aumenta o grau de revocação no processo de recuperação da informação. Com isso se recupera um gama não só de documentos úteis como de inúteis. Já na indexação seletiva utiliza-se um quantitativo menor de termos havendo maior precisão na indexação que leva a uma recuperação da informação mais eficiente.
A precisão no processo de indexação e recuperação da informação é analisada sob duas perspectivas, precisão na indexação levando em consideração a especificidade e a especificidade na recuperação levando-se em consideração a precisão.
Foskett (1973, não paginado) definiu a especificidade como “a extensão em que o sistema nos permite ser precisos ao especificarmos um documento que estejamos processando”. Para Wellisch (1995, não paginado) “se refere à extensão com a qual um conceito ou tópico em um documento é identificado por um termo preciso na hierarquia de suas relações de gênero-espécie”
Segundo Lancaster (2004) a especificidade do vocabulário controlado é o fator que afeta a precisão de um sistema de recuperação da informação. A indexação e recuperação da informação podem ser específicas variando de acordo com a linguagem do sistema.
Para Van Slype (1991) a especificidade mensura a qualidade na escolha dos descritores os quais correspondem aos conceitos tratados no documento. A especificidade se divide em dois tipos: a especificidade vertical e horizontal. A especificidade vertical trata da exatidão na tradução dos conceitos para descritores levando em consideração o nível hierárquico. O conceito deve ser traduzido para o mesmo nível hierárquico ou no nível imediatamente superior ao tesauro. A especificidade horizontal é a tradução de conceitos compostos para descritores pré-coordenados em preferência à associação de descritores simples. Para Olson e Boll (2001, p. 95) a especificidade se refere ao “nível de detalhamento da terminologia em um vocabulário em termos hierárquicos”.
Carneiro (1985, p. 234) diz que a precisão é a “capacidade do sistema em impedir a recuperação dos documentos não-relevantes”. Quando é feita a pesquisa no sistema os resultados que se apresentam devem ser relevantes para suprir as necessidades de informação.
Gil Urdiciain (1997, p. 277) diz que a “a precisão mede a habilidade [do sistema] de rejeitar material não relevante”. Svenonious (2000, p. 189) “o grau com o qual uma linguagem de assunto é capaz de anular a seleção de documentos irrelevantes na recuperação”.
A precisão segundo Olson e Boll (2001, p. 88) se refere à “habilidade do catalogador de identificar quais conceitos representar e a habilidade do catalogador para traduzir estes conceitos em termos de um vocabulário controlado”.
Hudon (2009, p. 259, tradução nossa) “medida de desempenho de um sistema de informação que define a proporção de documentos relevantes recuperados em comparação com o conjunto que consiste de todos os documentos fornecidos em resposta a um pedido”. Pensando agora no contexto de concordância entre distintos indexadores surge a questão da consistência entre estes.
Zunde e Dexter (1969, p. 259, tradução nossa) dizem que a consistência é “o grau de concordância na representação da informação essencial de um documento por meio de um conjunto de termos de indexação selecionados por cada um dos indexadores de um grupo”.
A consistência conforme Gil Urdiciain (1997, p. 390, tradução nossa) é a “a utilização sempre dos mesmos termos no processo de indexação”. Isto é, haveria certa uniformidade na atribuição dos termos pelos catalogadores no momento da tradução dos conceitos de um determinado documento.
Moreiro González et al. (2004) dizem que é o momento no qual os indexadores expressam o conceito sempre da mesma forma em diferentes catálogos para um mesmo item. Olson e Boll (2001, p. 99, tradução nossa) afirmam que “a consistência requer que itens sobre o mesmo assunto sejam conceitualmente analisados e traduzidos da mesma forma”. Rolling (1981, p. 69) aponta que a consistência “[...] manifesta-se na similaridade dos termos de indexação atribuídos a um dado documento por diferentes indexadores”. Hudon (2009, p. 259) também destaca este aspecto dizendo que a consistência é a “medida de similaridade dos resultados obtidos quando vários são chamados para representar o conteúdo de um documento ou vários documentos sobre o mesmo assunto”.
A consistência na indexação sob a ótica de Lancaster (2004, p. 68) “refere-se à extensão com que há concordância quanto aos termos a serem usados para indexar um documento”.
Realizou-se a pesquisa bibliográfica buscando trabalhos já publicados em âmbito nacional sobre indexação e sua avaliação, na perspectiva da organização e representação do conhecimento. Foram recuperados e analisados os trabalhos de Carvalho, Botelho e Paranhos (1976), Lopes (1985), Vieira (1988), Fujita (1989), Moreiro González et al. (1998), Strehl (1998), Laan et al. (2004), Gil Leiva, Rubi e Fujita (2008), Narukawa, Gil Leiva e Fujita (2009), Boccato e Fujita (2010), Boccato, Fujita e Gil Leiva (2011), Inácio (2012), Silva e Boccato (2012), Fujita e Gil Leiva (2014), Diniz e Martins (2015), Tartarotti, Dal' Evedove e Fujita (2015) e Tartarotti, Dal' Evedove e Fujita (2017).
Carvalho, Botelho e Paranhos (1976) realizaram a avaliação de cinco linguagens de indexação pelos critérios de sensibilidade e especificidade que resultou no valor de eficácia das linguagens. As linguagens avaliadas foram: Unitermo, Engeneering Joint Council Thesaurus, Educational Resouces Information Center Thesaurus, Literature Subject Headings e Thesaurus of Information Science. Os resultados permitiram constatar que a linguagem de indexação livre obteve um bom desempenho assim como a controlada. Recuperou-se mais documentos quando se utilizou a linguagem genérica no momento da elaboração da estratégia de busca havendo alta revocação. O uso de termos mais específicos na busca contribuiu para a recuperação de documentos considerados relevantes. Concluem que o sistema Unitermo é a melhor linguagem de indexação dentre as demais analisadas, pois apresenta maior eficácia.
Lopes (1985) fez um estudo no qual apresentou critérios e medidas para a avaliação da eficácia (custo/eficácia e custo/benefício) de serviços de indexação e resumos. Os critérios empregados para mensurar a eficácia são autoridade, cobertura, revocação, precisão, novidade, esforço do usuário, tempo de resposta, produtos e linguagem de indexação. Já em relação ao custo/eficácia avaliou-se o investimento financeiro para a manutenção do sistema.
Vieira (1988) fez uma análise comparativa entre a qualidade da indexação automática e manual a partir dos estudos nacionais e estrangeiros sobre a temática. Os resultados mostraram que tanto a indexação automática quanto a manual foram consideradas válidas. Conclui que a perspectiva global é o aumento de bases de dados textuais com a diminuição da indexação manual e a criação de vocabulários controlados.
Fujita (1989) fez a avaliação comparativa da eficácia de recuperação do índice de assuntos do sistema PRECIS, mais especificamente, o índice de assuntos de uma Biblioteca Universitária (BU). Os resultados mostraram uma taxa de precisão de 97% para as pesquisas realizadas com o índice PRECIS.
Moreiro González et al. (1998) em sua pesquisa fez a avaliação de repositórios brasileiros em Agricultura, Ciência da Informação e Direito. Foi avaliada a cobertura e a indexação pelos critérios de linguagem, formação específica dos indexadores, aplicação de normas ou diretrizes, profundidade, pertinência e consistência, entre outros.
Strehl (1998) estudou a avaliação da indexação na construção de termos de assunto em uma BU com acervo voltado para artes plásticas, música e teatro. Os critérios para avaliação foram: o número de palavras por descritor, uso de singular e plural, sinônimos, descritores compostos, termos homógrafos ou inconsistentes, rotação dos descritores, relação entre assuntos redundantes, relação de um assunto com sua subcategoria, descritores que indicam período histórico, assuntos compostos por identificadores geográficos e cronológicos. O grau de consistência na indexação foi de 22,34%.
Laan et al. (2004) avaliou os descritores aplicados no processo de indexação de documentos no campo da CI no sistema de automação de bibliotecas da Universidade Federal do Rio Grande do Sul (UFRGS) partindo da teoria comunicativa da terminologia. Perceberam a existência de problemas na determinação dos descritores como, por exemplo, as diferenças conceituais entre os descritores e os termos que aparecem em linguagem natural.
Gil Leiva, Rubi e Fujita (2008) estudaram a avaliação da consistência da indexação usando uma amostra de 30 BUs brasileiras localizadas na região sul e sudeste. A pesquisa apontou índices de consistência que variaram entre 34,4% e 73,3%, para o índice relaxado e entre 9,6% e 60% para o rígido. Concluíram que a variação se deveu ao fato de haver incompatibilidade entre as linguagens documentárias, não atualização destas e a ausência de uma política de indexação.
Narukawa, Gil Leiva e Fujita (2009) trabalharam com avaliação da indexação e da exaustividade e precisão na recuperação da informação analisando, comparativamente, a indexação automática do Sistema de Indización Semi-Automático (SISA) e a indexação manual do Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde (BIREME). Fizeram a avaliação do SISA por meio da análise comparativa entre indexação automática do SISA e indexação manual da BIREME.
Os resultados apontaram os fatores que impossibilitaram a recuperação dos artigos científicos tais como, a dificuldade em atribuir termos compostos, a variação dos termos do artigo científico em relação aos Descritores em Ciências da Saúde (DeCS), a utilização apenas de termos que se relacionavam com o termo relevante e o SISA não atribuiu o termo que está apenas em parte da estrutura do artigo. Concluem que é preciso adequar a linguagem documentária ao software SISA.
Boccato e Fujita (2010) fizeram a avaliação da linguagem documentária alfabética dos catálogos coletivos sob a perspectiva das BUs e no contexto sociocognitivo dos indexadores e usuários de 9 bibliotecas da UNESP das áreas de Ciências Exatas, Ciências Humanas e Ciências Biológicas, respectivamente, das faculdades de Engenharia Civil, Pedagogia e Odontologia. Usaram a abordagem qualitativa-sociocognitiva com protocolo verbal. Os resultados apontaram que a necessidade de criação de um vocabulário controlado específico para a rede UNESP. Concluem que são necessários produtos e instrumentos que representem a necessidade dos usuários.
Boccato, Fujita e Gil Leiva (2011) realizaram um estudo objetivando comprovar a influência das linguagens de indexação e o funcionamento dos sistemas de recuperação. Realizaram uma investigação comparativa entre linguagem natural e linguagem especializada. A metodologia consistiu na utilização na realização de buscas nos catálogos online a fim de verificar a fim de determinar as potencialidades das linguagens de indexação na recuperação utilizando a fórmula de precisão. Concluíram que as linguagens controladas são mais indicadas devido à especificidade terminológica requerida pelo usuário na recuperação da informação que precisa estar disponível para a comunidade.
Inácio (2012) investigou a aplicação do método de avaliação em catálogos online em BUs. O objetivo foi realizar uma investigação teórica e metodológica sobre a Avaliação de indexação com enfoque no contexto das BUs aplicando o método de avaliação intrínseca qualitativa e suas técnicas associadas a técnicas complementares como o protocolo verbal interativo nos catálogos online da Rede UNESP.
Os resultados apontaram escassez de literatura sobre a temática e inexistência de manuais de avaliação da indexação. Conclui que é necessária a realização de avaliação da indexação em BUs a fim de proporcionar benefícios na organização, gerenciamento, otimização de recursos e tempo objetivando alcançar um índice satisfatório de precisão, exaustividade e consistência na indexação.
Silva e Boccato (2012) realizaram um estudo sobre a avaliação dos catálogos das BUs sob uma perspectiva sociocognitiva do usuário. Foi realizado um diagnóstico organizacional com a aplicação de questionários aos diretores de três bibliotecas da Universidade Federal de São Carlos (UFSCar) usando a técnica do protocolo verbal com oito discentes dos cursos de química (licenciatura), ciências biológicas (licenciatura) e pedagogia.
Os resultados mostraram que é preciso a adoção de padrões tanto na representação descritiva quanto na temática, a utilização de uma linguagem documentária única para todas as bibliotecas, constante treinamento no uso do catálogo, melhoria da capacidade de revocação e precisão e a implantação de ferramentas que facilitem a navegação, interconexão. Concluem que as BUs precisam elaborar uma política de indexação a partir de uma visão interacionista com os usuários a fim de construir um sistema de recuperação da informação integrado de forma socio-histórico e cultural.
Fujita e Gil Leiva (2014) fizeram a proposição de diferentes formas de avaliação da indexação. Foram explicitadas as relações entre indexação e recuperação e se descreveu as formas de controle ou avaliações no que se refere à indexação. Realizaram um relato de experiência sobre a avaliação de indexação realizada pelas BUs da UNESP. Os resultados mostraram que há métodos de avaliação antes do ingresso dos documentos na base, tais como, a indexação revisada por especialistas e a indexação avaliada mediante simulação da realidade. Existem também procedimentos avaliativos após o ingresso dos documentos na base como, por exemplo, avaliação intrínseca qualitativa e a avaliação extrínseca mediante a recuperação. O relato de experiência aplicou este último método que permitiu constatar a importância da elaboração de uma política de indexação que estabeleça procedimentos para análise documental que adote uma linguagem que atenda às necessidades tanto do indexador quanto do usuário.
Diniz e Martins (2015) discutiram a consistência da indexação livre dos bibliotecários da área médica com a aplicação do cálculo do índice de consistência. Foi aplicada a análise da indexação em linguagem natural feita a partir dos títulos e resumos. Os resultados apontaram para as divergências entre os valores dos índices de consistência entre os bibliotecários que ocorre devido ao fato da não adoção do vocabulário controlado e a experiência do indexador. Ao final sugeriram que para a obtenção do de índices melhores de consistência é preciso empregar vocabulários controlados como instrumento unificado a fim de padronizar a terminologia no contexto das ciências da saúde.
Tartarotti, Dal' Evedove e Fujita (2015) objetivaram elaborar um tesauro monolíngue em política de indexação. A metodologia utilizada foi a seleção de três artigos de periódicos considerados importantes na literatura a fim de elaborar um tesauro. O resultado da pesquisa propiciou a criação de um tesauro apresentado de duas maneiras: distribuição alfabética e distribuição hierárquica dos termos que se constitui em uma ferramenta relevante para a recuperação da informação. Frisaram também a importância da participação do bibliotecário, especialistas, usuários e gestores na preparação da política de indexação em BUs.
Tartarotti, Dal' Evedove e Fujita (2017) realizaram um estudo da representação temática das obras nos catálogos coletivos online das BUs das universidades federais do nordeste brasileiro. Empregaram a metodologia qualitativa a fim de avaliar a indexação em nove bibliotecas. Os resultados mostraram uma média de 46,99% no índice consistência relaxado e no índice rígido a média foi de 39,21%. Conclui que são necessários mais estudos teórico-metodológicos e em outras regiões objetivando explicitar o panorama recente e mais ampliado referente à qualidade da indexação em sistemas de recuperação da informação das BUs no Brasil.
A partir dos estudos de Gil Leiva (2008) e Gil Leiva, Rubi e Fujita (2008) se percebe que a avaliação da indexação pode ser feita pelo método da avaliação intrínseca ou extrínseca. A avaliação intrínseca “[...] é o conjunto de tarefas centradas no resultado da indexação (descritores, cabeçalhos, subcabeçalhos ou identificadores) com a finalidade de conhecer sua qualidade” (GIL LEIVA, 2008, p. 385, tradução nossa). A avaliação intrínseca pode ser realizada de forma qualitativa e quantitativa.
A avaliação intrínseca qualitativa caracteriza-se por levar em consideração o consenso entre profissionais experientes. São analisados aspectos inerentes à indexação de qualidade, tais como, exaustividade, especificidade, correção e a perspectiva do usuário (GIL LEIVA, 2008). Já a avaliação intrínseca quantitativa “procura conhecer o grau de semelhança entre os indexadores mediante fórmulas matemáticas. Por esse motivo, o grau de consistência será maior quanto mais semelhantes sejam as indexações” (GIL LEIVA; RUBI; FUJITA, p. 236).
A avaliação extrínseca é “[...] o resultado da indexação usada para comparar a indexação de outra unidade de informação mediante os mesmos documentos (interconsistência) ou para investigar a indexação na recuperação (exaustividade e precisão)” (GIL LEIVA, 2008, p. 388, tradução nossa). Existem também dois tipos: avaliação extrínseca mediante a interconsistência e a avaliação extrínseca mediante a recuperação.
A avaliação extrínseca mediante a recuperação “[...] consiste em interrogar duas bases de dados que contém conteúdos idênticos, salvo os campos que abrigam a indexação. Com os resultados obtidos se fazem índices de exaustividade e precisão na recuperação” (GIL LEIVA, 2008, p. 391, tradução nossa).
A avaliação extrínseca mediante a interconsistência investiga a indexação de documentos idênticos de duas ou mais bibliotecas, comparando a indexação realizada por diferentes indexadores para um mesmo documento (TARTAROTTI, DAL' EVEDOVE; FUJITA, 2017). Isto é, o método permite analisar os termos atribuídos por diferentes indexadores para cada documento, propiciando a comparação da indexação dos mesmos itens informacionais feita por indexadores de instituições distintas.
Realizou-se um ensaio controlado para analisar a indexação em seis catálogos das BUs. Foi comparada a indexação nos catálogos online utilizando a avaliação extrínseca mediante a interconsistência. Foi selecionado como amostra um conjunto de 10 obras em comum, existentes nos catálogos online, gerando 10 ensaios. O critério para a seleção amostral dos títulos foi a existência dos registros Machine Readable Cataloging (MARC). Os termos de indexação foram coletados e organizados em planilha Excel a fim de verificar suas similaridades e diferenças. O quadro 3 relaciona as instituições escolhidas por estarem no Estado do Pará para a coleta da amostra.
Para a realização do cálculo da consistência da indexação foi utilizada a equação de consistência adaptada por Gil Leiva (2008) a partir da fórmula de Hooper (1969), na modalidade rígido e relaxado e a obtenção dos índices de consistência interinstitucional.
A fórmula elaborada por Hooper (1969) trata sobre a consistência dos termos atribuídos pelos indexadores:
a consistência da determinação de termos entre dois indexadores expressa como um percentual. O número de termos determinados por ambos os indexadores (C) é dividida pelo número de termos determinados apenas pelo primeiro indexador (A) e o número de termos determinados apenas pelo segundo indexador (B) (WHITE; WILLIS; GREENBERG, 2014, p. 311, tradução nossa).
Em seguida foram realizados os cálculos do índice de consistência entre os registros por meio da equação de consistência adaptada por Gil Leiva, Rubi e Fujita (2008) a partir da fórmula 1 de Hooper (1965):
Tco = Número de termos comuns nas duas indexações
A = Número de termos usados na indexação A
B = Número de termos usados na indexação B
No entanto, na fórmula 2 para a quantidade de bibliotecas foi feita uma adaptação da fórmula 1 a fim de analisar a indexação feita por seis bibliotecas, pois a fórmula anterior trabalha com uma amostra de apenas dois bibliotecas:
A avaliação extrínseca mediante a recuperação permitiu a realização do cálculo de exaustividade e precisão na indexação. De acordo com Gil Leiva (2008, p. 391). “[...] consiste em interrogar duas bases de dados que contêm conteúdos idênticos, salvo os campos que abrigam a indexação. Com os resultados obtidos se fazem índices de exaustividade e precisão na recuperação”.
Calcularam-se dois índices: rígido e relaxado. O rígido ocorre quando o assunto determinado coincide completamente atribuindo-se valor 1 e atribuiu-se 0 quando não há coincidência.
Já o relaxado atribui o peso 1 quando um cabeçalho ou subcabeçalho de assunto de um documento coincide com o assunto de outro documento. Quando ocorre coincidência somente no cabeçalho ou subcabeçalho, considera-se a metade (0,5) e quando não há nenhuma coincidência o valor é 0.
A partir da análise dos 10 títulos em comum percebeu-se que a biblioteca central da UFRA foi a instituição que atribuiu mais termos foram utilizados 132 termos do total de 10 ensaios. Isso significa dizer que quanto mais exaustiva indexação o documento mais vezes será recuperado afetando a precisão. Observou-se que a indexação é feita empregando linguagem natural, ou seja, o indexador utiliza os termos que encontra no documento a ser indexado.
Diante desta constatação pode-se considerar que a indexação da UFRA foi exaustiva corroborando o que Lancaster (2004) e Martínez Tamayo e Valdez (2008) dizem em relação à exaustividade na representação de um documento afirmando que quanto mais exaustiva mais vezes o item será recuperado. Nesta instituição não há uma política de indexação formalizada, isto é, não existe um documento que determine as diretrizes para a realização da indexação.
Já nas demais instituições a indexação foi seletiva com a atribuição de quantidades menores de termos: IFPA (38 termos), UEPA (28 termos), UFPA (18 termos), UFOPA (18 termos) e UNIFESSPA (17 termos). Estas também não possuem política de indexação explicita. Em percentuais, no gráfico 1, e possível verificar o quantitativo de termos empregados. Percebeu-se que a UFRA atribuiu maior quantitativo de termos tendo maior revocação. Já as demais instituições também se encontram representadas contatando-se que houve indexação seletiva havendo maior precisão e menor revocação na recuperação da informação.
O fato da UFRA ter atribuído um número excessivo de termos na indexação exerce influência no índice de consistência como ratifica Lancaster (1996, p.158) ao dizer que “quanto maior é o número de termos, mais difícil é conseguir uma indexação consistente e, portanto, que o vocabulário possa expressar matizes de significado”.
Já as demais instituições (IFPA, UEPA, UFPA, UFOPA e UNIFESSPA) ao atribuírem um número menor de termos foram mais seletivos e mais específicos. É importante destacar que tanto a alta exaustividade quanto à baixa prejudica o índice de qualidade da indexação. O que deve ocorrer é um equilíbrio na atribuição dos termos para representar o assunto propiciando uma recuperação da informação mais satisfatória para o usuário que necessita suprir sua necessidade de informação.
Em relação ao número de termos atribuídos por ensaio verificou-se que o ensaio um apresentou maior quantitativo de termos sendo o mais exaustivo. Os demais ensaios apresentaram quantitativos menores. Isso significa que no ensaio um as instituições empregaram mais termos para fazer a representação temática do item informacional, conforme fica evidente no gráfico 2.
Logo após, realizou-se o cálculo do índice de consistência rígido utilizando a equação de consistência que foi adaptada para o uso com as seis bibliotecas. Para as obras que apresentaram concordância nos termos empregados atribuiu-se pontuação (1) e para aquelas que não tiveram nenhum termo em comum atribuiu-se (0).
Observou-se que a maioria dos termos não apresentaram concordância quando se realizou o cálculo do índice de consistência rígido. A coluna A, B, C, D, E e F são as instituições com as respectivas quantidades de termos empregadas para cada ensaio. A coluna Tco indica o grau de concordância total entre os indexadores. A coluna G mostra o quantitativo de termos atribuídos aos ensaios (somatório de termos por ensaio subtraído pelo valor do Tco) e a coluna Ci é o índice de consistência rígido. Dos 10 ensaios apenas os ensaios 3, 6 e 7 tiveram concordância total os demais ficaram com peso zero, como se observa no quadro 4.
Depois foi calculado o índice de consistência relaxado atribuindo-se três pontuações para os termos. Quando os termos foram iguais completamente, isto é, apresentaram coincidência total, foi atribuído peso 1, quando ocorreu somente no cabeçalho ou subcabeçalho foi atribuída a metade (0,5) e quando não houve nenhuma coincidência atribuiu-se (0). A quantidade de temos atribuídos por ensaio estão nas colunas A, B, C, D, E e F. A coluna Tco são os valores que representam o grau de concordância entre os indexadores na atribuição dos termos. A coluna G é o quantitativo de termos que foi subtraído pelo TCo. Na coluna Ci estão os valores para o índice de consistência relaxado conforme quadro 5.
Em relação aos resultados obtidos no cálculo do índice de consistência relaxado verificou-se que este variou bastante. Isso significa que os indexadores concordaram parcialmente na indexação dos 10 ensaios.
Portanto, percebeu-se que em relação à consistência da indexação feita pelos catalogadores-bibliotecários houve em algumas ocasiões concordância entre os registros indo ao encontro do que Zunde e Dexter (1969), Gil Urdiciain (1997), Olson e Boll (2001), Rolling (1981) e Hudon (2009) destacam sobre a questão da concordância de termos na indexação feita por distintos indexadores.
Ficou evidente que o índice de consistência rígido foi menor em relação ao índice de consistência relaxado. Quanto à média dos índices de consistência acumulados dos 10 ensaios estas são explicitadas nas tabelas 1 e 2. Calculou-se a média para o índice de consistência rígido e relaxado.
Os resultados foram organizados em ordem decrescente constatando-se uma grande discrepância entre a primeira e a última linha da tabela. No caso da tabela 1 foi calculado o índice de consistência rígido mostrando que existe um intervalo que varia 5,83 a 3,33. Já o índice de consistência relaxado apresentou maior variação com um intervalo de 33,5 a 19,5. Verifica-se assim, que o índice de consistência rígido apresenta média de 24,8 e o índice de consistência relaxado tem média de 24,05%.
Os objetivos estabelecidos foram alcançados contribuindo para o estudo da RTI nas BUs. Foi possível por meio da revisão de literatura realizar uma investigação da literatura brasileira sobre avaliação da indexação. Realizou-se uma análise comparativa da indexação nos catálogos online das BUs a fim de verificar a consistência enquanto indicador de qualidade da indexação nos catálogos online das BUs da UEPA, UFOPA, UFPA, UNIFESSPA, IFPA e UFRA. Constatou-se que a avaliação da indexação utilizando a avaliação extrínseca mediante a interconsistência.
A pesquisa mostrou que há validade da equação de consistência de Hopper (1969) a qual, posteriormente, foi adaptada por Gil Leiva (2008) para investigar a aplicabilidade da avaliação de indexação utilizando a avaliação extrínseca mediante interconsistência entre os registros e novamente foi readaptada nesta pesquisa para incorporar um número maior de instituições.
Algo que ainda precisa ser feito é a explicitação por parte das instituições da linguagem de indexação utilizada para realizar a TTI. Estas devem disponibilizar ao público a lista de cabeçalho de assuntos que adotam e a política de indexação. Só assim os usuários poderão usufruir plenamente do acervo no momento da busca nos catálogos online.
A variação na escolha de termos de indexação deve-se ao fato das BUs analisadas não apresentarem uma política de indexação assim como ocorreu na investigação de Gil Leiva, Rubi e Fujita (2008). Os índices de consistência rígido e relaxado possibilitam a mensuração da consistência da indexação realizada pelos diferentes indexadores nos catálogos online das bibliotecas analisadas. Com a realização da avaliação extrínseca mediante a interconsistência, rígido e relaxado, observou-se que as médias dos índices ficaram bem próximas, respectivamente, 24,8% e 24,05%
Concluiu-se que a catalogação de assuntos nos catálogos apresenta em alguns momentos concordância e divergências. Os indexadores escolheram para representar os documentos ora os termos coincidiram com as dos outros indexadores ora os termos divergiram parcialmente ou integralmente. Isso mostra que a indexação é uma atividade intelectual de caráter subjetivo que depende do bibliotecário.
CONTRIBUIÇÃO DE AUTORIA: Concepção e elaboração do manuscrito: L. L. Sousa, T. H. B. Barros, F. M. Redigolo, M. S. L. Fujita Coleta de dados: L. L. Sousa Análise de dados: L. S. Sousa, T. H. B. Barros, F. M. Redigolo, M. S. L. Fujita Discussão dos resultados: L. S. Sousa, T. H. B. Barros, F. M. Redigolo, M. S. L. Fujita Revisão e aprovação: T. H. B. Barros, F. M. Redigolo, M. S. L. Fujita
CONJUNTO DE DADOS DE PESQUISA: Todo o conjunto de dados que dá suporte aos resultados deste estudo foi publicado no próprio artigo.
LICENÇA DE USO: Os autores cedem à Encontros Bibli os direitos exclusivos de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution (CC BY) 4.0 International. Estra licença permite que terceiros remixem, adaptem e criem a partir do trabalho publicado, atribuindo o devido crédito de autoria e publicação inicial neste periódico. Os autores têm autorização para assumir contratos adicionais separadamente, para distribuição não exclusiva da versão do trabalho publicada neste periódico (ex.: publicar em repositório institucional, em site pessoal, publicar uma tradução, ou como capítulo de livro), com reconhecimento de autoria e publicação inicial neste periódico.
PUBLISHER: Universidade Federal de Santa Catarina. Programa de Pós-graduação em Ciência da Informação. Publicação no Portal de Periódicos UFSC. As ideias expressadas neste artigo são de responsabilidade de seus autores, não representando, necessariamente, a opinião dos editores ou da universidade.
EDITORES: Enrique Muriel-Torrado, Edgar Bisset Alvarez, Camila Barros.
