Um banco de dados é uma “[...] coleção de dados que geralmente descrevem as atividades de uma ou mais organizações relacionadas” (RAMAKRISHNAN; GEHRKE, 2000, p. 3, tradução do autor)^[1]. Num sentido mais amplo, um banco de dados é um conjunto de dados integrados que atendem a um conjunto de sistemas ou uma comunidade de usuários (HEUSER, 1998).

Para manter um banco de dados são utilizados os Sistemas de Gerenciamento de Banco de Dados (SGBDs). Esses sistemas reúnem funções que são comuns a diversas aplicações de forma a facilitar o desenvolvimento destas. Segundo Silberschatz, Korth e Sudarshan (2006, p. 1), “[u]m Sistema de Gerenciamento de Banco de Dados [...] é uma coleção de dados inter-relacionados e um conjunto de programas para acessar esses dados”. Heuser (1998, p. 4) define um SGBD como um “software que incorpora as funções de definição, recuperação e alteração de dados em um banco de dados”.

O termo Descoberta de Conhecimento em Bases de Dados refere-se ao processo de busca e extração de conhecimento de grandes bases de dados. Fayyad, Piatetsky-Shapiro e Smyth (1996 apud GOLDSCHMIDT, 2005) definem o KDD como “[...] um processo, de várias etapas, não trivial, interativo e iterativo, para a identificação de padrões compreensíveis, válidos, novos, e potencialmente úteis a partir de grande conjunto de dados”. Para Frawley, Piatetsky-Shapiro e Matheus (1992, p. 58, tradução do autor), “a descoberta de conhecimento é a extração não-trivial de informações implícitas, previamente desconhecidas e potencialmente úteis de dados”^[2]. As informações extraídas são utilizadas “[...] para aumentar os ganhos, reduzir os custos ou melhorar o desempenho do negócio [...]”, por exemplo, (THOMÉ, s.d., p. 11).

De acordo com Fayyad, Piatetsky-Shapiro e Smyth (1996), o KDD possui os seguintes passos (também apresentados na Figura 1):

Figura 1
Visão geral dos passos que compõem o processo de KDD
Fonte: Adaptado de Fayyad, Piatetsky-Shapiro e Smyth (1996).

• Seleção: é a definição do objetivo do processo do ponto de vista do usuário. Envolve a compreensão do domínio da aplicação e de conhecimentos prévios relevantes;

• Dados alvo: a criação de um conjunto de dados alvo inclui a seleção de um conjunto de dados ou o foco num subconjunto de variáveis ou amostra de dados, no qual a descoberta será realizada;

• Pré-processamento: pode incluir remoção de ruído, reunião de informações necessárias para a modelagem ou correção de ruído e decisão de estratégias para lidar com dados ausentes;

• Redução e projeção de dados: consiste em encontrar características úteis para representar os dados dependendo do objetivo da tarefa. Com métodos de redução ou transformação da dimensionalidade, o número de variáveis consideradas pode ser reduzido ou representações invariantes para os dados podem ser encontradas;

• Decisão de método de mineração de dados: escolha de um método específico (sumarização, classificação, regressão, agrupamento, etc.) que condiga com os objetivos do processo;

• Análise e modelo exploratório e seleção de hipótese: escolha do algoritmo de mineração de dados e do método de seleção a ser usado na busca de padrões. Inclui a decisão de modelos e parâmetros apropriados.

• Mineração de dados: é a procura de padrões de interesse numa forma representacional específica ou num conjunto dessas representações. Inclui regras ou árvores de classificação, regressão e agrupamento. Esse passo depende significantemente do bom desempenho dos anteriores;

• Interpretação/avaliação: interpretação dos padrões minerados, com possível retorno a algum passo anterior para interação adicional. Pode envolver a visualização dos padrões e modelos extraídos ou a visualização dos dados tendo em conta os modelos extraídos;

• Ação sobre o conhecimento descoberto: é o uso direto do conhecimento, incorporando-o em outro sistema para ação futura ou documentando-o e relatando para os interessados. Envolve a verificação e resolução de potenciais conflitos com conhecimentos anteriores.

Conforme dito acima, a Mineração de Dados é a principal etapa do KDD, quando ocorre a busca por padrões de interesse.

Para Silberschatz, Korth e Sudarshan (2006, p. 496), o termo mineração de dados “[...] refere-se, em geral, ao processo de analisar grandes bancos de dados de forma semiautomática para encontrar padrões úteis”. Segundo Castro e Ferrari (2016), o termo mineração de dados diz respeito à exploração de uma base de dados por meio de algoritmos para obtenção do conhecimento, em uma alusão à extração de minerais preciosos (conhecimento) em uma mina (base de dados).

Na Mineração de Dados definem-se algoritmos e técnicas a serem aplicados no problema em questão. Redes neurais, algoritmos genéticos, modelos estatísticos e probabilísticos e árvores de decisão são exemplos de técnicas utilizadas (GOLDSCHMIDT; PASSOS, 2005; CASTRO; FERRARI, 2016).

Os dois principais objetivos da Mineração de Dados são a predição e a descrição. O primeiro envolve o uso de variáveis ou campos do banco de dados para predizer valores desconhecidos ou futuros de outras variáveis. O segundo trata da descoberta de padrões que descrevam os dados e sejam interpretáveis por humanos (FAYYAD; PIATETSKY-SHAPIRO; SMYTH, 1996).

Fayyad, Piatetsky-Shapiro e Smyth (1996) listam as seguintes tarefas de Mineração de Dados:

• Classificação: descoberta de uma função que mapeie (classifique) um item de dados em um conjunto de classes pré-definidas;

• Regressão: descoberta de uma função que mapeie um item de dados em uma variável de predição de valor real;

• Agrupamento (clusterização): identificação de um conjunto finito de categorias (clusters) que descrevam os dados;

• Sumarização: busca de uma descrição compacta para um subconjunto de dados;

• Modelagem de dependência: busca de um modelo que descreva as dependências significativas entre as variáveis;

• Detecção de mudança e desvio: descoberta das mudanças mais significativas nos dados a partir de valores normativos ou previamente medidos.

Goldschmidt e Passos (2005, p. 13) acrescentam ainda dois itens a essa lista: a descoberta de associação, que consiste na “[...] busca de itens que frequentemente ocorram de forma simultânea em transações do banco de dados”; e a descoberta de sequências, uma extensão da anterior, “[...] em que são buscados itens frequentes considerando-se várias transações ocorridas ao longo de um período”.

A Mineração de Dados pode ser usada em análises de crédito, análise de concorrentes, descoberta de produtos que são comprados em conjunto, descobertas de causas etc. (SILBERSCHATZ; KORTH; SUDARSHAN, 2006). Carvalho (2005, p. 3) indica o uso para “[...] descobrir relações entre produtos, classificar consumidores, prever vendas, localizar áreas geográficas potencialmente lucrativas para novas filiais, inferir necessidades, entre outras”.

A Mineração de Textos, também chamada de Mineração de Dados em Textos ou Descoberta de Conhecimento em Textos (Knowledge Discovery in Texts - KDT), é uma variante da Mineração de Dados. É o processo de extração de padrões ou conhecimento não-trivial, inesperado, útil e de interesse de documentos de texto não-estruturado (TAN, 1999).

Diferentemente da Mineração de Dados, a Mineração de Textos suporta conjuntos de dados não-estruturados e semiestruturados, como correios eletrônicos, arquivos HTML e documentos de texto em geral (VIJAYARANI; MUTHULAKSHMI, 2013). Oliveira et al. (2004) indicam usos da Mineração de Textos em estudos econômicos, descobrindo associações entre países e organizações ou realizando previsões sobre tecnologias, e na Internet, revelando associações, autoridades e eixos (hubs) de alguma área, por exemplo.

Com o aumento do uso da Internet e a necessidade de técnicas especializadas para atender a este domínio, surgiram variações tais como: mineração web (LIU, 2007) e mineração de opiniões em redes sociais (JAVA, 2007; LIU, 2010; LIU, 2012).

A descoberta de associação é uma das tarefas de mineração de dados. De acordo com Castro e Ferrari (2016, p. 235), “[a] mineração de regras de associação é uma técnica usada na construção de relações sob a forma de regras entre itens de uma base de dados transacional”. Uma regra de associação possui o formato X → Y, onde X e Y são conjuntos de itens de um conjunto de transações e não compartilham itens em comum (CASTRO; FERRARI, 2016; ZHENG; KOHAVI; MASON, 2001). Uma regra de associação pode ser lida como “se X então Y” ou “X implica em Y” (ZHENG; KOHAVI; MASON, 2001).

Como nem toda regra de associação descoberta num conjunto de transações é relevante, costuma-se indicar ao algoritmo de mineração certas limitações, como suporte ou confiança mínimos.

O suporte de um conjunto de itens é a porcentagem de transações no conjunto de transações que contém o conjunto de itens. Da mesma forma, o suporte de uma regra é a porcentagem de transações que a satisfazem. Um conjunto de itens ou uma regra é frequente quando seu suporte é maior que o suporte mínimo (ZHENG; KOHAVI; MASON, 2001).

A confiança de uma regra é “o número de transações que ela prediz corretamente proporcionalmente às transações para as quais ela se aplica” (CASTRO; FERRARI, 2016, p. 236). Equivale à probabilidade de uma transação conter Y se ela contém X, para uma regra X → Y (ZHENG; KOHAVI; MASON, 2001). Uma regra é segura se sua confiança é mais alta que uma confiança mínima dada (ZHENG; KOHAVI; MASON, 2001).

De acordo com Castro e Ferrari (2016), a descoberta de regras de associação pode ser executada por diferentes algoritmos, muitos deles variações do pioneiro Apriori.

O Apriori foi proposto como algoritmo de descoberta de regras de associação por Agrawal e Srikant em 1994 (SUMITHRA; PAUL, 2010). Ele emprega busca em profundidade e gera conjuntos de itens candidatos de k elementos a partir de conjuntos com k - 1 elementos (CASTRO; FERRARI, 2016). O algoritmo é composto de duas etapas: geração de conjunto de itens frequentes e geração das regras (CASTRO; FERRARI, 2016; ZHENG; KOHAVI; MASON, 2001).

O Apriori segue o princípio de que, se um conjunto de itens é frequente, qualquer subconjunto seu também é frequente. De outra maneira, se um conjunto de itens não é frequente, qualquer sucessor seu também não o é (CASTRO; FERRARI, 2016; ZHENG; KOHAVI; MASON, 2001). Assim, o algoritmo utiliza apenas os conjuntos itens frequentes de k - 1 elementos para encontrar os conjuntos frequentes de k elementos, aumentando sua eficiência (CASTRO; FERRARI, 2016; SUMITHRA; PAUL, 2010).

A criação do banco de dados realizou-se em quatro etapas: pesquisa, exportação, seleção e inserção, conforme apresentado na Figura 2 e explicado na sequência.

Figura 2
Metodologia adotada para criação do banco de dados
Fonte: Elaborado pelos autores.

Na primeira etapa, buscou-se por artigos na coleção principal da WoS com a sintaxe "text mining" OR "text based" AND "information retrieval" NOT sentiment* AND tool* NOT emotion* NOT opinion* no dia 1 de março de 2016 e obtiveram-se 2.829 resultados. Após o uso de filtros (Quadro 1), recuperaram-se 1.193 referências condizentes com o escopo da pesquisa.

Quadro 1
Filtros utilizados na pesquisa

Fonte: Elaborado pelos autores, com base nos filtros disponíveis na WoS em 01 mar. 2016.

Na etapa de exportação, as referências foram salvas em 3 arquivos formato BibTeX (bib), uma vez que a interface WoS possui um limite de 500 referências por exportação. O BibTeX foi escolhido devido a familiaridade do bolsista com a linguagem.

Na seleção, os dados foram tratados por uma aplicação desenvolvida em linguagem C, utilizando-se o compilador do ambiente Minimalist GNU for Windows (MinGW). A aplicação tem o objetivo de recuperar os dados (pelos campos selecionados) no arquivo BibTeX, identificando-os pelas marcações da linguagem, com o objetivo de alimentar um banco de dados que será utilizado para a Mineração de Dados.

As ferramentas e métodos adotados em cada trabalho (documento recuperado) não são apontados pelo BibTeX em um campo exclusivo. Em tais casos, a aplicação pesquisou no campo abstract por termos de listas (de ferramentas e de métodos) elaboradas previamente. A lista de ferramentas baseou-se nos sites KDnuggets e Predictive Analytics Today, em um total de 138 ferramentas pesquisadas em 15 de março de 2016. A lista de métodos foi concebida usando os métodos disponíveis no programa Weka (versão 3.8), em um total de 66 métodos. A busca por ferramentas também foi feita no campo funding-text.

A inserção dos dados recuperados pela aplicação proposta ocorreu no banco de dados que havia sito previamente elaborado utilizando o MySQL Server versão 5.7.9 para sistema Windows.

Após a concepção, o banco de dados foi explorado a fim de identificar características dos registros. As análises foram realizadas por meio do uso de comandos SQL utilizando o MySQL Command Line Client 5.7. As listas resultantes foram copiadas para arquivos CSV para posterior análise em linguagem R.

Além disso, preparou-se uma planilha para relacionar os periódicos e termos de indexação. A elaboração da planilha baseou-se em lista de termos utilizados por periódico recuperada do banco de dados. Os dados dessa planilha foram utilizados como alvo da descoberta de associação com o Apriori.

Com base nas características levantadas, o método escolhido para a mineração do banco de dados foi a descoberta de associação usando o algoritmo Apriori na linguagem R (versão 3.3.1). O método foi aplicado na planilha de periódicos e termos criada anteriormente.

No ambiente da linguagem R, a biblioteca arules foi utilizada para a aplicação do Apriori com suporte mínimo de 5% e confiança mínima de 90%, conforme Figura 3. O valor do suporte mínimo foi escolhido considerando a diversidade dos dados da planilha. São 1881 termos de indexação e 280 periódicos; o maior suporte entre os termos é de 23,5714% e o menor é de 0,3571%; o suporte médio é de 0,9087%.

Figura 3
Aplicação do apriori na ferramenta R
Fonte: Elaborado pelos autores.

Foram obtidas 13 regras de associação, conforme indicação e análise na seção de resultados.