English (United Kingdom)

https://curated-unify.zendy.io/wp-json/zendy-region/v1/featured_content/oa?rat=en

https://curated-unify.zendy.io/wp-json/zendy-region/v1/highlighted_journal/

Global: Zendy Plus annual

Presents the access of premium content as premium feature

Premium Content

Presents the keyphrase highlighting as premium feature

Keyphrase Highlighting

Presents the summarisation as premium feature

Summarisation

Insights

Presents the pdf analysis as premium feature

PDF Analysis

Presents the zaia usage as premium feature

ZAIA

Global: Zendy Tools annual

Global: Zendy Free Plan

Global: Zendy Tools monthly

Global: Zendy Plus monthly

FALEIROS, T. P.. Propagação em grafos bipartidos para extração de tópicos em fluxo de documentos textuais. 2016. 160 f. Tese (Doutorado em Ciências – Ciências de Computação e Matemática Computacional) – Instituto de Ciências Matemáticas e de Computação (ICMC/USP), São Carlos – SP. Handling large amounts of data is a requirement for modern text mining algorithms. For some applications, documents are published constantly, which demand a high cost for long-term storage. So it is necessary easily adaptable methods for an approach that considers documents flow, and be capable of analyzing the data in one step without requiring the high cost of storage. Another requirement is that this approach can exploit heuristics in order to improve the quality of results. Several models for automatic extraction of latent information in a collection of documents have been proposed in the literature, among them probabilistic topic models are prominent. Probabilistic topic models achieve good practical results, and have been extended to several models with different types of information included. However, properly describe these models, derive them, and then get appropriate inference algorithms are difficult tasks, requiring a rigorous mathematical treatment for descriptions of operations performed in the latent dimensions discovery process. Thus, for the development of a simple and efficient method to tackle the problem of latent dimensions discovery, a proper representation of the data is required. The hypothesis of this thesis is that by using bipartite graph for representation of textual data one can address the task of latent patterns discovery, present in the relationships between documents and words, in a simple and intuitive way. For validation of this hypothesis, we have developed a framework based on label propagation algorithm using the bipartite graph representation. The framework, called PBG (Propagation in Bipartite Graph) was initially applied to the unsupervised context for a static collection of documents. Then a semi-supervised version was proposed which need only a small amount of labeled documents to the transductive classification task. Finally, it was applied in the dynamic context in which flow of textual data was considered. Comparative analyzes were performed, and the results indicated that the PBG is a viable and competitive alternative for tasks in the unsupervised and semi-supervised contexts. Key-words: Learning in bipartite graphs, topic extraction, text data stream, dimensionality reduction. LISTA DE ILUSTRAÇÕES Figura 1 – Modelo Gráfico do LDA. . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Figura 2 – Distribuição variacional aproximada para o modelo LDA. . . . . . . . . . . 54 Figura 3 – Plote da função linear f (x) = x−0.48 e da função f (x) = exp(ψ(x)). Isso indica que a operação exponencial sobre a função digama aproxima uma função linear quando x > 0.48, i.e. exp(ψ(x))≈ x−0.48 se x > 0.48 . . . . 67 Figura 4 – Grafo Bipartido G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 Figura 5 – Propagação local para o vértice d1 . . . . . . . . . . . . . . . . . . . . . . 80 Figura 6 – Propagação global para o vértice w1 . . . . . . . . . . . . . . . . . . . . . 81 Figura 7 – Valor da função objetivo (Equação 3.13) por iterações do algoritmo PBG para os conjuntos de documentos 20ng (esquerda), classic4 (centro) e DmozBusiness (direita). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 Figura 8 – Diagrama de diferença crítica considerando as melhores acurácias para cada algoritmo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Figura 9 – Acurácias de classificação obtidas ao longo das execuções dos algoritmos utilizados nos experimentos. Os vetores de características extraídos pelos algoritmos foram usados para a representação da coleção 20ng. . . . . . . . 93 Figura 10 – Acurácias de classificação obtidas ao longo das execuções dos algoritmos utilizados nos experimentos. Os vetores de características extraídos pelos algoritmos foram usados para a representação da coleção classic4. . . . . . 94 Figura 11 – Acurácias de classificação obtidas ao longo das execuções dos algoritmos utilizados nos experimentos. Os vetores de características extraídos pelos algoritmos foram usados para a representação da coleção Dmoz-Business. . 95 Figura 12 – Gráfico em barras dos valores de NPMI para todos os algoritmos com diferentes número de tópicos e conjuntos de dados. . . . . . . . . . . . . . . . . 97 Figura 13 – Acurácia na Classificação: o eixo x representa o número de documentos rotulados por classe e o eixo y representa a acurácia obtida. . . . . . . . . . 112 Figura 14 – Acurácia na Classificação: o eixo x representa o número de documentos rotulados por classe e o eixo y representa a acurácia obtida. . . . . . . . . . 113 Figura 15 – Matriz de gráficos de acurácia comparando as versões online dos algoritmos PBG e LDA para o conjunto de dados 20ng. Cada linha da matriz de gráficos corresponde a um valor de κ ∈ {0.5,0.6,0.7,0.8,0.9}, e cada coluna corresponde a um valor de τ0 ∈ {1,64,256,1024}. Cada gráfico mostra a acurácia obtida considerando o número de documentos que chegaram no fluxo (eixo x) e o valor de acurácia obtidos pelos dois algoritmos (eixo y). A linha (na cor verde) cruzando horizontalmente cada gráfico corresponde a melhor acurácia obtida pelo LDA estático. . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 Figura 16 – Matriz de gráficos de acurácia comparando as versões online dos algoritmos PBG e LDA para o conjunto de dados Dmoz-Business. Cada linha da matriz de gráficos corresponde a um valor de κ ∈ {0.5,0.6,0.7,0.8,0.9}, e cada coluna corresponde a um valor de τ0 ∈ {1,64,256,1024}. Cada gráfico mostra a acurácia obtida considerando o número de documentos que chegaram no fluxo (eixo x) e o valor de acurácia obtidos pelos dois algoritmos (eixo y). A linha (na cor verde) cruzando horizontalmente cada gráfico corresponde a melhor acurácia obtida pelo LDA estático. . . . . . . . . . . . . . . . . . . 131 Figura 17 – Matriz de gráficos de acurácia comparando as versões online dos algoritmos PBG e LDA para o conjunto de dados classic4. Cada linha da matriz de gráficos corresponde a um valor de κ ∈ {0.5,0.6,0.7,0.8,0.9}, e cada coluna corresponde a um valor de τ0 ∈ {1,64,256,1024}. Cada gráfico mostra a acurácia obtida considerando o número de documentos que chegaram no fluxo (eixo x) e o valor de acurácia obtidos pelos dois algoritmos (eixo y). A linha (na cor verde) cruzando horizontalmente cada gráfico corresponde a melhor acurácia obtida pelo LDA estático. . . . . . . . . . . . . . . . . . . 132 Figura 18 – Normalizações do vetor X = [0.3,0.2,0.15,0.01] . . . . . . . . . . . . . . . 134