Title: Inkrementální shlukování zpravodajských textů
Other Titles: Incremental news clustering
Authors: Váňa, Martin
Advisor: Steinberger Josef, Doc. Ing. Ph.D.
Referee: Brychcín Tomáš, Ing. Ph.D.
Issue Date: 2018
Publisher: Západočeská univerzita v Plzni
Document type: diplomová práce
URI: http://hdl.handle.net/11025/31803
Keywords: inkrementální shlukování;shlukovací metody založené na statistických modelech;nv-measure;gensim;zpracování přirozeného jazyka;strojové učení;distance dependent chinese restaurant process;doc2vec
Keywords in different language: incremental clustering;model-based clustering;nv-measure;gensim;natural language processing;machine learning;distance dependent chinese restaurant process;doc2vec
Abstract: Cílem práce bylo prozkoumat možnosti shlukovacích metod založených na statistických modelech, zejména metodu založenou na Distance Dependent Chinese Restaurant Process (ddCRP), a navrhnout shlukovací systém, který bude schopný udržovat tematické shluky zpravodajských textů, které budou postupně přicházet z crawleru. Metody LDA, LSA a doc2vec byly použity k reprezentaci dokumentu jako číselný vektor fixní délky. Výsledné shluky odhalené proof-of-concept implementací takového systému byly vyhodnoceny zejména pomocí purity, F-measure a V-measure. Dále byla představena evaluační metrika NV-measure vycházející z V-measure, které penalizuje nadměrné či naopak nedostatečné množství shluků. Nejlepších výsledků bylo dosaženo pomocí doc2vec a ddCRP.
Abstract in different language: The goal was to research model-based clustering methods, notably the Distance Dependent Chinese Restaurant Process (ddCRP), and propose an incremental clustering system which would be capable of maintaining the growing number of topic clusters of news articles coming online from a crawler. LDA, LSA, and doc2vec methods were used to represent a document as a fixed-length numeric vector. Cluster assignments given by a proof-of-concept implementation of such a system were evaluated using various metrics, notably purity, F-measure and V-measure. A modification of V-measure -- NV-measure -- was introduced in order to penalize an excessive or insufficient number of clusters. The best results were achieved with doc2vec and ddCRP.
Rights: Plný text práce je přístupný bez omezení
Appears in Collections:Diplomové práce / Theses (KIV)

Files in This Item:
File Description SizeFormat 
thesis.pdfPlný text práce2,45 MBAdobe PDFView/Open
A15N0083Pposudek-op.PDFPosudek oponenta práce877,62 kBAdobe PDFView/Open
A15N0083Phodnoceni-ved.PDFPosudek vedoucího práce379,56 kBAdobe PDFView/Open
A15N0083Pobhajoba.PDFPrůběh obhajoby práce208,12 kBAdobe PDFView/Open


Please use this identifier to cite or link to this item: http://hdl.handle.net/11025/31803

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.