| Title: | Automatická klasifikace dokumentů s podobným obsahem |
| Other Titles: | Automatic Classification of the Documents with the Similar Content |
| Authors: | Hrala, Michal |
| Advisor: | Král, Pavel |
| Referee: | Pluskal, Jan |
| Issue Date: | 2012 |
| Publisher: | Západočeská univerzita v Plzni |
| Document type: | diplomová práce |
| URI: | http://hdl.handle.net/11025/3054 |
| Keywords: | příznakové metody;lemmatizace;maximální entropie;více třídní klasifikace;naivní Bayesův klasifikátor;POS tagging;metoda podpůrných vektorů;klasifikace textu |
| Keywords in different language: | feature selection;lemmatization;maximum entropy;multi-label document classification;naive Bayes classifier;POS tagging;support vector machine;text classification |
| Abstract: | Hlavním cílem práce je prozkoumat metody pro více třídní klasifikaci dokumentů a navrhnout programové řešení pro Českou tiskovou kancelář (ČTK). Více třídní klasifikace je úkol, při kterém jsou dokumenty klasifikovány do více kategorií. Na základě literatury byly vybrány tři klasifikátory, které jsou úspěšně používány v této oblasti: Naivní Bayesův klasifikátor, Support Vector Machine (SVM) a klasifikátor Maximum Entropy. Práce dále zkoumá možnost použití slovních druhů (POS-tagging) pro filtrování slov a lemmatizace pro zlepšení úspěšnosti klasifikace. Práce dále srovnává pět metod pro výběr příznaků: Dokumentová frekvence, Information Gain (IG), Chí-kvadrát test a metodu GSS. Všechny metody jsou vyhodnoceny na českém korpusu novinových článků dodaných ČTK. Na základě výsledků klasifikace je navrženo optimální nastavení klasifikátoru. Pro implementaci klasifikačních metod je použit nástroj MinorThird. Pro lemmatizaci a POS-tagging byl použit nástroj MateTool. |
| Abstract in different language: | The main goal of this work is to study methods for a multi-label document classification and to propose a user friendly software solution for Czech News Agency (ČTK). Multi-label classification is a task, where document is classified in to more than one class. Based on the literature, we have chosen three classifiers that are successfully used in the document classification field: Naive Bayes (NB), Support Vectors Machine (SVM) and Maximum Entropy classifier. We also study the possibility to use Part of Speech (POS) tagging for document word filtration and lemmatization to improve classification accuracy. For the feature selection, five methods are compared: Document Frequency (DF), Information Gain (IG), Mutual Information (MI), Chi-square and GSS methods. All methods are evaluated on the Czech corpus of ČTK newspapers articles. An optimal classifier setting is proposed based on these results. The proposed software solution uses the MinorThird classification tool package as an implementation of the classification methods. We used the Mate tool for lemmatization and POS tagging. |
| Rights: | Plný text práce je přístupný bez omezení. |
| Appears in Collections: | Diplomové práce / Theses (KIV) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| diplomova prace.pdf | Plný text práce | 2,55 MB | Adobe PDF | View/Open |
| A10N0044Pposudek-ved.pdf | Posudek vedoucího práce | 408,3 kB | Adobe PDF | View/Open |
| A10N0044Pposudek-op.pdf | Posudek oponenta práce | 422,48 kB | Adobe PDF | View/Open |
| A10N0044Pprubeh.pdf | Průběh obhajoby práce | 209,66 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/3054Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.