| Title: | Metody statistické sémantické analýzy |
| Other Titles: | Statistical Semantic Analysis Methods |
| Authors: | Steinberger, David |
| Advisor: | Konopík Miloslav, Ing. Ph.D. |
| Referee: | Zelinka Jan, Ing. PhD. |
| Issue Date: | 2016 |
| Publisher: | Západočeská univerzita v Plzni |
| Document type: | diplomová práce |
| URI: | http://hdl.handle.net/11025/23695 |
| Keywords: | word2vec;distribuční hypotéza;zpracování přirozeného jazyka;sémantická podobnost;umělé neuronové sítě;sémantické vektory slov |
| Keywords in different language: | word2vec;vector space model;distributional hypothesis;nlp;semantic similarity;artificial neural networks;word embeddings |
| Abstract: | Tato práce se zabývá statistickou sémantickou podobností a zaměřuje se na nástroj word2vec. Byla navržena rozšíření s ohledem na český jazyk založená na stemmování a n-gramech znaků. Výsledky této práce podávají na českém jazyce o 12% lepší výsledky než původní model. Na anglickém jazyce bylo dosaženo zlepšení o 3%. Nový model poskytuje dobré výsledky i při velmi malém množství trénovacích dat. V rámci práce byly vytvořeny dva trénovací korpusy a jedna obsáhlá testovací datová sada založená na podobnosti dvojic slov. Sada byla získána z 9 různých zdrojů dvojic slov, obsahuje slova v kontextech, odlišuje podobnost a souvislost slov. Výsledná mezi anotátorská shoda dosáhla korelaci 0,81, která je plně srovnatelná s anglickými datovými sadami. |
| Abstract in different language: | The thesis deals with statistic semantic similarity focused on the word2vec tool. It introduces extensions for the Czech language based upon stemming and character n-grams. The achieved results improve the original tool by 12% on the Czech language and by 3% on English. The new model is providing good results even on small training data. In this thesis, we introduce two new training corpora and one large dataset based on similarity of word pairs. The dataset is compiled from 9 differenet sources, it contains words in their contexts, it distinguishes between the similarity and relatedness of the word pairs. The final inter-rater agreement reaches 0.81 correlation, which is fully comparable with english datasets. |
| Rights: | Plný text práce je přístupný bez omezení. |
| Appears in Collections: | Diplomové práce / Theses (KIV) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| D.Steinberger.Metody.statisticke.semanticke.analyzy.pdf | Plný text práce | 2,04 MB | Adobe PDF | View/Open |
| A13N0095Pposudek-op.PDF | Posudek oponenta práce | 593,82 kB | Adobe PDF | View/Open |
| A13N0095Phodnoceni-ved.PDF | Posudek vedoucího práce | 372,23 kB | Adobe PDF | View/Open |
| A13N0095Pobhajoba.PDF | Průběh obhajoby práce | 203,05 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/23695Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.