Title: Metody statistické sémantické analýzy
Other Titles: Statistical Semantic Analysis Methods
Authors: Steinberger, David
Advisor: Konopík Miloslav, Ing. Ph.D.
Referee: Zelinka Jan, Ing. PhD.
Issue Date: 2016
Publisher: Západočeská univerzita v Plzni
Document type: diplomová práce
URI: http://hdl.handle.net/11025/23695
Keywords: word2vec;distribuční hypotéza;zpracování přirozeného jazyka;sémantická podobnost;umělé neuronové sítě;sémantické vektory slov
Keywords in different language: word2vec;vector space model;distributional hypothesis;nlp;semantic similarity;artificial neural networks;word embeddings
Abstract: Tato práce se zabývá statistickou sémantickou podobností a zaměřuje se na nástroj word2vec. Byla navržena rozšíření s ohledem na český jazyk založená na stemmování a n-gramech znaků. Výsledky této práce podávají na českém jazyce o 12% lepší výsledky než původní model. Na anglickém jazyce bylo dosaženo zlepšení o 3%. Nový model poskytuje dobré výsledky i při velmi malém množství trénovacích dat. V rámci práce byly vytvořeny dva trénovací korpusy a jedna obsáhlá testovací datová sada založená na podobnosti dvojic slov. Sada byla získána z 9 různých zdrojů dvojic slov, obsahuje slova v kontextech, odlišuje podobnost a souvislost slov. Výsledná mezi anotátorská shoda dosáhla korelaci 0,81, která je plně srovnatelná s anglickými datovými sadami.
Abstract in different language: The thesis deals with statistic semantic similarity focused on the word2vec tool. It introduces extensions for the Czech language based upon stemming and character n-grams. The achieved results improve the original tool by 12% on the Czech language and by 3% on English. The new model is providing good results even on small training data. In this thesis, we introduce two new training corpora and one large dataset based on similarity of word pairs. The dataset is compiled from 9 differenet sources, it contains words in their contexts, it distinguishes between the similarity and relatedness of the word pairs. The final inter-rater agreement reaches 0.81 correlation, which is fully comparable with english datasets.
Rights: Plný text práce je přístupný bez omezení
Appears in Collections:Diplomové práce / Theses (KIV)

Files in This Item:
File Description SizeFormat 
D.Steinberger.Metody.statisticke.semanticke.analyzy.pdfPlný text práce2,04 MBAdobe PDFView/Open
A13N0095Pposudek-op.PDFPosudek oponenta práce593,82 kBAdobe PDFView/Open
A13N0095Phodnoceni-ved.PDFPosudek vedoucího práce372,23 kBAdobe PDFView/Open
A13N0095Pobhajoba.PDFPrůběh obhajoby práce203,05 kBAdobe PDFView/Open


Please use this identifier to cite or link to this item: http://hdl.handle.net/11025/23695

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.