Název: Application of LSTM neural networks in language modelling
Další názvy: Aplikace LSTM neuronových sítí v jazykovém modelování
Autoři: Soutner, Daniel
Müller, Luděk
Citace zdrojového dokumentu: SOUTNER, Daniel; MÜLLER, Luděk. Application of LSTM neural networks in language modelling. In: International conference on image analysis and recognition. Berlin: Springer, 2013, p. 105-112. (Lecture notes in computer science; 8082). ISBN 978-3-642-40584-6.
Datum vydání: 2013
Nakladatel: Springer
Typ dokumentu: article
článek
URI: http://www.kky.zcu.cz/cs/publications/SoutnerD_2013_ApplicationofLSTM
http://hdl.handle.net/11025/16981
ISBN: 978-3-642-40584-6
Klíčová slova: jazykové modelování;rekurentní neuronové sítě;LSTM neuronová síť
Klíčová slova v dalším jazyce: language modelling;recurrent neural networks;LSTM neural networks
Abstrakt: Umělé neuronové sítě se staly standardem v úloze jazykového modelování na malém korpusu. Zatímco dopředné sítě jsou schopné uvažovat pouze konstantní počet slov historii pro předpovídání slova následujícího, rekurentní neuronové sítě (RNN) mohou využít celé historie. Kvůli problémům s trénováním RNN je možné jnako jednu z cest použít LSTM sítě. V této práci ukazujeme aplikaci LSTM sítí s rozšířeními na úloze českých spontánních hovorů. Experimenty ukazujíviditalné zlepčení jak na perplexita tak na chybovosti výsledného rozpoznání.
Abstrakt v dalším jazyce: Artificial neural networks have become state-of-the-art in the task of language modelling on a small corpora. While feed-forward networks are able to take into account only a fixed context length to predict the next word, recurrent neural networks (RNN) can take advantage of all previous words. Due the difficulties in training of RNN, the way could be in using Long Short Term Memory (LSTM) neural network architecture. In this work, we show an application of LSTM network with extensions on a language modelling task with Czech spontaneous phone calls. Experiments show considerable improvements in perplexity and WER on recognition system over n-gram baseline.
Práva: © Daniel Soutner - Luděk Müller
Vyskytuje se v kolekcích:Články / Articles (FAV)

Soubory připojené k záznamu:
Soubor Popis VelikostFormát 
SoutnerD_2013_ApplicationofLSTM.pdfPlný text233,91 kBAdobe PDFZobrazit/otevřít


Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam: http://hdl.handle.net/11025/16981

Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.