| Název: | Application of LSTM neural networks in language modelling |
| Další názvy: | Aplikace LSTM neuronových sítí v jazykovém modelování |
| Autoři: | Soutner, Daniel Müller, Luděk |
| Citace zdrojového dokumentu: | SOUTNER, Daniel; MÜLLER, Luděk. Application of LSTM neural networks in language modelling. In: International conference on image analysis and recognition. Berlin: Springer, 2013, p. 105-112. (Lecture notes in computer science; 8082). ISBN 978-3-642-40584-6. |
| Datum vydání: | 2013 |
| Nakladatel: | Springer |
| Typ dokumentu: | článek article |
| URI: | http://www.kky.zcu.cz/cs/publications/SoutnerD_2013_ApplicationofLSTM http://hdl.handle.net/11025/16981 |
| ISBN: | 978-3-642-40584-6 |
| Klíčová slova: | jazykové modelování;rekurentní neuronové sítě;LSTM neuronová síť |
| Klíčová slova v dalším jazyce: | language modelling;recurrent neural networks;LSTM neural networks |
| Abstrakt: | Umělé neuronové sítě se staly standardem v úloze jazykového modelování na malém korpusu. Zatímco dopředné sítě jsou schopné uvažovat pouze konstantní počet slov historii pro předpovídání slova následujícího, rekurentní neuronové sítě (RNN) mohou využít celé historie. Kvůli problémům s trénováním RNN je možné jnako jednu z cest použít LSTM sítě. V této práci ukazujeme aplikaci LSTM sítí s rozšířeními na úloze českých spontánních hovorů. Experimenty ukazujíviditalné zlepčení jak na perplexita tak na chybovosti výsledného rozpoznání. |
| Abstrakt v dalším jazyce: | Artificial neural networks have become state-of-the-art in the task of language modelling on a small corpora. While feed-forward networks are able to take into account only a fixed context length to predict the next word, recurrent neural networks (RNN) can take advantage of all previous words. Due the difficulties in training of RNN, the way could be in using Long Short Term Memory (LSTM) neural network architecture. In this work, we show an application of LSTM network with extensions on a language modelling task with Czech spontaneous phone calls. Experiments show considerable improvements in perplexity and WER on recognition system over n-gram baseline. |
| Práva: | © Daniel Soutner - Luděk Müller |
| Vyskytuje se v kolekcích: | Články / Articles (KKY) |
Soubory připojené k záznamu:
| Soubor | Popis | Velikost | Formát | |
|---|---|---|---|---|
| SoutnerD_2013_ApplicationofLSTM.pdf | Plný text | 233,91 kB | Adobe PDF | Zobrazit/otevřít |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/16981Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.