| Title: | Application of LSTM neural networks in language modelling |
| Other Titles: | Aplikace LSTM neuronových sítí v jazykovém modelování |
| Authors: | Soutner, Daniel Müller, Luděk |
| Citation: | SOUTNER, Daniel; MÜLLER, Luděk. Application of LSTM neural networks in language modelling. In: International conference on image analysis and recognition. Berlin: Springer, 2013, p. 105-112. (Lecture notes in computer science; 8082). ISBN 978-3-642-40584-6. |
| Issue Date: | 2013 |
| Publisher: | Springer |
| Document type: | článek article |
| URI: | http://www.kky.zcu.cz/cs/publications/SoutnerD_2013_ApplicationofLSTM http://hdl.handle.net/11025/16981 |
| ISBN: | 978-3-642-40584-6 |
| Keywords: | jazykové modelování;rekurentní neuronové sítě;LSTM neuronová síť |
| Keywords in different language: | language modelling;recurrent neural networks;LSTM neural networks |
| Abstract: | Umělé neuronové sítě se staly standardem v úloze jazykového modelování na malém korpusu. Zatímco dopředné sítě jsou schopné uvažovat pouze konstantní počet slov historii pro předpovídání slova následujícího, rekurentní neuronové sítě (RNN) mohou využít celé historie. Kvůli problémům s trénováním RNN je možné jnako jednu z cest použít LSTM sítě. V této práci ukazujeme aplikaci LSTM sítí s rozšířeními na úloze českých spontánních hovorů. Experimenty ukazujíviditalné zlepčení jak na perplexita tak na chybovosti výsledného rozpoznání. |
| Abstract in different language: | Artificial neural networks have become state-of-the-art in the task of language modelling on a small corpora. While feed-forward networks are able to take into account only a fixed context length to predict the next word, recurrent neural networks (RNN) can take advantage of all previous words. Due the difficulties in training of RNN, the way could be in using Long Short Term Memory (LSTM) neural network architecture. In this work, we show an application of LSTM network with extensions on a language modelling task with Czech spontaneous phone calls. Experiments show considerable improvements in perplexity and WER on recognition system over n-gram baseline. |
| Rights: | © Daniel Soutner - Luděk Müller |
| Appears in Collections: | Články / Articles (KKY) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| SoutnerD_2013_ApplicationofLSTM.pdf | Plný text | 233,91 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/16981Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.