| Název: | Multi-modální analýza emocí z textových a zvukových dat |
| Další názvy: | Multi-modal emotion analysis in textual and audio data |
| Autoři: | Zeman, Matěj |
| Vedoucí práce/školitel: | Lenc Ladislav, Ing. Ph.D. |
| Oponent: | Prantl Martin, Ing. Ph.D. |
| Datum vydání: | 2024 |
| Nakladatel: | Západočeská univerzita v Plzni |
| Typ dokumentu: | diplomová práce |
| URI: | http://hdl.handle.net/11025/57235 |
| Klíčová slova: | multi-modální rozpoznání emocí;strojové učení;bert;cnn;python;extrakce příznaků |
| Klíčová slova v dalším jazyce: | multimodal emotion recognition;machine learning;bert;cnn;python;feature extraction |
| Abstrakt: | Multimodální klasifikace emocí zahrnuje rozpoznávání emocí z dat, která zahrnují více modalit. Pro rozpoznání emocí se nabízí hned několik modalit. Pohyb obličeje, text, záznam hlasu, nebo videa mluvčího. Tato práce se zaměřuje především na zvukovou a textovou modalitu pro rozpoznávání emocí. Nejprve je provedena extrakce příznaků ze zvukových dat. Následně jsou tyto příznaky použity pro trénování několika modelů pro rozpoznávání emocí ze zvukových dat. Tyto modely jsou založené na umělých neuronových sítích. Modely jsou následně použity pro vytváření příznaků ze zvukových dat. V multimodálních modelech jsou tyto příznaky spojeny s jejich textovými protějšky a použity pro multimodální predikci emocí. Úspěšnost tohoto systému je vyhodnocována na ECF, RAVDESS a IEMOCAP datasetech. |
| Abstrakt v dalším jazyce: | Multimodal emotion recognition involves correctly classifying the emotion from data involving multiple modalities. There are several viable modalities when it comes to emotion recognition. Facial movements, text, voice, and video of the speaker. This thesis focuses on audio and textual modalities for emotion recognition. First, feature extraction from audio data is performed. Subsequently, these features are used for training several audio emotion recognition models, that are based on Artificial Neural Networks. These audio emotion recognition models are then used to create audio feature extraction vectors. In the multimodal deep learning models, these audio feature vectors are combined with their textual counterparts for multimodal emotion recognition. The performance of this system is evaluated on ECF, RAVDESS, and IEMOCAP datasets. |
| Práva: | Plný text práce je přístupný bez omezení |
| Vyskytuje se v kolekcích: | Diplomové práce / Theses (KIV) |
Soubory připojené k záznamu:
| Soubor | Popis | Velikost | Formát | |
|---|---|---|---|---|
| A21N0080P_DP.pdf | Plný text práce | 1,66 MB | Adobe PDF | Zobrazit/otevřít |
| A21N0080Pposudek-op.pdf | Posudek oponenta práce | 1,01 MB | Adobe PDF | Zobrazit/otevřít |
| A21N0080Phodnoceni-ved.pdf | Posudek vedoucího práce | 28,89 kB | Adobe PDF | Zobrazit/otevřít |
| A21N0080Pobhajoba.pdf | Průběh obhajoby práce | 205,06 kB | Adobe PDF | Zobrazit/otevřít |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/57235Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.