| Title: | Evaluation Datasets for Cross-lingual Semantic Textual Similarity |
| Other Titles: | Hodnotící datové sady pro mezijazykovou sémantickou textovou podobnost |
| Authors: | Hercig, Tomáš Král, Pavel |
| Citation: | HERCIG, T. KRÁL, P. Evaluation Datasets for Cross-lingual Semantic Textual Similarity. In Deep Learning for Natural Language Processing Methods and Applications. Shoumen: INCOMA, Ltd., 2021. s. 524-529. ISBN: 978-954-452-072-4 , ISSN: 1313-8502 |
| Issue Date: | 2021 |
| Publisher: | INCOMA, Ltd. |
| Document type: | konferenční příspěvek ConferenceObject |
| URI: | 2-s2.0-85123631732 http://hdl.handle.net/11025/47197 |
| ISBN: | 978-954-452-072-4 |
| ISSN: | 1313-8502 |
| Keywords: | Datová sada;Evaluace;mezijazyková;sémantická textovou podobnost;STS |
| Keywords in different language: | cross-lingual;dataset;evaluation;Semantic Textual Similarity;STS |
| Abstract: | Systémy sémantické textové podobnosti (STS) odhadují míru významové podobnosti mezi dvěma větami. Mezijazyčné systémy STS odhadují míru významové podobnosti mezi dvěma větami, z nichž každá je v jiném jazyce. Nejmodernější algoritmy obvykle využívají přístupy s učitelem, které je obtížné použít pro jazyky s nedostatečnými zdroji. Každý přístup však musí mít k vyhodnocení výsledků anotovaná data. V tomto článku představujeme nové anotované datasety pro vícejazyčné a jednojazyčné STS pro jazyky, kde takové sady zatím nejsou k dispozici. Na těchto datech dále prezentujeme výsledky několika nejmodernějších metod, které lze použít jako základ pro další výzkum. Věříme, že tento článek nejen rozšíří současný výzkum STS pro další jazyky, ale také podpoří soutěž na těchto nových hodnotících datech. |
| Abstract in different language: | Semantic textual similarity (STS) systems estimate the degree of the meaning similarity between two sentences. Cross-lingual STS systems estimate the degree of the meaning similarity between two sentences, each in a different language. State-of-the-art algorithms usually employ a strongly supervised, resource-rich approach difficult to use for poorly-resourced languages. However, any approach needs to have evaluation data to confirm the results. In order to simplify the evaluation process for poorly-resourced languages (in terms of STS evaluation datasets), we present new datasets for cross-lingual and monolingual STS for languages without this evaluation data. We also present the results of several state-of-the-art methods on these data which can be used as a baseline for further research. We believe that this article will not only extend the current STS research to other languages, but will also encourage competition on this new evaluation data. |
| Rights: | © Incoma Ltd. |
| Appears in Collections: | Konferenční příspěvky / Conference Papers (KIV) OBD |
Files in This Item:
| File | Size | Format | |
|---|---|---|---|
| 2021.ranlp-main.59.pdf | 173,99 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/47197Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.