Framework for conducting tasks requiring human assessment

Abstract

Článek popisuje webový framework, který zlepšuje a zjednodušuje návrh a publikování úkolů, které vyžadují zapojení člověka. Takovými úkoly jsou například ohodnocení kvality řeči, přepis textu, kategorizace obrázků nebo anotace. Hlavním cílem jsou však úkoly ve formě poslechových testů pro hodnocení kvality syntetizované řeči. Framework je velmi flexibilní a umožňuje vytvoření a publikování různých typů úkolů. Účastníci pracují na úkolech přes webové GUI a jejich odpovědi jsou zaznamenány v databázi. Framework je možno integrovat jako externí úkol do platformy Amazon Mechanical Turk, ale funguje i nezávisle jako samostatná platforma.

This paper presents a web-based framework that improves and simplifies the design and the deployment of tasks that require human input. These tasks may include speech, text or image transcription, annotation and evaluation. The focus is on listening tests for the purpose of a speech synthesis quality assessment. The framework is quite flexible, i.e. many different types of tasks can be prepared and presented to participants. The participants can then work on the tasks via a user-friendly GUI and their responses are recorded in a database. The framework is ready to be integrated as an external task for Amazon Mechanical Turk but it can also be used as a stand-alone platform.