Автоматический многомодальный анализ и синтез эмоциональной составляющей в речевых аудиовизуальных сигналах
Full Name of the work head: Мусабаев Р.Р.
Исполнители проекта: Мусабаев Р.Р., Койбагаров К.Ч., Бименова Ж.
: Uniline Group
Inventory number: 0215РК02493
Registration number: 0115РК02741
Keywords: аудиовизуальные речевые сигналы*эмоциональный синтез речи*многомодальность*классификация речевых сигналов*компьютерная лингвистика
Разработаны многомодальные методы записи и обработки речевых сигналов применительно к решению задачи их эмоциональной классификации. Построен программный инструментарий для ручного формирования и классификации текстового корпуса с различным интонационным и эмоциональным содержанием. Сформирован и проклассифицирован корпус текстов с различным интонационным и эмоциональным содержанием с использованием разработанного программного инструментария. Разработан программный инструментарий для ручного формирования и классификации многомодального аудиовизуального речевого корпуса эмоционально обусловленной речи. Осуществлена запись в студийных условиях сбалансированные по интонационным и эмоциональным характеристикам аудиовизуальных речевых сигналов принадлежащих различным дикторам на основе сформированного текстового корпуса. Проведена ручная разметка и классификация аудиовизуального речевого корпуса эмоционально обусловленной речи с использованием разработанного инструментария. Разработаны эффективные методы параметризации аудиовизуальных речевых сигналов с целью формирования набора информативных признаков адекватно отражающих интонационные и эмоциональные характеристики данных сигналов. Реализован программный инструментарий для осуществления автоматической параметризации аудиовизуальных речевых сигналов, а также визуализации полученных результатов.