Автоматический многомодальный анализ и синтез эмоциональной составляющей в речевых аудиовизуальных сигналах
Full Name of the work head: Мусабаев Р.Р.
Исполнители проекта: Мусабаев Р.Р., Абдилдаева А.А., Шаяхметова А.С.
: Uniline Group
Inventory number: 0216РК01984
Registration number: 0115РК02741
Keywords: Эмоциональный синтез речи*многомодальность*классификация речевых сигналов*компьютерная лингвистика
Исследованы существующие и построены новые алгоритмы автоматической сегментации аудиовизуальных речевых сигналов. Разработан программный инструментарий для осуществления автоматической сегментации аудиовизуальных речевых сигналов, а также визуализации полученных результатов. Построен алгоритм автоматической акустической классификации сегментов в аудиовизуальном речевом сигнале и осуществлена его программная реализация. Создан алгоритм автоматической акустической классификации сегментов в аудиовизуальном речевом сигнале и осуществлена его программная реализация. Предложен алгоритм для анализа динамики изменения информативных параметров сигналов с целью их классификации по эмоциональным признакам и программная реализация данных алгоритмов. Исследованы взаимосвязи интонационных свойств речевых сигналов с их эмоциональной классификацией. Представлен алгоритм автоматической классификации аудиовизуальных речевых сигналов по различным эмоциональным признакам. Осуществлена программная реализация системы автоматической классификации аудиовизуальных речевых сигналов по различным эмоциональным признакам.