В фантастических фильмах можно увидеть андроидов, способных понимать человеческую речь так, как это делают обычные люди. Кроме того, умные механизмы также умеют воспроизводить мимику и эмоции. Российские программисты рассказали о технологии будущего, интегрирующей цифровые изображения с мимикой и эмоциями обычных людей и позволяющей создать виртуальные «говорящие головы».

Новая технология разрабатывается российскими специалистами. Она основана на двух алгоритмах. Первый — переводит текстовую информацию в речь. Сама идея уже не нова и активно используется в разных операционных системах и приложениях, позволяя тем самым людям с проблемами со зрением воспринимать информацию на слух.

Вторая технология основана на 3D-проекции лица на основе звукового сигнала. Для этой цели необходима нейросеть, переводящая аудиоинформацию в звуковой сигнал, подкрепляя его понятной зрителю мимикой и копируя модель общения, принятую у людей. Как сообщается, последовательность кадров динамической текстуры лицевой маски 3D-проекции будет определяться на основе последовательности изображений частотного спектра аудиофайла.

Круг использования новой разработки действительно широк. Это могут быть показы рекламы, визуальные шоу и спектакли, создание 3D-фильмов и анимации, а также создание на базе этой технологии виртуальных ассистентов, служащих для помощи людям в общественных местах.

Стоит уточнить, что это пока только патент и о сроках воплощения технологии в реальность ничего не сообщается.

Источник: 4pda.ru