Сортировать по свежести или популярности
Tengrinews Tengrinews TV Победители Обещания Законы Казахстана
Сортировать по свежести или популярности
mail adultblock

Нейросеть научили рисовать лицо человека по его голосу

27 мая 2019, 18:46

0
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. ©   N+1.ru
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. © N+1.ru

Иногда достаточно послушать речь человека, чтобы понять, что он из себя представляет и как выглядит. Теперь это умеет не только человек, но и современные технологии. TengriMIX со ссылкой на N+1.ru рассказывает, как нейросеть научили составлять портрет человека по его голосу.

Профессора Массачусетского технологического института для обучения нейросети применили датасет AVSpeech из более миллиона видео и ста тысяч разных людей. Каждый файл разделен на аудио- и видеодорожку. 

Один алгоритм изучает черты лица человека из видео для создания изображения, другой, используя его результаты, выдает приблизительную картинку с обликом человека, который разговаривает на видео.

Благодаря разработанному алгоритму разработчикам удалось добиться успехов в восстановлении изображений людей по голосу. Нейросеть способна угадывать пол человека, определять его приблизительный возраст, а также выдавать лицо людей, в частности с европеоидной и азиатской внешностью. 


Схема работы алгоритма. © N+1.ru 

Ученые признались, что составить точную картину по голосу человека пока не удается. Однако они продолжают исследовательскую работу. Этих параметров достаточно для создания анимационных аватаров.


Матрица ошибок для пола, расы и возраста. Чем контрастнее цвет по диагонали, тем точнее определен параметр. © N+1.ru 

Описание алгоритма и результаты его работы доступны в препринте, опубликованном на arXiv.org.

Спасибо Вам за то, что Вы:

Вежливы ко всем участникам обсуждений, независимо от их национальности, вероисповедания и политических взлядов.

Уважаете чужое мнение и воздерживаетесь от оскорблений.

По возможности проверяете правильность написания.

Мы рады, что Вы с нами.

У нас еще много интересного для Вас:
"Как "Титаник", но со счастливым концом". Старое фото эмигрантов растрогало Сеть

За старыми фотографиями часто скрываются удивительные истории, которые заслуживают нашего внимания. TengriMIX со ссылкой на Medialeaks расскажет,

0
"Вовремя найдите другую жену". В Бельгии нашли послание маляров из прошлого

Какое послание вы бы оставили будущему поколению? TengriMIX покажет интересное письмо с советами, оставленное 79 лет назад.  

0
Дерзкая черепаха и суслик из оперы. 16 смешных фото Comedy Wildlife Photography Awards 2020

Фотографы нередко "охотятся" за красивыми фотографиями природы и ее обитателей. Но иногда полученный "улов" может даже позабавить и автора

0
Как получить удовольствие от страха, рассказали ученые

Страх - это естественное для людей чувство, которое играет важную роль в эволюции и в сохранении жизни. Однако это еще и острые ощущения, от

0
Подпишитесь

чтобы узнавать все новости первым.

Следите за нами

в социальных сетях:

Поиск по сайту

для быстрого доступа.