Сортировать по свежести или популярности
Tengrinews Tengrinews TV Победители Обещания Законы Казахстана

Нейросеть научили рисовать лицо человека по его голосу

27 мая, 18:46

0
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. ©   N+1.ru
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. © N+1.ru

Иногда достаточно послушать речь человека, чтобы понять, что он из себя представляет и как выглядит. Теперь это умеет не только человек, но и современные технологии. TengriMIX со ссылкой на N+1.ru рассказывает, как нейросеть научили составлять портрет человека по его голосу.

Профессора Массачусетского технологического института для обучения нейросети применили датасет AVSpeech из более миллиона видео и ста тысяч разных людей. Каждый файл разделен на аудио- и видеодорожку. 

Один алгоритм изучает черты лица человека из видео для создания изображения, другой, используя его результаты, выдает приблизительную картинку с обликом человека, который разговаривает на видео.

Благодаря разработанному алгоритму разработчикам удалось добиться успехов в восстановлении изображений людей по голосу. Нейросеть способна угадывать пол человека, определять его приблизительный возраст, а также выдавать лицо людей, в частности с европеоидной и азиатской внешностью. 


Схема работы алгоритма. © N+1.ru 

Ученые признались, что составить точную картину по голосу человека пока не удается. Однако они продолжают исследовательскую работу. Этих параметров достаточно для создания анимационных аватаров.


Матрица ошибок для пола, расы и возраста. Чем контрастнее цвет по диагонали, тем точнее определен параметр. © N+1.ru 

Описание алгоритма и результаты его работы доступны в препринте, опубликованном на arXiv.org.

Добавить комментарий
Спасибо Вам за то, что Вы:

Вежливы ко всем участникам обсуждений, независимо от их национальности, вероисповедания и политических взлядов.

Уважаете чужое мнение и воздерживаетесь от оскорблений.

По возможности проверяете правильность написания.

Мы рады, что Вы с нами.

У нас еще много интересного для Вас:
Неизменное качество: один день во франшизном приемном пункте INVIVO

В этом приемном пункте сети лабораторий INVIVO, месяц назад открытом по франшизе, чистота, порядок и, как обычно, много клиентов - но нет очередей.

2
Ученые назвали простой способ сделать свою жизнь лучше

Всего два часа еженедельного пребывания на природе могут сделать вас счастливее и здоровее, сообщает SCIMEX.

5
Художники превратили полуобнаженных девушек в произведения искусства

Женское тело изумительно и совершенно. И если для одних это просто плоть, то для других это холст и источник вдохновения. Ежегодно в Глостерском

8
Как победить в битве с избыточным весом

Ключом к успеху в избавлении от лишних килограммов является поддержание нормального уровня сахара в крови и обмена веществ в организме.

3
Подпишитесь

чтобы узнавать все новости первым.

Следите за нами

в социальных сетях:

Поиск по сайту

для быстрого доступа.