Сортировать по свежести или популярности
Tengrinews Tengrinews TV Победители Обещания Законы Казахстана

Нейросеть научили рисовать лицо человека по его голосу

27 мая, 18:46

0
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. ©   N+1.ru
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. © N+1.ru

Иногда достаточно послушать речь человека, чтобы понять, что он из себя представляет и как выглядит. Теперь это умеет не только человек, но и современные технологии. TengriMIX со ссылкой на N+1.ru рассказывает, как нейросеть научили составлять портрет человека по его голосу.

Профессора Массачусетского технологического института для обучения нейросети применили датасет AVSpeech из более миллиона видео и ста тысяч разных людей. Каждый файл разделен на аудио- и видеодорожку. 

Один алгоритм изучает черты лица человека из видео для создания изображения, другой, используя его результаты, выдает приблизительную картинку с обликом человека, который разговаривает на видео.

Благодаря разработанному алгоритму разработчикам удалось добиться успехов в восстановлении изображений людей по голосу. Нейросеть способна угадывать пол человека, определять его приблизительный возраст, а также выдавать лицо людей, в частности с европеоидной и азиатской внешностью. 


Схема работы алгоритма. © N+1.ru 

Ученые признались, что составить точную картину по голосу человека пока не удается. Однако они продолжают исследовательскую работу. Этих параметров достаточно для создания анимационных аватаров.


Матрица ошибок для пола, расы и возраста. Чем контрастнее цвет по диагонали, тем точнее определен параметр. © N+1.ru 

Описание алгоритма и результаты его работы доступны в препринте, опубликованном на arXiv.org.

Добавить комментарий
Спасибо Вам за то, что Вы:

Вежливы ко всем участникам обсуждений, независимо от их национальности, вероисповедания и политических взлядов.

Уважаете чужое мнение и воздерживаетесь от оскорблений.

По возможности проверяете правильность написания.

Мы рады, что Вы с нами.

У нас еще много интересного для Вас:
Собаки-ищейки научились выявлять рак легких с точностью 97 процентов

Три собаки породы бигль успешно продемонстрировали, что они способны выявлять рак легких по запаху – первый шаг в выявлении специфических

0
Одаренные дети Казахстана выступили с концертом в Алматы

В театре Казахской национальной академии искусств имени Т. К. Жургенова состоялся заключительный гала-концерт IV Академии творчества Клубов

0
Дизайнеры превратили страны-участницы Олимпиады-2020 в персонажей аниме

У каждой страны, культуры есть свой уникальный характер, который художники стараются изобразить на своих холстах. Такую попытку предприняли

7
Почему растет интерес к персонализированному питанию

Персонализированное питание все чаще становится объектом пристального внимания ученых и медиков. Самым крупным и широкомасштабным экспериментом

0
Подпишитесь

чтобы узнавать все новости первым.

Следите за нами

в социальных сетях:

Поиск по сайту

для быстрого доступа.