Сортировать по свежести или популярности
Tengrinews Tengrinews TV Победители Обещания Законы Казахстана
Сортировать по свежести или популярности
mail adultblock

Нейросеть научили рисовать лицо человека по его голосу

27 мая 2019, 18:46

0
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. ©   N+1.ru
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. © N+1.ru

Иногда достаточно послушать речь человека, чтобы понять, что он из себя представляет и как выглядит. Теперь это умеет не только человек, но и современные технологии. TengriMIX со ссылкой на N+1.ru рассказывает, как нейросеть научили составлять портрет человека по его голосу.

Профессора Массачусетского технологического института для обучения нейросети применили датасет AVSpeech из более миллиона видео и ста тысяч разных людей. Каждый файл разделен на аудио- и видеодорожку. 

Один алгоритм изучает черты лица человека из видео для создания изображения, другой, используя его результаты, выдает приблизительную картинку с обликом человека, который разговаривает на видео.

Благодаря разработанному алгоритму разработчикам удалось добиться успехов в восстановлении изображений людей по голосу. Нейросеть способна угадывать пол человека, определять его приблизительный возраст, а также выдавать лицо людей, в частности с европеоидной и азиатской внешностью. 


Схема работы алгоритма. © N+1.ru 

Ученые признались, что составить точную картину по голосу человека пока не удается. Однако они продолжают исследовательскую работу. Этих параметров достаточно для создания анимационных аватаров.


Матрица ошибок для пола, расы и возраста. Чем контрастнее цвет по диагонали, тем точнее определен параметр. © N+1.ru 

Описание алгоритма и результаты его работы доступны в препринте, опубликованном на arXiv.org.

Спасибо Вам за то, что Вы:

Вежливы ко всем участникам обсуждений, независимо от их национальности, вероисповедания и политических взлядов.

Уважаете чужое мнение и воздерживаетесь от оскорблений.

По возможности проверяете правильность написания.

Мы рады, что Вы с нами.

У нас еще много интересного для Вас:
Девушки из Алматы и Нур-Султана борются за победу в "Мисс Офис"

Казахстанки борются за победу в международном конкурсе красоты для офисных сотрудниц "Мисс Офис - 2020". TengriMIX расскажет, как можно поддержать

0
"Сейчас этот поезд тронется". 15 граффити, которые удивляют реализмом

Глядя на невероятные рисунки, оживившие бетонные стены, поражаешься, насколько большой путь прошел уличный стрит-арт, превратившись в настоящее

0
"Ну, погоди!" нарисовали в стиле "Города грехов"

Порой нам хочется, чтобы истории с нашими любимыми героями не заканчивались. TengriMIX расскажет, как иллюстратор нарисовал комикс о новых приключениях

0
Назван фрукт, который поможет избежать облысения

Мы не контролируем такие факторы, как возраст и генетика, но можем изменить свой рацион. TengriMIX со ссылкой на  Daily Express

0
Подпишитесь

чтобы узнавать все новости первым.

Следите за нами

в социальных сетях:

Поиск по сайту

для быстрого доступа.