Нейросеть смогла воссоздать лицо человека по голосу
Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.
Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.
Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.
Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.
Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.
Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.
Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.
Telegram 
Дзен 
VK Чтобы половина Вселенной оказалась заполнена самовоспроизводящимися машинами, достаточно всего одной технологической цивилизации на миллион галактик. К такому выводу астрофизик Дэвид Киппинг пришел, впервые рассчитав последствия парадокса Ферми в космологических масштабах. Результат сделал отсутствие следов внеземного разума еще труднее для объяснения.
Международный коллектив ученых обнаружил новую серьезную угрозу ускорения потепления планеты, которая скрывается в высокогорных районах Азии. Исследователи выяснили, что стремительное повышение температур приводит к высвобождению огромных запасов древнего углерода из вечной мерзлоты (замерзшие слои грунта, не оттаивающие годами) Тибетского плато.
Исследователям удалось обнаружить у побережья филиппинского острова Лусон останки «Хофуку Мару» — печально известного японского плавучего концлагеря, подорванного торпедой союзников в 1944 году. Затонувший корабль стал братской могилой более чем для тысячи военнопленных, находившихся на борту.
Исследователи НИУ ВШЭ и МГУ доказали универсальный закон, описывающий время исчезновения популяций в случайной среде. Анализ эволюции ветвящихся процессов — сложных вероятностных систем — показал, что вне зависимости от изначального числа особей процесс вымирания подчиняется строгим математическим закономерностям.
Сам факт того, что после распада Западной Римской империи возникали новые государства, историкам известен давно. Нет сомнений в существовании королевств готов, франков, лангобардов и других постримских политических образований. Авторы нового исследования сосредоточились на более сложном вопросе. Они попытались выяснить, как именно происходило формирование таких обществ на уровне отдельных людей, семей и общин. Впервые благодаря сочетанию генетических и археологических данных исследователи смогли реконструировать развитие одного постримского политического общества, которое располагалось на территории Паннонии.
Физикам долго не удавалось применить фазовый контраст в электронной микроскопии. Оказалось, что нужно было прекратить искать подходящее вещество для фазовой пластины и обратить внимание на лазеры.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии