Long read
Помните этот драматичный момент из «Космической одиссеи» Стэнли Кубрика, когда выясняется, что компьютер HAL 9000 может читать по губам? Тогда эта способность компьютера повлекла за собой самые печальные последствия. Однако это вовсе не означает, что развитию подобной технологии в реальной жизни не будут рады.
Группа исследователей из Оксфордского университета разработала одну из совершеннейших на сегодняшний день программ для чтения по губам. Точность LipNet достигает невероятной отметки в 93,4%, когда как опытный человек, умеющий читать по губам, делает это с точностью 52%.
Как им удалось добиться таких показателей? Основываясь на предыдущих исследованиях, ученые поняли, что люди лучше читают по губам и понимают, что конкретно сказано, когда имеют дело с длинными словами. В связи с этим LipNet не анализирует информацию «слово за слово», а принимает во внимание целые предложения, после чего использует технику глубокого обучения, чтобы уже исходя из целого расшифровать каждое отдельное слово.
По мнению исследователей, такая программа может быть полезна во многих жизненных ситуациях. К примеру, установленная на смартфон, LipNet может стать замечательным инструментом для людей с ослабленным слухом или же вообще глухих. Даже если они уже обладают навыком чтения по губам, такая программа значительно облегчит процесс коммуникации.
Прочие науки
Егор Погорелов
