Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейронные языковые модели расширили освоение человеческой речи
Исследователи Сколтеха и их коллеги провели первое в своем роде масштабное вычислительное исследование, в ходе которого сравнили самые современные языковые модели на основе нейронных сетей и оценили их возможности по решению одной из важнейших задач обработки естественного языка – лексической замены.
Результаты исследования были представлены на 28-й Международной конференции по компьютерной лингвистике (COLING-2020). Лексическая замена – это замена слова в предложении на другое слово, которое тем или иным образом связано с исходным словом и подходит для употребления в данном контексте. Например, в предложении «Пётр Ильич Чайковский – великий русский композитор» слово «великий» можно заменить синонимом «выдающийся».
В предложении «Мой брат − профессиональный теннисист» слово «теннисист» можно заменить на гипероним (то есть слово с более широким значением) «спортсмен», а вместо фразы «Я сегодня на машине» автомобилист вполне может сказать: «Я сегодня на колесах» (слово «колесо» является меронимом, то есть понятием, обозначающим составную часть целого предмета).
Для человека как носителя языка лексическая замена – вещь вполне простая и естественная, чего нельзя сказать о компьютере, решающем задачи обработки естественного языка (NLP). Компьютеру приходится «овладевать навыками» индукции, чтобы научиться определять значение слова по контексту, исправлять орфографические ошибки в зависимости от смысла слова и даже решать более сложные задачи, например, перефразирование или упрощение текста.
Именно для решения таких задач и создаются языковые модели на основе глубоких нейронных сетей, способные выполнять лексическую замену в зависимости от ближайшего контекста целевого слова. Старший преподаватель Сколтеха Александр Панченко и его коллеги из Исследовательского центра Samsung в России, НИУ ВШЭ и МГУ имени М. В. Ломоносова сравнили пять языковых моделей на основе нейронных сетей, поставив перед ними две задачи − собственно лексическая замена и индукция значения слова (во втором случае компьютер должен был уловить разницу между омонимами, например, словом «среда» в значении «окружающая среда» или «день недели»).
По мнению ученых, полученные результаты могут оказаться полезными при решении чисто практических задач NLP. В частности, исследователи показали связь между конкретной моделью и типом семантических отношений между словами (синоним, омоним, гипероним и так далее), а также установили, что наличие дополнительной информации о целевом слове позволяет значительно (или существенно, если продолжать тему синонимов) улучшить качество лексической замены.
«Во-первых, результаты нашего исследования по лексической замене можно применять для целей изучения языка (замена слов на более простые). Во-вторых, их можно использовать для аугментации текстовых данных при обучении нейронных сетей. Аналогичные методы аугментации уже широко используются в компьютерном зрении, а вот в анализе текста они пока применяются не так часто. Также вполне реально использовать их при написании текстов в качестве вспомогательного средства для автоматического подбора синонимов и перефразирования текста», − отмечает Александр Панченко.
Telegram 
Дзен 
VK Биологи раскрыли, как бурые медведи могут месяцами лежать без движения и не терять физическую силу. Во время спячки они полностью перестраивают работу клеток, уменьшая количество митохондрий, но усиливая эффективность оставшихся. Ученые хотят перенести медвежьи способности в новые лекарства от атрофии мышц.
Авторы масштабного исследования рассказали, чем именно нужно питаться в течение дня, чтобы хорошо выспаться ночью. В отличие от предыдущих работ, ученые не полагались на память участников эксперимента, а следили за их питанием через приложение и исследовали сон с помощью медицинских датчиков.
При раскопках Старой Донголы — столицы средневекового христианского царства Макурия, находившегося на севере современного Судана — в горе мусора нашли документы на арабском языке, среди которых оказался указ от имени царя Кашкаша. До сих пор о существовании этого царя было известно лишь из устных преданий.
В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.
В мире оказалось гораздо больше диких пчел, чем кто-либо мог предположить. Ученые впервые оценили, сколько видов пчел существует на Земле, и обнаружили, что показатель превышает 26 тысяч — примерно на четверть больше, чем считалось.
Разное отношение домашних животных к хозяевам давно стало предметом споров, обсуждений и шуток. Ученые из Венгрии показали, что собаки демонстрируют по отношению к человеку уровень альтруизма, сходный с детским, тогда как кошки ищут в партнерстве с человеком прежде всего свою выгоду.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.
В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно