Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейронные языковые модели расширили освоение человеческой речи
Исследователи Сколтеха и их коллеги провели первое в своем роде масштабное вычислительное исследование, в ходе которого сравнили самые современные языковые модели на основе нейронных сетей и оценили их возможности по решению одной из важнейших задач обработки естественного языка – лексической замены.
Результаты исследования были представлены на 28-й Международной конференции по компьютерной лингвистике (COLING-2020). Лексическая замена – это замена слова в предложении на другое слово, которое тем или иным образом связано с исходным словом и подходит для употребления в данном контексте. Например, в предложении «Пётр Ильич Чайковский – великий русский композитор» слово «великий» можно заменить синонимом «выдающийся».
В предложении «Мой брат − профессиональный теннисист» слово «теннисист» можно заменить на гипероним (то есть слово с более широким значением) «спортсмен», а вместо фразы «Я сегодня на машине» автомобилист вполне может сказать: «Я сегодня на колесах» (слово «колесо» является меронимом, то есть понятием, обозначающим составную часть целого предмета).
Для человека как носителя языка лексическая замена – вещь вполне простая и естественная, чего нельзя сказать о компьютере, решающем задачи обработки естественного языка (NLP). Компьютеру приходится «овладевать навыками» индукции, чтобы научиться определять значение слова по контексту, исправлять орфографические ошибки в зависимости от смысла слова и даже решать более сложные задачи, например, перефразирование или упрощение текста.
Именно для решения таких задач и создаются языковые модели на основе глубоких нейронных сетей, способные выполнять лексическую замену в зависимости от ближайшего контекста целевого слова. Старший преподаватель Сколтеха Александр Панченко и его коллеги из Исследовательского центра Samsung в России, НИУ ВШЭ и МГУ имени М. В. Ломоносова сравнили пять языковых моделей на основе нейронных сетей, поставив перед ними две задачи − собственно лексическая замена и индукция значения слова (во втором случае компьютер должен был уловить разницу между омонимами, например, словом «среда» в значении «окружающая среда» или «день недели»).
По мнению ученых, полученные результаты могут оказаться полезными при решении чисто практических задач NLP. В частности, исследователи показали связь между конкретной моделью и типом семантических отношений между словами (синоним, омоним, гипероним и так далее), а также установили, что наличие дополнительной информации о целевом слове позволяет значительно (или существенно, если продолжать тему синонимов) улучшить качество лексической замены.
«Во-первых, результаты нашего исследования по лексической замене можно применять для целей изучения языка (замена слов на более простые). Во-вторых, их можно использовать для аугментации текстовых данных при обучении нейронных сетей. Аналогичные методы аугментации уже широко используются в компьютерном зрении, а вот в анализе текста они пока применяются не так часто. Также вполне реально использовать их при написании текстов в качестве вспомогательного средства для автоматического подбора синонимов и перефразирования текста», − отмечает Александр Панченко.
Telegram 
Дзен 
VK Повторное изучение окаменелости галлюцигении, впервые описанной в 1970-х годах, помогло палеонтологам больше узнать о рационе этого древнего существа. Ответ на вопрос о питании нашли не в ее останках, а на теле предполагаемой добычи.
Международная научная группа при участии МФТИ разработала композитный гель-полимерный электролит для аккумуляторов. Этот материал позволит создать безопасные высокомощные батареи, что важно для электромобилей, гаджетов и систем хранения энергии.
Исследователи НИУ ВШЭ — Санкт-Петербург обнаружили устойчивую взаимосвязь между движениями глаз и мозговой активностью при помощи искусственного интеллекта. В перспективе это открытие позволит точнее диагностировать болезни Альцгеймера, Паркинсона и расстройства аутистического спектра (РАС).
Ученые уверены, что покрытая водяным льдом юпитерианская луна Европа скрывает внутри себя глобальный океан, но сомневаются в его жизнепригодности. В недавнем исследовании они попытались оценить степень активности в недрах спутника и пришли к неутешительному выводу: тектоника там вряд ли способна обеспечить обогащение воды минералами.
Астрономы обнаружили еще одно неожиданное последствие недавнего эксперимента с астероидом Диморф: его крупный и массивный «хозяин» Дидим стал медленнее вращаться вокруг своей оси. Ученые подозревают, что на него так повлияли разлетевшиеся обломки.
Доставленный с обратной стороны Луны грунт произвел впечатление необычным изотопным составом. Планетологи пришли к выводу, что вещество там стало таким из-за падения гигантского астероида.
От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
Среди самых интригующих открытий космического телескопа «Джеймс Уэбб» — компактные объекты, получившие название «маленькие красные точки». Их видели только в самых дальних уголках Вселенной. Большинство возникло в первый миллиард лет после Большого взрыва, и ученые предполагали, что такие источники представляют собой небольшие компактные галактики. Однако международная команда астрономов пришла к иному выводу. Они предположили, что на самом деле «маленькие красные точки» — черные дыры, окруженные массивной газовой оболочкой.
Ученые задались вопросом: почему два расположенных по соседству спутника Юпитера такие разные, ведь на Ио повсеместно извергаются вулканы, а Европа полностью покрыта многокилометровой коркой льда. Есть версия, что Ио когда-то тоже была богата водой, но по итогам недавнего исследования это сочли неправдоподобным.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно