Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейронные языковые модели расширили освоение человеческой речи
Исследователи Сколтеха и их коллеги провели первое в своем роде масштабное вычислительное исследование, в ходе которого сравнили самые современные языковые модели на основе нейронных сетей и оценили их возможности по решению одной из важнейших задач обработки естественного языка – лексической замены.
Результаты исследования были представлены на 28-й Международной конференции по компьютерной лингвистике (COLING-2020). Лексическая замена – это замена слова в предложении на другое слово, которое тем или иным образом связано с исходным словом и подходит для употребления в данном контексте. Например, в предложении «Пётр Ильич Чайковский – великий русский композитор» слово «великий» можно заменить синонимом «выдающийся».
В предложении «Мой брат − профессиональный теннисист» слово «теннисист» можно заменить на гипероним (то есть слово с более широким значением) «спортсмен», а вместо фразы «Я сегодня на машине» автомобилист вполне может сказать: «Я сегодня на колесах» (слово «колесо» является меронимом, то есть понятием, обозначающим составную часть целого предмета).
Для человека как носителя языка лексическая замена – вещь вполне простая и естественная, чего нельзя сказать о компьютере, решающем задачи обработки естественного языка (NLP). Компьютеру приходится «овладевать навыками» индукции, чтобы научиться определять значение слова по контексту, исправлять орфографические ошибки в зависимости от смысла слова и даже решать более сложные задачи, например, перефразирование или упрощение текста.
Именно для решения таких задач и создаются языковые модели на основе глубоких нейронных сетей, способные выполнять лексическую замену в зависимости от ближайшего контекста целевого слова. Старший преподаватель Сколтеха Александр Панченко и его коллеги из Исследовательского центра Samsung в России, НИУ ВШЭ и МГУ имени М. В. Ломоносова сравнили пять языковых моделей на основе нейронных сетей, поставив перед ними две задачи − собственно лексическая замена и индукция значения слова (во втором случае компьютер должен был уловить разницу между омонимами, например, словом «среда» в значении «окружающая среда» или «день недели»).
По мнению ученых, полученные результаты могут оказаться полезными при решении чисто практических задач NLP. В частности, исследователи показали связь между конкретной моделью и типом семантических отношений между словами (синоним, омоним, гипероним и так далее), а также установили, что наличие дополнительной информации о целевом слове позволяет значительно (или существенно, если продолжать тему синонимов) улучшить качество лексической замены.
«Во-первых, результаты нашего исследования по лексической замене можно применять для целей изучения языка (замена слов на более простые). Во-вторых, их можно использовать для аугментации текстовых данных при обучении нейронных сетей. Аналогичные методы аугментации уже широко используются в компьютерном зрении, а вот в анализе текста они пока применяются не так часто. Также вполне реально использовать их при написании текстов в качестве вспомогательного средства для автоматического подбора синонимов и перефразирования текста», − отмечает Александр Панченко.
В рамках международного проекта при участии Роскосмоса и Европейского космического агентства ученые впервые проанализировали данные, полученные с помощью диффузионной магнитно-резонансной томографии с трактографией головного мозга космонавтов. Исследователи увидели существенные изменения в связях между различными отделами головного мозга, причем некоторые изменения сохранялись даже спустя семь месяцев после возвращения на Землю.
Компьютерная модель древней вулканической активности спутника показала, как выброшенная вода тысячелетиями оседала инеем на поверхность, формируя многометровые слои льда под полюсами.
Женщины, обнимавшие возлюбленного до того, как испытали стресс, показали сниженную реакцию гормона кортизола — по сравнению с контрольной группой, которую заставили засовывать руку в ледяную воду без каких-либо прелюдий с партнерами.
Космическую компанию Илона Маска в шутку иногда называют пиротехнической — так часто ее изделия взрываются во время испытаний. Пара свежих инцидентов на тестовом полигоне в городе Макгрегор лишь подтверждают эту славу. Не успели фанаты космонавтики наладить онлайн-трансляцию из этой локации, как запечатлели сразу два взрыва подряд с промежутком всего в десятки часов.
В рамках международного проекта при участии Роскосмоса и Европейского космического агентства ученые впервые проанализировали данные, полученные с помощью диффузионной магнитно-резонансной томографии с трактографией головного мозга космонавтов. Исследователи увидели существенные изменения в связях между различными отделами головного мозга, причем некоторые изменения сохранялись даже спустя семь месяцев после возвращения на Землю.
Исследование ученых из Германии и США показало, что принятие определенных поз помогает справиться с чувством неуверенности.
Местные чиновники пытаются переложить ответственность за случившееся на резкое уменьшение турпотока из-за коронавируса, но цифры показывают, что ключевая проблема совсем в другом. В 2019 году на выборах в этой стране победил президент — сторонник модных зеленых идей. Вскоре там запретили продажу минеральных удобрений и двинулись к «устойчивому сельскому хозяйству». Как именно популярные «органические» идеи повлияли на еще не так давно быстро растущую местную экономику? И почему уроки шри-ланкийской трагедии могут пригодиться даже Западу и России?
Крупнейшие патентные ведомства мира десятилетиями или веками принципиально игнорируют любые конструкции, нарушающие начала термодинамики. С точки зрения здравого смысла это хорошо, но конспирологи и гении-самоучки считают иначе. По их мнению, такая политика стала результатом заговора (подставьте сюда любое вымышленное или не очень секретное общество либо лобби). Что ж, похоже, Роспатент встал на их сторону.
С помощью GPS-трекинга ученые проследили за перемещениями целой популяции домашних кошек в небольшом норвежском городке. Оказалось, питомцы редко уходят от дома далее 50 метров и почти не совершают длительных прогулок.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии