Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейронные языковые модели расширили освоение человеческой речи
Исследователи Сколтеха и их коллеги провели первое в своем роде масштабное вычислительное исследование, в ходе которого сравнили самые современные языковые модели на основе нейронных сетей и оценили их возможности по решению одной из важнейших задач обработки естественного языка – лексической замены.
Результаты исследования были представлены на 28-й Международной конференции по компьютерной лингвистике (COLING-2020). Лексическая замена – это замена слова в предложении на другое слово, которое тем или иным образом связано с исходным словом и подходит для употребления в данном контексте. Например, в предложении «Пётр Ильич Чайковский – великий русский композитор» слово «великий» можно заменить синонимом «выдающийся».
В предложении «Мой брат − профессиональный теннисист» слово «теннисист» можно заменить на гипероним (то есть слово с более широким значением) «спортсмен», а вместо фразы «Я сегодня на машине» автомобилист вполне может сказать: «Я сегодня на колесах» (слово «колесо» является меронимом, то есть понятием, обозначающим составную часть целого предмета).
Для человека как носителя языка лексическая замена – вещь вполне простая и естественная, чего нельзя сказать о компьютере, решающем задачи обработки естественного языка (NLP). Компьютеру приходится «овладевать навыками» индукции, чтобы научиться определять значение слова по контексту, исправлять орфографические ошибки в зависимости от смысла слова и даже решать более сложные задачи, например, перефразирование или упрощение текста.
Именно для решения таких задач и создаются языковые модели на основе глубоких нейронных сетей, способные выполнять лексическую замену в зависимости от ближайшего контекста целевого слова. Старший преподаватель Сколтеха Александр Панченко и его коллеги из Исследовательского центра Samsung в России, НИУ ВШЭ и МГУ имени М. В. Ломоносова сравнили пять языковых моделей на основе нейронных сетей, поставив перед ними две задачи − собственно лексическая замена и индукция значения слова (во втором случае компьютер должен был уловить разницу между омонимами, например, словом «среда» в значении «окружающая среда» или «день недели»).
По мнению ученых, полученные результаты могут оказаться полезными при решении чисто практических задач NLP. В частности, исследователи показали связь между конкретной моделью и типом семантических отношений между словами (синоним, омоним, гипероним и так далее), а также установили, что наличие дополнительной информации о целевом слове позволяет значительно (или существенно, если продолжать тему синонимов) улучшить качество лексической замены.
«Во-первых, результаты нашего исследования по лексической замене можно применять для целей изучения языка (замена слов на более простые). Во-вторых, их можно использовать для аугментации текстовых данных при обучении нейронных сетей. Аналогичные методы аугментации уже широко используются в компьютерном зрении, а вот в анализе текста они пока применяются не так часто. Также вполне реально использовать их при написании текстов в качестве вспомогательного средства для автоматического подбора синонимов и перефразирования текста», − отмечает Александр Панченко.
Telegram 
Дзен 
VK Когнитивные психологи доказали, что человекообразные обезьяны способны понимать концепт «понарошку». Бонобо Канзи, владевший языком символов, успешно отслеживал перемещения невидимого сока и воображаемого винограда. Это открытие опровергает теорию о том, что способность к фантазии — уникальная черта человека.
Авторы нового исследования сканировали мозг ламы во время медитации и после приема быстродействующего психоделика 5-MeO-DMT. Ученые выяснили, что, по-видимому, психоактивное вещество вызывает такие же изменения в работе мозга, как ментальная практика. Результаты научной работы откроют путь к новым методам изучения сознания и, возможно, способам терапии.
Физики экспериментально доказали, что частицы вещества при рождении сохраняют квантовую запутанность виртуальных предшественников. Пары лямбда-гиперонов и антилямбд появлялись на свет с синхронизированными спинами, которые они унаследовали от энергетических флуктуаций пустоты. Закономерность объяснила, как материя переходит из скрытого квантового состояния в физический мир, раскрыв еще один ключ к природе возникновения массы.
Биологи использовали данные отлова змей за 22 года, чтобы объяснить появление редких ядовитых рептилий в засушливых и нетипичных для них районах штата Гоа. Анализ показал, что королевские кобры Западных Гат используют железнодорожную сеть как скоростной коридор для расселения, случайно путешествуя в товарных вагонах из родных лесов к побережью.
Астрономы впервые напрямую связали основание гигантского джета с «тенью» первой «сфотографированной» сверхмассивной черной дыры M87*. Анализ данных, полученных с помощью Телескопа горизонта событий (EHT), позволил проследить, где именно формируется релятивистская струя и лучше понять механизмы ее возникновения.
Яркий надувной тюбинг, в народе прозванный «ватрушкой», стал символом зимнего отдыха. Он кажется удобным, мягким и потому — безопасным. Это ощущение обманчиво и ежегодно приводит к тысячам серьезных травм. В чем же кроется фундаментальная опасность этого популярного развлечения? На этот вопрос для нашего издания ответил Олег Рубан, кандидат технических наук, доцент кафедры физики РТУ МИРЭА, объяснив, почему законы физики превращают безобидный на вид тюбинг в неуправляемый снаряд.
От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно