Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейронные языковые модели расширили освоение человеческой речи
Исследователи Сколтеха и их коллеги провели первое в своем роде масштабное вычислительное исследование, в ходе которого сравнили самые современные языковые модели на основе нейронных сетей и оценили их возможности по решению одной из важнейших задач обработки естественного языка – лексической замены.
Результаты исследования были представлены на 28-й Международной конференции по компьютерной лингвистике (COLING-2020). Лексическая замена – это замена слова в предложении на другое слово, которое тем или иным образом связано с исходным словом и подходит для употребления в данном контексте. Например, в предложении «Пётр Ильич Чайковский – великий русский композитор» слово «великий» можно заменить синонимом «выдающийся».
В предложении «Мой брат − профессиональный теннисист» слово «теннисист» можно заменить на гипероним (то есть слово с более широким значением) «спортсмен», а вместо фразы «Я сегодня на машине» автомобилист вполне может сказать: «Я сегодня на колесах» (слово «колесо» является меронимом, то есть понятием, обозначающим составную часть целого предмета).
Для человека как носителя языка лексическая замена – вещь вполне простая и естественная, чего нельзя сказать о компьютере, решающем задачи обработки естественного языка (NLP). Компьютеру приходится «овладевать навыками» индукции, чтобы научиться определять значение слова по контексту, исправлять орфографические ошибки в зависимости от смысла слова и даже решать более сложные задачи, например, перефразирование или упрощение текста.
Именно для решения таких задач и создаются языковые модели на основе глубоких нейронных сетей, способные выполнять лексическую замену в зависимости от ближайшего контекста целевого слова. Старший преподаватель Сколтеха Александр Панченко и его коллеги из Исследовательского центра Samsung в России, НИУ ВШЭ и МГУ имени М. В. Ломоносова сравнили пять языковых моделей на основе нейронных сетей, поставив перед ними две задачи − собственно лексическая замена и индукция значения слова (во втором случае компьютер должен был уловить разницу между омонимами, например, словом «среда» в значении «окружающая среда» или «день недели»).
По мнению ученых, полученные результаты могут оказаться полезными при решении чисто практических задач NLP. В частности, исследователи показали связь между конкретной моделью и типом семантических отношений между словами (синоним, омоним, гипероним и так далее), а также установили, что наличие дополнительной информации о целевом слове позволяет значительно (или существенно, если продолжать тему синонимов) улучшить качество лексической замены.
«Во-первых, результаты нашего исследования по лексической замене можно применять для целей изучения языка (замена слов на более простые). Во-вторых, их можно использовать для аугментации текстовых данных при обучении нейронных сетей. Аналогичные методы аугментации уже широко используются в компьютерном зрении, а вот в анализе текста они пока применяются не так часто. Также вполне реально использовать их при написании текстов в качестве вспомогательного средства для автоматического подбора синонимов и перефразирования текста», − отмечает Александр Панченко.
Снимки демонстрируют интерьер новой российской атомной многоцелевой субмарины — К-561 «Казань», принадлежащей к проекту 885М «Ясень-М».
Два миллиона лет назад планета вошла в состояние крайне необычной неустойчивости. Раз за разом она стирала экосистемы Африки с лица земли, отчего наши предки снова и снова оказывались в сложном положении. Семьдесят тысяч лет назад их число сократилось в десять раз — ударил другой, совершенно неожиданный фактор. Пару сотен тысяч лет назад не только человечество, но вообще все наземные виды могли погибнуть от еще более разрушительной силы. 12,9 тысячи лет назад множество людей умерли и миллионы квадратных километров полностью выгорели из-за взрывов в атмосфере и огненного дождя. Как именно наш вид пережил все это?
Китайские ученые воспроизвели модель мужской беременности млекопитающих на лабораторных крысах: результаты оказались успешными лишь отчасти, но все равно показали, что в таких случаях эмбрионы могут развиваться нормально. Мировое сообщество восприняло эксперимент с ужасом.
Снимки демонстрируют интерьер новой российской атомной многоцелевой субмарины — К-561 «Казань», принадлежащей к проекту 885М «Ясень-М».
Два миллиона лет назад планета вошла в состояние крайне необычной неустойчивости. Раз за разом она стирала экосистемы Африки с лица земли, отчего наши предки снова и снова оказывались в сложном положении. Семьдесят тысяч лет назад их число сократилось в десять раз — ударил другой, совершенно неожиданный фактор. Пару сотен тысяч лет назад не только человечество, но вообще все наземные виды могли погибнуть от еще более разрушительной силы. 12,9 тысячи лет назад множество людей умерли и миллионы квадратных километров полностью выгорели из-за взрывов в атмосфере и огненного дождя. Как именно наш вид пережил все это?
Шотландские исследователи провели когортный анализ: они сравнили риск госпитализации при заражении индийским и британским штаммами коронавируса, а также определили, кого вариант из Индии поражает чаще всего.
«Сексуальную революцию совершили задние сиденья автомобилей», – заявил в свое время американский общественный деятель Джерри Рубин. И ошибся. Раскрепощение нравов происходило задолго до появления машин, причем много раз. Оно напоминает движение маятника. Как и почему вершились «секшал революшнс» и стоим ли мы на пороге нового витка сексуальности или же нас ждет ужесточение морали? Об этом – в нашем материале.
Международная команда исследователей изучила геологию и условия существования самого большого моря в истории планеты — Паратетиса.
Хотя в прессе много пишут об исключительно редких «побочках» от вакцин, практика показывает, что бояться надо совсем другого. Самым страшным врагом привитого остается... коронавирус. Даже после вакцин Pfizer или Moderna от него иногда умирают — и подобных случаев уже сотни. Разумеется, среди непривитых таких на порядки больше, но погибшим и членам их семей от этого не легче. Еще хуже то, что две из трех российских вакцин, похоже, защищают от ковида намного слабее Pfizer и Moderna. Это довольно странно с учетом того, что третий российский препарат в этом плане не уступает западным аналогам. Почему российские власти финансируют миллионные тиражи слабой вакцины, имея в распоряжении вполне полноценную?
Комментарии