• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
17.05.2017, 13:34
Редакция Naked Science
456

Новый Завет поможет в спасении исчезающих языков

Международная группа лингвистов опубликовала параллельный корпус переводов Нового Завета, который может использоваться в обучении алгоритмов машинного перевода.

brms7_matthew2-3_1000
©Wikipedia / Автор: Ольга Кузьмина

В настоящее время в мире существует порядка семи тысяч языков. Подавляющее большинство людей (95 процентов) говорит лишь на 100 из них, тогда как около половины используют только английский, русский, китайский, испанский и хинди.  Носителями примерно трети живых языков выступают менее одной тысячи человек — в ближайшее столетие этим диалектам грозит исчезновение. Вместе с языками под угрозой находится соответствующее культурное наследие, в том числе специфические абстрактные понятия и идиомы. Предполагается, что алгоритмы машинного перевода могут помочь в их сохранении.

 

Однако для успешного освоения материала системам машинного обучения требуются большие объемы текстов, аннотированных на языке. Необходимое количество размеченных стимулов существует только для некоторых языков. Например, крупнейший сервис онлайн-перевода Google Translate рассчитан на работу всего с 90 языками. Поэтому ученые ищут способы, которые позволяют обучать алгоритмы на сравнительно малых объемах аннотированных текстов. В новой работе специалисты из Мюнхенского университета Людвига-Максимилиана и Калифорнийского университета в Беркли представили такую технологию.

 

На первом этапе авторы создали корпус из 1169 переводов Нового Завета — наиболее распространенного текста в мире. Несмотря на объем, незначительный для стандартных тренировок автоматических переводчиков, он обладает важным преимуществом: благодаря религиозному содержанию Новый Завет широко представлен в различных языковых системах. Учитывая, что почти ни один вариант перевода не позволяет оценить все уровни языков, ученые предположили, что они, тем не менее, могут обеспечить представление о базовых грамматических категориях. Сопоставлять образцы они предложили по лингвистическим функциям.

 

Новый Завет поможет в спасении исчезающих языков – иллюстрация к материалу на Naked Science

Кластеризация маркеров будущего времени на примере 100 языков / ©Ehsaneddin Asgari et al., arXiv.org, 2017

 

Описанный подход заключается в том, что лингвист самостоятельно определяет и отмечает в нескольких переводах потенциальные маркеры языка и ассоциирующиеся с ними понятия. Затем наиболее близкие соответствия в остальном тексте объединяются в кластеры путем автоматического анализа. Методика испытывалась на 100 случайно отобранных переводах Нового Завета: исследователи выделили маркеры разных форм времени. Несмотря на необходимость дальнейшего совершенствования, полученная карта позволяет выяснить, какие языки используют схожую грамматику при образовании времен.

 

К недостаткам техники ученые отнесли низкую чувствительность: так, она не рассчитана на различение словоформ. Потенциально, помимо обучения автоматических переводчиков, она в то же время может использоваться для изучения эволюции языков. Ранее лингвисты из Германии и Австралии выяснили, почему люди склонны ошибаться при идентификации иностранных языков на слух — это в том числе объясняется схожей лексикой (например, в случае латышского и эстонского языков). Эксперимент, проводившийся в игровой форме, также позволил выявить фонетическое и географическое родство некоторых языков.

 

Исследование опубликовано на сервере препринтов arXiv.org.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
1 ноября, 12:08
ПНИПУ

В среднем человек зевает от семи до двадцати трех раз в день. Ученые Пермского Политеха рассказали, что происходит в этот момент с организмом, на кого не распространяется «заразительное» действие, как его эффект меняется в зависимости от наличия стресса, головной боли, сонливости и скуки и почему связь зевоты, нехватки воздуха и терморегуляции вторична.

1 ноября, 14:20
Игорь Байдов

Международная группа ученых провела необычный эксперимент. Исследователи взяли образцы фекалий у детей с разными типами темперамента и пересадили их крысам. После этого животные начали вести себя по-разному: те, кто получил микробиоту от активных детей, стали смелее и больше исследовали новое пространство. Это открытие намекает на то, что бактерии, живущие в кишечнике с детства, в какой-то мере способны влиять на формирование личности.

31 октября, 16:23
ФизТех

Ученые из Московского физико-технического института и НИЦ «Курчатовский институт» разработали новую теоретическую основу для описания фотоэффекта — одного из фундаментальных процессов взаимодействия света и вещества. Они впервые показали, что если измерять вероятность перехода электрона не в обычное, а в закрученное состояние, обладающее собственным моментом вращения, то можно предсказать и наблюдать новые типы асимметрий, особенно важных для изучения «зеркальных» молекул. Этот подход, обобщающий классическое явление фотоэлектронного циркулярного дихроизма, открывает путь к созданию более чувствительных методов анализа сложных органических соединений.

1 ноября, 14:20
Игорь Байдов

Международная группа ученых провела необычный эксперимент. Исследователи взяли образцы фекалий у детей с разными типами темперамента и пересадили их крысам. После этого животные начали вести себя по-разному: те, кто получил микробиоту от активных детей, стали смелее и больше исследовали новое пространство. Это открытие намекает на то, что бактерии, живущие в кишечнике с детства, в какой-то мере способны влиять на формирование личности.

1 ноября, 10:14
Максим

Международная команда ученых обнаружила в море Уэдделла ранее неизвестное место массового гнездования антарктических рыб Lindbergichthys nudifrons. Океанологи зафиксировали скопления более тысячи ухоженных гнезд, расположенных по сложным геометрическим узорам. Коллективное расселение помогает рыбам защищаться от хищников.

1 ноября, 08:50
Любовь С.

Обитающий в полярных районах Северного полушария гренландский кит (Balaena mysticetus) живет более двух столетий и почти не болеет раком. Секрет его долголетия оказался скрыт в клетках соединительной ткани, ответственной за заживление ран: при пониженной температуре в них активируется особый белок, усиливающий восстановление поврежденной ДНК.

25 октября, 10:40
Любовь С.

Проанализировав данные наблюдений, полученных с помощью наземных обсерваторий за последние два десятилетия, астрономы обнаружили потенциально обитаемый мир — суперземлю Gliese 251 c (GJ 251 с). Планета обращается вокруг красного карлика на расстоянии около 18 световых лет от Земли и считается одним из самых перспективных кандидатов для поисков жизни.

13 октября, 11:10
Илья Гриднев

Согласно новой гипотезе, сознание возникает не только из-за активности нейронов, но и благодаря физическим процессам — электромагнитным полям от движения жидкости в мозге. Эта модель, как и ее предшественники, пока носит теоретический характер, но предлагает нестандартный взгляд на проблему синхронизации работы разных отделов мозга.

24 октября, 14:02
РТУ МИРЭА

В современном доме, насыщенном разнообразной техникой, удлинители стали незаменимым атрибутом, позволяющим обеспечить электропитанием все необходимые устройства. Однако мало кто задумывается, что привычное использование этого аксессуара может нести серьезную угрозу безопасности. По статистике, значительная часть бытовых пожаров происходит из-за неправильной эксплуатации электропроводки и вспомогательных устройств. Какие приборы категорически нельзя подключать через удлинители и почему это может привести к трагическим последствиям, рассказывает профессор кафедры наноэлектроники РТУ МИРЭА, доктор физико-математических наук Алексей Юрасов.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно