• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
17.05.2017
Редакция Naked Science
455

Новый Завет поможет в спасении исчезающих языков

Международная группа лингвистов опубликовала параллельный корпус переводов Нового Завета, который может использоваться в обучении алгоритмов машинного перевода.

brms7_matthew2-3_1000
©Wikipedia / Автор: Ольга Кузьмина

В настоящее время в мире существует порядка семи тысяч языков. Подавляющее большинство людей (95 процентов) говорит лишь на 100 из них, тогда как около половины используют только английский, русский, китайский, испанский и хинди.  Носителями примерно трети живых языков выступают менее одной тысячи человек — в ближайшее столетие этим диалектам грозит исчезновение. Вместе с языками под угрозой находится соответствующее культурное наследие, в том числе специфические абстрактные понятия и идиомы. Предполагается, что алгоритмы машинного перевода могут помочь в их сохранении.

 

Однако для успешного освоения материала системам машинного обучения требуются большие объемы текстов, аннотированных на языке. Необходимое количество размеченных стимулов существует только для некоторых языков. Например, крупнейший сервис онлайн-перевода Google Translate рассчитан на работу всего с 90 языками. Поэтому ученые ищут способы, которые позволяют обучать алгоритмы на сравнительно малых объемах аннотированных текстов. В новой работе специалисты из Мюнхенского университета Людвига-Максимилиана и Калифорнийского университета в Беркли представили такую технологию.

 

На первом этапе авторы создали корпус из 1169 переводов Нового Завета — наиболее распространенного текста в мире. Несмотря на объем, незначительный для стандартных тренировок автоматических переводчиков, он обладает важным преимуществом: благодаря религиозному содержанию Новый Завет широко представлен в различных языковых системах. Учитывая, что почти ни один вариант перевода не позволяет оценить все уровни языков, ученые предположили, что они, тем не менее, могут обеспечить представление о базовых грамматических категориях. Сопоставлять образцы они предложили по лингвистическим функциям.

 

Новый Завет поможет в спасении исчезающих языков – иллюстрация к материалу на Naked Science

Кластеризация маркеров будущего времени на примере 100 языков / ©Ehsaneddin Asgari et al., arXiv.org, 2017

 

Описанный подход заключается в том, что лингвист самостоятельно определяет и отмечает в нескольких переводах потенциальные маркеры языка и ассоциирующиеся с ними понятия. Затем наиболее близкие соответствия в остальном тексте объединяются в кластеры путем автоматического анализа. Методика испытывалась на 100 случайно отобранных переводах Нового Завета: исследователи выделили маркеры разных форм времени. Несмотря на необходимость дальнейшего совершенствования, полученная карта позволяет выяснить, какие языки используют схожую грамматику при образовании времен.

 

К недостаткам техники ученые отнесли низкую чувствительность: так, она не рассчитана на различение словоформ. Потенциально, помимо обучения автоматических переводчиков, она в то же время может использоваться для изучения эволюции языков. Ранее лингвисты из Германии и Австралии выяснили, почему люди склонны ошибаться при идентификации иностранных языков на слух — это в том числе объясняется схожей лексикой (например, в случае латышского и эстонского языков). Эксперимент, проводившийся в игровой форме, также позволил выявить фонетическое и географическое родство некоторых языков.

 

Исследование опубликовано на сервере препринтов arXiv.org.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Сегодня, 07:34
Андрей Папиш

Человечество много тысячелетий живет рядом с разными вредителями. Вездесущие тараканы, мыши, крысы, вши, комары, а также множество врагов сельского хозяйства. Особый научный интерес — выяснить, откуда эти спутники людей переселились и как давно с нами соседствуют. Энтомологи выяснили, что кровососущие постельные клопы живут с человеком более 10 тысяч лет, то есть, вероятно, дольше прочих насекомых-синантропов.

11 часов назад
Юлия Трепалина

Павианы, живущие большими социальными группами, часто перемещаются по своей территории коллективно, словно выстроившись в цепочку с определенным порядком. В прошлых исследованиях это объясняли по-разному. В некоторых работах сообщалось, что расположение обезьян случайно, но в других отмечалось, что это преднамеренная стратегия, с помощью которой павианы защищают уязвимых сородичей, помещая их в центр «строя». Недавно международная группа ученых с помощью высокоточного GPS-отслеживания прояснила этот вопрос.

11 часов назад
Игорь Байдов

Звезда TOI-6894 — красный карлик, который в пять раз легче Солнца. Согласно теоретическим моделям, в протопланетном диске столь маломассивных звезд нет достаточно материала, чтобы впоследствии на их орбите сформировался газовый гигант, подобно Юпитеру. Однако международная команда астрономов с помощью наземных телескопов обнаружила несомненные признаки присутствия гигантской планеты вблизи TOI-6894. Открытие ставит под сомнение сложившееся представление о формировании планет.

Сегодня, 07:34
Андрей Папиш

Человечество много тысячелетий живет рядом с разными вредителями. Вездесущие тараканы, мыши, крысы, вши, комары, а также множество врагов сельского хозяйства. Особый научный интерес — выяснить, откуда эти спутники людей переселились и как давно с нами соседствуют. Энтомологи выяснили, что кровососущие постельные клопы живут с человеком более 10 тысяч лет, то есть, вероятно, дольше прочих насекомых-синантропов.

Позавчера, 20:01
Юлия Трепалина

Американские исследователи создали плодовых мушек, способных пристраститься к кокаину. Генетически модифицированных насекомых планируют использовать для изучения основ кокаиновой зависимости у людей.

29 мая
НИУ ВШЭ

Команда российских исследователей, включая ученых из НИУ ВШЭ, применили искусственный интеллект для анализа подписок 4,5 тысячи студентов на VK-сообщества. Оказалось, что алгоритмы могут с высокой точностью предсказывать, кто отличник, а у кого трудности с учебой.

6 мая
Редакция Naked Science

Да, с волосами и люком все так. У космонавта Суниты Уильямс волосы на МКС плавали свободно, а у Кэти Пэрри и прочих в полете 14 апреля 2025 года — нет. Но это не значит, что суборбитального космического полета первого чисто женского экипажа не было или что он был инсценировкой. Причем, в общем-то, чтобы понять это, даже не нужно обладать специальными знаниями.

22 мая
ПНИПУ

Недавно вышел второй сезон сериала «Одни из нас» (TheLastofUs), созданного по сюжету популярнейшей видеоигры. Ученые Пермского Политеха решили разобраться, насколько реален сценарий грибной пандемии, превращающей людей зомби? Чем живет кордицепс и как он «ищет» своих жертв, действительно ли паразит способен эволюционировать настолько, чтобы поражать человеческий организм и подчинять себе его волю, был бы у людей шанс выжить, какие грибы уже поселились в наших телах и выручит ли нас иммунитет, сформированный тысячелетиями.

6 мая
Александр Березин

Мощнейшее отключение электроэнергии за последние 20 лет истории Европы случилось уже неделю назад, а испанские власти пока так и не объявили о его причинах. Это логично: как мы покажем ниже, ответ на вопрос, кто виноват, получится очень неполиткорректным. И, более того, противоречащим линии правящей в Испании партии. Но мы живем за тысячи километров от нее, поэтому можем себе позволить аполитичный анализ случившегося. Так что же произошло на самом деле и каковы наши шансы увидеть подобное у себя дома?

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно