• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
06.02.2024
Полина Меньшова
15 674

Аспирант доказал, что вековой математический закон способен ускорить обучение ИИ

6.5

Согласно исследованию Массачусетского технологического института (США), кодирование симметрий поможет языковым моделям обучаться на меньшем количестве данных. Это доказал аспирант, который применил закон Вейля к работе с нейросетями и сформулировал связь между симметричностью данных и размером обучающей выборки.

Кадр из сериала «Теория большого взрыва»
Кадр из сериала «Теория большого взрыва» / © wbd.com / Автор: Наталья Федосеева

Чтобы языковая модель работала корректно, ее необходимо обучить на достаточном количестве данных (обучающая выборка). Далее алгоритм тестируют на других данных, которые называются валидационной выборкой. Чем меньше нейросеть ошибается на валидации, тем выше точность алгоритма и качественнее результат работы.

Иногда, чтобы обучить алгоритм, нужно большое количество данных. Если они есть, обучение просто занимает много времени. Когда их не хватает, как бывает, например, в вычислительной химии, это напрямую влияет на результаты исследований. Аспирант Массачусетского технологического института Бехруз Тахмасеби (Behrooz Tahmasebi) еще в студенческие годы предположил, что машинное обучение можно рассмотреть в плоскости дифференциальной геометрии.

Закон, который использовал Тахмасеби, больше века назад сформулировал немецкий математик Герман Вейль. Полученную им формулу традиционно применяли к физическим процессам, например к колебанию струны. Аспирант заметил: закон связан с оценкой входных данных (измеряет сложность спектральной информации), однако не учитывает симметрию. Тахмасеби допустил, что адаптированная формула может облегчить машинное обучение.

В соавторстве с доцентом Технического университета Мюнхена (Германия), приглашенным преподавателем МТИ Стефани Джегелкой (Stefanie Jegelka) Тахмасеби сформулировал и доказал теорему, которая демонстрирует линейную зависимость между количеством симметрий во входных данных и скоростью обучения нейросети. Если алгоритм обучается на изображениях, которые можно разделить на две симметричные части, то нейросетевой модели при кодировании симметрий понадобится «запомнить» в два раза меньше информации (половину картинки) и потратить в два раза меньше времени. Если симметричных фрагментов в каждом компоненте выборки 10, то и время обучения нейросети снизится в 10 раз. Точность алгоритма при этом не пострадает или даже увеличится.

С помощью открытия Тахмасеби и Джегелки можно решать и менее очевидные задачи. Допустим, нейросети необходимо выбрать все картинки, на которых есть цифра «3». Если не учитывать симметрии, то алгоритм будет внимателен к ее местонахождению (вверху поля, внизу, по центру, справа и так далее) и положению (перевернута, наклонена). Когда симметричность данных закодируют, модель узнает цифру «3» на изображении вне зависимости от того, как ее на нем разместили.

В научной статье, которую высоко оценили на Конференции по машинному обучению и вычислительной нейронауке и препринт которой доступен на arxiv.org, Тахмасеби и Джегелка сделали еще один значимый вывод. Если использовать многомерную симметрию, преимущество будет экспоненциальным. Вторая теорема исследователей демонстрирует, что это максимальный результат, которого можно достичь. Представленный в работе алгоритм при этом универсален: он применим к любым симметриям — в том числе к тем, которые откроют в будущем.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 12:01
Юлия Трепалина

Американские исследователи провели эксперимент, который показал, сколько микропластиковых частиц может потенциально проглатывать человек, пока жует натуральную или синтетическую жвачку. Ученые призвали задуматься, стоит ли подвергать организм дополнительному воздействию микропластика. Хотя однозначных свидетельств его вреда для людей на сегодня нет, результаты исследований по этому вопросу вызывают в научном сообществе все больше беспокойства.

Вчера, 14:08
Березин Александр

Международное энергетическое агентство подвело итоги 2024 года в новом отчете. Мощности возобновляемой энергетики выросли на четверть всего за год. Все виды безуглеродной генерации впервые достигли 40% от мирового потребления электричества. Более того, из-за продолжающейся электрификации дорожного транспорта потребление им нефти сократилось.

Вчера, 15:30
ФизТех

Российские ученые продемонстрировали новый тип мод — октупольные квазизахваченные моды на метаповерхности, состоящей из нанодисков дисульфида молибдена MoS2. Это открытие способствует созданию эффективных концентраторов и нелинейных преобразователей света на основе метаповерхностей Ван-дер-Ваальса.

23 марта
Михаил Орлов

Крупные современные города России — продукт своеобразной эволюции. Их морфология может сочетать историческую застройку, советское наследие и здания времен рыночной экономики. Авторы новой статьи — ученые из ВШЭ и Института географии РАН — заинтересовались, насколько российские города соответствуют современной концепции 15-минутного города. Она описывает доступность инфраструктуры для жителей: могут ли те самостоятельно добраться (пешком или на велосипеде) до школ, больниц, театров и других необходимых заведений за четверть часа.

22 марта
Михаил Орлов

Прежде чем на Земле появились привычные нам животные, ее населяли «черновики Бога». Это таинственные существа, жившие в эдиакарском периоде и совсем не похожие на своих преемников. В новом исследовании ученые описали 211 окаменелостей мелкой двусторонне-симметричной Parvancorina minchami, найденных у берегов Белого моря. Авторы сумели реконструировать рост и развитие парванкорины, а также оценили продолжительность ее жизни.

21 марта
РТУ МИРЭА

В РТУ МИРЭА разработали образовательный проект — многопользовательскую игру API Wars, которая помогает развивать навыки программирования, frontend-разработки и социальной инженерии в увлекательной форме. Действие игры разворачивается в далеком будущем, где игроки, выступая в роли хакерских команд, пытаются взломать автоматизированный завод по производству роботов. Игра также вносит вклад в культурные тренды, используя элементы советского стиля.

15 марта
Юлия Трепалина

Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).

6 марта
Юлия Трепалина

В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.

18 марта
Илья

Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно