Аспирант доказал, что вековой математический закон способен ускорить обучение ИИ
Согласно исследованию Массачусетского технологического института (США), кодирование симметрий поможет языковым моделям обучаться на меньшем количестве данных. Это доказал аспирант, который применил закон Вейля к работе с нейросетями и сформулировал связь между симметричностью данных и размером обучающей выборки.
Чтобы языковая модель работала корректно, ее необходимо обучить на достаточном количестве данных (обучающая выборка). Далее алгоритм тестируют на других данных, которые называются валидационной выборкой. Чем меньше нейросеть ошибается на валидации, тем выше точность алгоритма и качественнее результат работы.
Иногда, чтобы обучить алгоритм, нужно большое количество данных. Если они есть, обучение просто занимает много времени. Когда их не хватает, как бывает, например, в вычислительной химии, это напрямую влияет на результаты исследований. Аспирант Массачусетского технологического института Бехруз Тахмасеби (Behrooz Tahmasebi) еще в студенческие годы предположил, что машинное обучение можно рассмотреть в плоскости дифференциальной геометрии.
Закон, который использовал Тахмасеби, больше века назад сформулировал немецкий математик Герман Вейль. Полученную им формулу традиционно применяли к физическим процессам, например к колебанию струны. Аспирант заметил: закон связан с оценкой входных данных (измеряет сложность спектральной информации), однако не учитывает симметрию. Тахмасеби допустил, что адаптированная формула может облегчить машинное обучение.
В соавторстве с доцентом Технического университета Мюнхена (Германия), приглашенным преподавателем МТИ Стефани Джегелкой (Stefanie Jegelka) Тахмасеби сформулировал и доказал теорему, которая демонстрирует линейную зависимость между количеством симметрий во входных данных и скоростью обучения нейросети. Если алгоритм обучается на изображениях, которые можно разделить на две симметричные части, то нейросетевой модели при кодировании симметрий понадобится «запомнить» в два раза меньше информации (половину картинки) и потратить в два раза меньше времени. Если симметричных фрагментов в каждом компоненте выборки 10, то и время обучения нейросети снизится в 10 раз. Точность алгоритма при этом не пострадает или даже увеличится.
С помощью открытия Тахмасеби и Джегелки можно решать и менее очевидные задачи. Допустим, нейросети необходимо выбрать все картинки, на которых есть цифра «3». Если не учитывать симметрии, то алгоритм будет внимателен к ее местонахождению (вверху поля, внизу, по центру, справа и так далее) и положению (перевернута, наклонена). Когда симметричность данных закодируют, модель узнает цифру «3» на изображении вне зависимости от того, как ее на нем разместили.
В научной статье, которую высоко оценили на Конференции по машинному обучению и вычислительной нейронауке и препринт которой доступен на arxiv.org, Тахмасеби и Джегелка сделали еще один значимый вывод. Если использовать многомерную симметрию, преимущество будет экспоненциальным. Вторая теорема исследователей демонстрирует, что это максимальный результат, которого можно достичь. Представленный в работе алгоритм при этом универсален: он применим к любым симметриям — в том числе к тем, которые откроют в будущем.
Telegram 
Дзен 
VK Сотрудники Центра языка и мозга НИУ ВШЭ приняли участие в редкой для детской нейрохирургии операции с пробуждением у 11-летнего пациента с фармакорезистентной эпилепсией. Совместно с врачами НПЦ специализированной медицинской помощи детям имени В.Ф. Войно-Ясенецкого в Солнцево они сопровождали удаление участка левой височной доли, где был выявлен эпилептический очаг.
Анализ ДНК и изотопный анализ зубов показали, что мужчина генетически был связан с саамскими популяциями, но часть жизни провел за пределами Финляндии — возможно, в Исландии. Авторы нового исследования пришли к выводу, что на рубеже XVI-XVII веков саамские сообщества не были изолированы, как предполагали многие исследователи. Люди путешествовали на далекие расстояния и поддерживали контакты с дальними регионами Северной Атлантики.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Последние несколько лет по всему миру выходит множество работ о том, что микрочастицы искусственных полимеров накапливаются в тканях человека и могут быть небезопасны. Мы решили обратиться к академику Алексею Хохлову, чтобы дать трибуну противоположной точке зрения. Выбор между ними предлагаем сделать читателю.
Ученые РГУ нефти и газа (НИУ) имени И. М. Губкина предложили подход к отбору малодебетных нефтегазовых месторождений, которые составляют около 88% нераспределенного фонда нефтяных участков. Модель расчета поможет вовлечь в экономический оборот от 400 до 600 миллионов тонн ранее нерентабельных запасов.
В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.
Релиз довольно неожиданно перенес время образования протонов и нейтронов в более раннее прошлое Вселенной. К сожалению, из его текста осталось неясным научное обоснование таких фундаментальных изменений в космологии. Также он резко передвинул в прошлое и момент возникновения реликтового излучения.
При совпадении нескольких условий наши глаза способны улавливать излучение в ближнем инфракрасном спектре. Тогда сетчатка начинает работать как нелинейный фотодетектор.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии