Аспирант доказал, что вековой математический закон способен ускорить обучение ИИ
Согласно исследованию Массачусетского технологического института (США), кодирование симметрий поможет языковым моделям обучаться на меньшем количестве данных. Это доказал аспирант, который применил закон Вейля к работе с нейросетями и сформулировал связь между симметричностью данных и размером обучающей выборки.
Чтобы языковая модель работала корректно, ее необходимо обучить на достаточном количестве данных (обучающая выборка). Далее алгоритм тестируют на других данных, которые называются валидационной выборкой. Чем меньше нейросеть ошибается на валидации, тем выше точность алгоритма и качественнее результат работы.
Иногда, чтобы обучить алгоритм, нужно большое количество данных. Если они есть, обучение просто занимает много времени. Когда их не хватает, как бывает, например, в вычислительной химии, это напрямую влияет на результаты исследований. Аспирант Массачусетского технологического института Бехруз Тахмасеби (Behrooz Tahmasebi) еще в студенческие годы предположил, что машинное обучение можно рассмотреть в плоскости дифференциальной геометрии.
Закон, который использовал Тахмасеби, больше века назад сформулировал немецкий математик Герман Вейль. Полученную им формулу традиционно применяли к физическим процессам, например к колебанию струны. Аспирант заметил: закон связан с оценкой входных данных (измеряет сложность спектральной информации), однако не учитывает симметрию. Тахмасеби допустил, что адаптированная формула может облегчить машинное обучение.
В соавторстве с доцентом Технического университета Мюнхена (Германия), приглашенным преподавателем МТИ Стефани Джегелкой (Stefanie Jegelka) Тахмасеби сформулировал и доказал теорему, которая демонстрирует линейную зависимость между количеством симметрий во входных данных и скоростью обучения нейросети. Если алгоритм обучается на изображениях, которые можно разделить на две симметричные части, то нейросетевой модели при кодировании симметрий понадобится «запомнить» в два раза меньше информации (половину картинки) и потратить в два раза меньше времени. Если симметричных фрагментов в каждом компоненте выборки 10, то и время обучения нейросети снизится в 10 раз. Точность алгоритма при этом не пострадает или даже увеличится.
С помощью открытия Тахмасеби и Джегелки можно решать и менее очевидные задачи. Допустим, нейросети необходимо выбрать все картинки, на которых есть цифра «3». Если не учитывать симметрии, то алгоритм будет внимателен к ее местонахождению (вверху поля, внизу, по центру, справа и так далее) и положению (перевернута, наклонена). Когда симметричность данных закодируют, модель узнает цифру «3» на изображении вне зависимости от того, как ее на нем разместили.
В научной статье, которую высоко оценили на Конференции по машинному обучению и вычислительной нейронауке и препринт которой доступен на arxiv.org, Тахмасеби и Джегелка сделали еще один значимый вывод. Если использовать многомерную симметрию, преимущество будет экспоненциальным. Вторая теорема исследователей демонстрирует, что это максимальный результат, которого можно достичь. Представленный в работе алгоритм при этом универсален: он применим к любым симметриям — в том числе к тем, которые откроют в будущем.
Telegram 
Дзен 
VK Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Ученые МИЭМ ВШЭ предложили математическую модель, которая позволяет понять, как взаимодействие между сообществами влияет на их устойчивость. Работа основана на классической теории эволюционных игр и демонстрирует неожиданный эффект: даже небольшое информационное воздействие одного сообщества на другое может привести к тому, что одно из них сохранит внешнюю стабильность, а в другом начнутся хаотические изменения на уровне отдельных участников.
Физики Центра фотоники и двумерных материалов МФТИ совместно с коллегами из Алферовского университета и ИТМО показали, как управлять свечением углеродных точек, помещая их на полупроводниковые нанопровода.
Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.
Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.
Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии