Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Аспирант доказал, что вековой математический закон способен ускорить обучение ИИ
Согласно исследованию Массачусетского технологического института (США), кодирование симметрий поможет языковым моделям обучаться на меньшем количестве данных. Это доказал аспирант, который применил закон Вейля к работе с нейросетями и сформулировал связь между симметричностью данных и размером обучающей выборки.
Чтобы языковая модель работала корректно, ее необходимо обучить на достаточном количестве данных (обучающая выборка). Далее алгоритм тестируют на других данных, которые называются валидационной выборкой. Чем меньше нейросеть ошибается на валидации, тем выше точность алгоритма и качественнее результат работы.
Иногда, чтобы обучить алгоритм, нужно большое количество данных. Если они есть, обучение просто занимает много времени. Когда их не хватает, как бывает, например, в вычислительной химии, это напрямую влияет на результаты исследований. Аспирант Массачусетского технологического института Бехруз Тахмасеби (Behrooz Tahmasebi) еще в студенческие годы предположил, что машинное обучение можно рассмотреть в плоскости дифференциальной геометрии.
Закон, который использовал Тахмасеби, больше века назад сформулировал немецкий математик Герман Вейль. Полученную им формулу традиционно применяли к физическим процессам, например к колебанию струны. Аспирант заметил: закон связан с оценкой входных данных (измеряет сложность спектральной информации), однако не учитывает симметрию. Тахмасеби допустил, что адаптированная формула может облегчить машинное обучение.
В соавторстве с доцентом Технического университета Мюнхена (Германия), приглашенным преподавателем МТИ Стефани Джегелкой (Stefanie Jegelka) Тахмасеби сформулировал и доказал теорему, которая демонстрирует линейную зависимость между количеством симметрий во входных данных и скоростью обучения нейросети. Если алгоритм обучается на изображениях, которые можно разделить на две симметричные части, то нейросетевой модели при кодировании симметрий понадобится «запомнить» в два раза меньше информации (половину картинки) и потратить в два раза меньше времени. Если симметричных фрагментов в каждом компоненте выборки 10, то и время обучения нейросети снизится в 10 раз. Точность алгоритма при этом не пострадает или даже увеличится.
С помощью открытия Тахмасеби и Джегелки можно решать и менее очевидные задачи. Допустим, нейросети необходимо выбрать все картинки, на которых есть цифра «3». Если не учитывать симметрии, то алгоритм будет внимателен к ее местонахождению (вверху поля, внизу, по центру, справа и так далее) и положению (перевернута, наклонена). Когда симметричность данных закодируют, модель узнает цифру «3» на изображении вне зависимости от того, как ее на нем разместили.
В научной статье, которую высоко оценили на Конференции по машинному обучению и вычислительной нейронауке и препринт которой доступен на arxiv.org, Тахмасеби и Джегелка сделали еще один значимый вывод. Если использовать многомерную симметрию, преимущество будет экспоненциальным. Вторая теорема исследователей демонстрирует, что это максимальный результат, которого можно достичь. Представленный в работе алгоритм при этом универсален: он применим к любым симметриям — в том числе к тем, которые откроют в будущем.
Telegram 
Дзен 
VK Японские биологи повторили античную технологию производства вина из изюма, чтобы выяснить механизм его брожения. Исследователи показали, что сушеный виноград, в отличие от свежего, накапливает на поверхности дикие дрожжи и способен превращать воду в алкоголь без внесения дополнительных заквасок.
Долгое время ученые полагали, что сотни гигантских статуй на острове Пасхи создали представители местной общины под руководством одного вождя. Однако авторы нового исследования поставили эту гипотезу под сомнение. Детальная трехмерная карта главного каменного карьера острова указала на более сложную картину. Вероятно, монументы были плодом творчества и соперничества небольших независимых групп.
Что стало настоящим фундаментом власти — умение обрабатывать землю или контроль над некоторыми культурными растениями? Авторы нового исследования пришли к выводу, что появление первых крупных сообществ и государств зависело не от земледелия в целом, а от выращивания определенных злаков. Эти культуры было легко хранить и, еще важнее, невероятно просто облагать налогом, что и дало толчок появлению цивилизации.
Так называемые зумеры и альфа, несмотря на молодой возраст, уже формируют ключевые поведенческие и потребительские тренды. Ученые Пермского Политеха рассказали, почему обозначение поколений начали с конца алфавита, как альфа и зумеры отличаются в способности к терпеливости, совмещении цифрового и реального «Я», подходу к профессиональной деятельности и отношении к финансам, какое мышление пришло на смену клиповому и как использование искусственного интеллекта повлияет на авторитет родителей.
Коллектив российских ученых из МИРЭА — Российского технологического университета, Центра фотоники двумерных материалов МФТИ, Института металлургии и материаловедения им. А. А. Байкова РАН и ряда других ведущих научных центров провел глубокое исследование кристаллической структуры широко используемых пьезоэлектрических материалов на основе цирконата-титаната свинца. Используя метод рентгеноструктурного анализа, исследователи впервые смогли в деталях установить, как небольшие химические добавки кардинально меняют фазовый состав керамики и напрямую определяют ее электрофизические характеристики. Это открывает путь к целенаправленному дизайну «умных» материалов с заранее заданными свойствами для передовой электроники и сенсорики.
Ученые разработали штамм цианобактерии, способный поглощать в три раза больше фосфора из сточных вод
Фосфор – элемент, играющий ключевую роль в росте растений. В сельском хозяйстве он используется в составе многих минеральных удобрений. В то же время фосфор, содержащийся в сточных водах — серьезный загрязнитель, который при попадании в водоемы нарушает баланс экосистем и вызывает цветение водорослей. Ученые Национального исследовательского центра «Курчатовский институт» и Южного федерального университета предложили новый экологичный способ выделения фосфора из сточных вод с помощью фотосинтезирующих микроорганизмов.
Человеческие языки разнообразны, но это разнообразие ограничивается повторяющимися закономерностями. Пытаясь описать правила, которым подчиняются различия в грамматике, лингвисты сформулировали ряд так называемых грамматических универсалий — утверждений, предположительно верных для всех или большинства языков мира. Международная команда ученых провела статистический анализ на материале 2430 языков и обнаружила, что соответствующими действительности можно считать около трети таких утверждений.
По расчетам, большинство «гостей» из других звездных систем летят к Земле примерно со стороны созвездия Геркулес. Скорее всего, они время от времени падают на нашу планету, просто мы еще не научились это замечать. Как удалось вычислить, чаще всего они должны падать зимой и где-то в окрестностях экватора.
Ученые открыли новый, ранее неизвестный способ передвижения бактерий по поверхностям, для которого не нужны жгутики. Эти микроорганизмы на краю колонии переваривают сахара, выделяют метаболиты и создают осмотическое давление. Оно вызывает микроскопическое «цунами», и на нем бактерии катятся вперед.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии