• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
04.12.2023
ФизТех
897

Ученые придумали, как ускорить сетевой искусственный интеллект

4.4

Исследователи из МФТИ в соавторстве с коллегами из ОАЭ предложили решение, которое позволяет значительно улучшить производительность систем сетевого искусственного интеллекта и сократить расходы на их эксплуатацию. Разработка международного коллектива исследователей увеличит быстродействие и качество рекомендательных систем, поисковых сервисов, онлайн-переводчиков и многих других программных комплексов, которые задействуют алгоритмы машинного обучения. Кроме того, новшество позволит снять нагрузку с пользовательских устройств (смартфонов, планшетов, компьютеров), которые участвуют в процессе.

Ученые придумали, как ускорить сетевой искусственный интеллект
Ученые придумали, как ускорить сетевой искусственный интеллект / © Getty images

Результаты работ исследователи представили в качестве постерного доклада для публикации на конференции NeurIPS-2023. Это мировой форум по нейронным системам обработки информации, который пройдет в период с 10 по 16 декабря в Новом Орлеане, США.

Сетевые искусственные интеллекты — это программные комплексы, которые обладают способностью к обработке больших объемов данных и выявлению в них закономерностей. На основе этих умений они формируют рекомендации для принятия решений и предлагают ответы на различные задачи. Одно из главных преимуществ таких комплексов — их способность к самообучению и улучшению своих навыков с течением времени. Это позволяет им постоянно совершенствоваться и становиться более эффективными.

В настоящее время сетевые искусственные интеллекты применяют во многих отраслях промышленности и сферах общественной жизни. Например, их используют при анализе социальных сетей, в рекомендательных системах, в алгоритмах по распознаванию речи, в автоматических переводчиках и многих других приложениях.

Для развития таких комплексов специалисты используют алгоритмы машинного обучения. При этом результативность процесса во многом зависит от того, насколько оптимально выстроена коммуникация между устройствами конечных пользователей и серверами, на которых происходит обработка данных. Неэффективная коммуникация замедляет анализ и обновление моделей.

«С увеличением размера данных и моделей̆ сегодня требуется большее количество параллельных и распределенных вычислений для решения реальных задач машинного обучения. Между тем у распределенных подходов есть существенное узкое место — это стоимость коммуникаций», — прокомментировал предпосылки своей научной работы соавтор исследования, заведующий лабораторией фундаментальных исследований МФТИ — Яндекса Александр Безносиков.

Он добавил, что в основе машинного обучения находятся вариационные неравенства. Это математический инструмент, который вбирает в себя различные классы задач оптимизации. Такие задачи многим знакомы еще со школы. Например, в них находят минимальное значение некоторой целевой функции. В машинном обучении необходимо решать такие же, но значительно более сложные задачи.

«Большинство задач реального машинного обучения может быть представлено в виде вариационных неравенств. При этом основные способы, которые используют специалисты для уменьшения количества раундов связи и стоимости каждого раунда при решении вариационных неравенств распределенным образом, — это методы со сжатием посылок, методы, использующие похожесть локальных данных и методы локальных шагов», — рассказал Александр Безносиков.

Он пояснил, что первый из этих способов подразумевает пересылку не полного пакета информации, а только его части (например, пересылку случайной части посылки или округление чисел). Второй — основан на предположении, что если данные на вычислительных устройствах похожи, то для успешной коммуникации можно передавать только различия между ними. Третий способ ускоряет процесс машинного обучения за счет обновления данных на каждом узле перед обменом с другими узлами.

В некотором смысле, отметил специалист, второй и третий способы — противоположность первому. При сжатиях трафик снижается за счет уменьшения «посылок». А в подходах на основе схожести данных и локальных шагов стоимость обмена данными уменьшается, потому что коммуникации происходят реже.

По словам Александра Безносикова, каждый из перечисленных способов имеет свои преимущества и недостатки. Однако в исследовании ученые объединили три метода в один и получили мощный синергетический эффект.

«Суть нашего способа заключается в том, что на одном из устройств — условно, главном, некоем сервере — данные должны быть в некотором смысле похожи на те, которые имеются во всей сети. При этом на всех остальных устройствах данные могут быть сильно разнородными», — пояснил ученый.

По его словам, реализация такого способа позволяет ускорить сетевые коммуникации в десять раз по сравнению с базовыми алгоритмами и примерно в два раза по отношению к наиболее продвинутым из них. Кроме того, алгоритм хорош тем, что большинство вычислительных операций происходит на сервере. При этом пользовательские устройства (телефоны, планшеты и компьютеры) остаются незагруженными и, следовательно, могут спокойно выполнять свои прямые задачи.

Такой способ соотносится с одной из наиболее перспективных технологий машинного обучения — Federated learning (федеративным обучением). Эта методика подразумевает, что данные остаются на устройствах пользователей, а модель обновляется на сервере путем агрегации обученных моделей с различных устройств.

Александр Безносиков подчеркнул, что в ходе исследования новый метод был протестирован на простых экспериментальных задачах. В дальнейшем ученые намерены испытать его на более сложных программных комплексах. В том числе на языковых моделях — системах искусственного интеллекта, которые применяются для предсказания следующих слов и фраз на основе предыдущих.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Московский физико-технический институт (национальный исследовательский университет), известен также как Физтех — ведущий российский вуз по подготовке специалистов в области теоретической, экспериментальной и прикладной физики, математики, информатики, химии, биологии и смежных дисциплин. Расположен в городе Долгопрудном Московской области, отдельные корпуса и факультеты находятся в Жуковском и в Москве.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Позавчера, 17:01
Андрей

Международная группа геологов выяснила, когда начал отступать антарктический ледник Туэйтса, который называют «ледником Судного дня».

Позавчера, 15:05
Ольга Иванова

Немецкие ученые изучили Danionella cerebrum — небольшой вид рыб длиной около 12 миллиметров. И выяснили, как эта крошка способна издавать звуки более 140 децибел.

Позавчера, 19:01
Юлия Трепалина

От газовой плиты в воздух на кухне, а затем и в органы дыхания попадает больше крошечных аэрозольных частиц размером в один-три нанометра, чем от выхлопов автомобилей, работающих на бензине или дизельном топливе. Это показал эксперимент в новом американо-немецком исследовании.

Позавчера, 15:05
Ольга Иванова

Немецкие ученые изучили Danionella cerebrum — небольшой вид рыб длиной около 12 миллиметров. И выяснили, как эта крошка способна издавать звуки более 140 децибел.

Позавчера, 17:01
Андрей

Международная группа геологов выяснила, когда начал отступать антарктический ледник Туэйтса, который называют «ледником Судного дня».

26 февраля
Дарья Губина

В 2022 году зонд DART столкнулся с Диморфом, спутником астероида Дидим. Ученые хотели проверить, можно ли сбить с траектории небольшое, но потенциально опасное для нашей жизни космическое тело. Оказалось, DART не только изменил орбиту маленького объекта, но и полностью его «переворошил».

20 февраля
Полина

В Российской академии наук завершили первый Большой словарь ударений, его издадут к концу года. Лингвисты собрали наиболее современные нормы произношения привычных слов и зафиксировали ударение для лексики, которая появилась в русском языке недавно.

1 февраля
Андрей

Канадские исследователи изучили состав пород, вышедших на поверхность при появлении первых континентов. По итогам анализа выяснилось, что новая земная кора возникла не в результате движения тектонических плит, а из-за процессов в океанических плато молодой Земли.

22 февраля
РНФ

Ученые показали, что экстремальный подъем уровня Каспийского моря на десятки метров, произошедший 18-13 тысяч лет назад и получивший название «Великая Хвалынская трансгрессия», мог быть вызван, вопреки существующим гипотезам, не таянием ледника, а естественными изменениями палеоклимата. Оказалось, что из-за холодного климата того периода обширные территории, с которых собирали воду впадающие в Каспий реки, были покрыты многолетней мерзлотой. В результате массы дождевых и талых вод почти не впитывались в мерзлые грунты и стекали в море, испарение с поверхности которого было небольшим. Все эти факторы привели к повышению уровня Каспия и увеличению площади моря более чем вдвое по сравнению с современным. Полученные данные помогут уточнить представления о масштабе колебаний уровня Каспийского моря при изменении климата.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: