Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые придумали, как ускорить сетевой искусственный интеллект
Исследователи из МФТИ в соавторстве с коллегами из ОАЭ предложили решение, которое позволяет значительно улучшить производительность систем сетевого искусственного интеллекта и сократить расходы на их эксплуатацию. Разработка международного коллектива исследователей увеличит быстродействие и качество рекомендательных систем, поисковых сервисов, онлайн-переводчиков и многих других программных комплексов, которые задействуют алгоритмы машинного обучения. Кроме того, новшество позволит снять нагрузку с пользовательских устройств (смартфонов, планшетов, компьютеров), которые участвуют в процессе.
Результаты работ исследователи представили в качестве постерного доклада для публикации на конференции NeurIPS-2023. Это мировой форум по нейронным системам обработки информации, который пройдет в период с 10 по 16 декабря в Новом Орлеане, США.
Сетевые искусственные интеллекты — это программные комплексы, которые обладают способностью к обработке больших объемов данных и выявлению в них закономерностей. На основе этих умений они формируют рекомендации для принятия решений и предлагают ответы на различные задачи. Одно из главных преимуществ таких комплексов — их способность к самообучению и улучшению своих навыков с течением времени. Это позволяет им постоянно совершенствоваться и становиться более эффективными.
В настоящее время сетевые искусственные интеллекты применяют во многих отраслях промышленности и сферах общественной жизни. Например, их используют при анализе социальных сетей, в рекомендательных системах, в алгоритмах по распознаванию речи, в автоматических переводчиках и многих других приложениях.
Для развития таких комплексов специалисты используют алгоритмы машинного обучения. При этом результативность процесса во многом зависит от того, насколько оптимально выстроена коммуникация между устройствами конечных пользователей и серверами, на которых происходит обработка данных. Неэффективная коммуникация замедляет анализ и обновление моделей.
«С увеличением размера данных и моделей̆ сегодня требуется большее количество параллельных и распределенных вычислений для решения реальных задач машинного обучения. Между тем у распределенных подходов есть существенное узкое место — это стоимость коммуникаций», — прокомментировал предпосылки своей научной работы соавтор исследования, заведующий лабораторией фундаментальных исследований МФТИ — Яндекса Александр Безносиков.
Он добавил, что в основе машинного обучения находятся вариационные неравенства. Это математический инструмент, который вбирает в себя различные классы задач оптимизации. Такие задачи многим знакомы еще со школы. Например, в них находят минимальное значение некоторой целевой функции. В машинном обучении необходимо решать такие же, но значительно более сложные задачи.
«Большинство задач реального машинного обучения может быть представлено в виде вариационных неравенств. При этом основные способы, которые используют специалисты для уменьшения количества раундов связи и стоимости каждого раунда при решении вариационных неравенств распределенным образом, — это методы со сжатием посылок, методы, использующие похожесть локальных данных и методы локальных шагов», — рассказал Александр Безносиков.
Он пояснил, что первый из этих способов подразумевает пересылку не полного пакета информации, а только его части (например, пересылку случайной части посылки или округление чисел). Второй — основан на предположении, что если данные на вычислительных устройствах похожи, то для успешной коммуникации можно передавать только различия между ними. Третий способ ускоряет процесс машинного обучения за счет обновления данных на каждом узле перед обменом с другими узлами.
В некотором смысле, отметил специалист, второй и третий способы — противоположность первому. При сжатиях трафик снижается за счет уменьшения «посылок». А в подходах на основе схожести данных и локальных шагов стоимость обмена данными уменьшается, потому что коммуникации происходят реже.
По словам Александра Безносикова, каждый из перечисленных способов имеет свои преимущества и недостатки. Однако в исследовании ученые объединили три метода в один и получили мощный синергетический эффект.
«Суть нашего способа заключается в том, что на одном из устройств — условно, главном, некоем сервере — данные должны быть в некотором смысле похожи на те, которые имеются во всей сети. При этом на всех остальных устройствах данные могут быть сильно разнородными», — пояснил ученый.
По его словам, реализация такого способа позволяет ускорить сетевые коммуникации в десять раз по сравнению с базовыми алгоритмами и примерно в два раза по отношению к наиболее продвинутым из них. Кроме того, алгоритм хорош тем, что большинство вычислительных операций происходит на сервере. При этом пользовательские устройства (телефоны, планшеты и компьютеры) остаются незагруженными и, следовательно, могут спокойно выполнять свои прямые задачи.
Такой способ соотносится с одной из наиболее перспективных технологий машинного обучения — Federated learning (федеративным обучением). Эта методика подразумевает, что данные остаются на устройствах пользователей, а модель обновляется на сервере путем агрегации обученных моделей с различных устройств.
Александр Безносиков подчеркнул, что в ходе исследования новый метод был протестирован на простых экспериментальных задачах. В дальнейшем ученые намерены испытать его на более сложных программных комплексах. В том числе на языковых моделях — системах искусственного интеллекта, которые применяются для предсказания следующих слов и фраз на основе предыдущих.
Со временем одни воспоминания заменяются другими, но почему люди запоминают именно то, что запоминают? На этот вопрос ответили ученые из США, проанализировав более 100 исследований эпизодической памяти.
Ученые определили, что люди, населявшие Центральный Кавказ 18–10 тысяч лет назад, использовали для создания орудий охоты камень обсидиан из единственного месторождения — Заюковского. При этом другое популярное сырье — кремень — они добывали из десяти разных источников. Оказалось, что за кремнем оранжевого цвета древним охотникам приходилось путешествовать на расстояния более 200 километров, что указывает на наличие культурных связей с соседними регионами, где в этот период были распространены стоянки той же культурной традиции.
Одни из самых ярких объектов во Вселенной — квазары — представляют собой активные ядра галактик, питаемые центральными сверхмассивными черными дырами. Электромагнитное излучение, испускаемое этими объектами, позволяет астрономам изучать структуру Вселенной на ранних этапах ее развития, однако мощный радиоджет, исходящий от недавно обнаруженного экстремально яркого квазара J1601+3102, ставит под сомнение существующие представления о «космической заре».
Уникальный артефакт возрастом более 3600 лет считают древнейшим точным изображением неба в истории человечества. Ученые много лет задаются вопросом, как в бронзовом веке удалось создать настолько искусный образец художественной ковки. Чтобы разобраться в этом, они попросили опытных мастеров изготовить копии этого небесного диска.
Со временем одни воспоминания заменяются другими, но почему люди запоминают именно то, что запоминают? На этот вопрос ответили ученые из США, проанализировав более 100 исследований эпизодической памяти.
Ученые определили, что люди, населявшие Центральный Кавказ 18–10 тысяч лет назад, использовали для создания орудий охоты камень обсидиан из единственного месторождения — Заюковского. При этом другое популярное сырье — кремень — они добывали из десяти разных источников. Оказалось, что за кремнем оранжевого цвета древним охотникам приходилось путешествовать на расстояния более 200 километров, что указывает на наличие культурных связей с соседними регионами, где в этот период были распространены стоянки той же культурной традиции.
Международная коллаборация физиков под руководством ученых из Йельского университета в США представила самые убедительные на сегодня подтверждения существования нового типа сверхпроводящих материалов. Доказательство существования нематической фазы вещества — научный прорыв, открывающий путь к созданию сверхпроводимости совершенно новым способом.
Обсерватории постоянно улавливают «мигающие» радиосигналы из глубин Вселенной. Чаще всего их источниками оказываются нейтронные звезды, которые за это и назвали пульсарами. Но к недавно обнаруженному источнику GLEAM-X J0704-37 они, по мнению астрономов, отношения не имеют.
Многие одинокие люди считают, что окружающие не разделяют их взглядов. Психологи из США решили проверить, так ли это на самом деле, и обнаружили общую особенность у людей с недостаточным количеством социальных связей.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии