Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые придумали, как ускорить сетевой искусственный интеллект
Исследователи из МФТИ в соавторстве с коллегами из ОАЭ предложили решение, которое позволяет значительно улучшить производительность систем сетевого искусственного интеллекта и сократить расходы на их эксплуатацию. Разработка международного коллектива исследователей увеличит быстродействие и качество рекомендательных систем, поисковых сервисов, онлайн-переводчиков и многих других программных комплексов, которые задействуют алгоритмы машинного обучения. Кроме того, новшество позволит снять нагрузку с пользовательских устройств (смартфонов, планшетов, компьютеров), которые участвуют в процессе.
Результаты работ исследователи представили в качестве постерного доклада для публикации на конференции NeurIPS-2023. Это мировой форум по нейронным системам обработки информации, который пройдет в период с 10 по 16 декабря в Новом Орлеане, США.
Сетевые искусственные интеллекты — это программные комплексы, которые обладают способностью к обработке больших объемов данных и выявлению в них закономерностей. На основе этих умений они формируют рекомендации для принятия решений и предлагают ответы на различные задачи. Одно из главных преимуществ таких комплексов — их способность к самообучению и улучшению своих навыков с течением времени. Это позволяет им постоянно совершенствоваться и становиться более эффективными.
В настоящее время сетевые искусственные интеллекты применяют во многих отраслях промышленности и сферах общественной жизни. Например, их используют при анализе социальных сетей, в рекомендательных системах, в алгоритмах по распознаванию речи, в автоматических переводчиках и многих других приложениях.
Для развития таких комплексов специалисты используют алгоритмы машинного обучения. При этом результативность процесса во многом зависит от того, насколько оптимально выстроена коммуникация между устройствами конечных пользователей и серверами, на которых происходит обработка данных. Неэффективная коммуникация замедляет анализ и обновление моделей.
«С увеличением размера данных и моделей̆ сегодня требуется большее количество параллельных и распределенных вычислений для решения реальных задач машинного обучения. Между тем у распределенных подходов есть существенное узкое место — это стоимость коммуникаций», — прокомментировал предпосылки своей научной работы соавтор исследования, заведующий лабораторией фундаментальных исследований МФТИ — Яндекса Александр Безносиков.
Он добавил, что в основе машинного обучения находятся вариационные неравенства. Это математический инструмент, который вбирает в себя различные классы задач оптимизации. Такие задачи многим знакомы еще со школы. Например, в них находят минимальное значение некоторой целевой функции. В машинном обучении необходимо решать такие же, но значительно более сложные задачи.
«Большинство задач реального машинного обучения может быть представлено в виде вариационных неравенств. При этом основные способы, которые используют специалисты для уменьшения количества раундов связи и стоимости каждого раунда при решении вариационных неравенств распределенным образом, — это методы со сжатием посылок, методы, использующие похожесть локальных данных и методы локальных шагов», — рассказал Александр Безносиков.
Он пояснил, что первый из этих способов подразумевает пересылку не полного пакета информации, а только его части (например, пересылку случайной части посылки или округление чисел). Второй — основан на предположении, что если данные на вычислительных устройствах похожи, то для успешной коммуникации можно передавать только различия между ними. Третий способ ускоряет процесс машинного обучения за счет обновления данных на каждом узле перед обменом с другими узлами.
В некотором смысле, отметил специалист, второй и третий способы — противоположность первому. При сжатиях трафик снижается за счет уменьшения «посылок». А в подходах на основе схожести данных и локальных шагов стоимость обмена данными уменьшается, потому что коммуникации происходят реже.
По словам Александра Безносикова, каждый из перечисленных способов имеет свои преимущества и недостатки. Однако в исследовании ученые объединили три метода в один и получили мощный синергетический эффект.
«Суть нашего способа заключается в том, что на одном из устройств — условно, главном, некоем сервере — данные должны быть в некотором смысле похожи на те, которые имеются во всей сети. При этом на всех остальных устройствах данные могут быть сильно разнородными», — пояснил ученый.
По его словам, реализация такого способа позволяет ускорить сетевые коммуникации в десять раз по сравнению с базовыми алгоритмами и примерно в два раза по отношению к наиболее продвинутым из них. Кроме того, алгоритм хорош тем, что большинство вычислительных операций происходит на сервере. При этом пользовательские устройства (телефоны, планшеты и компьютеры) остаются незагруженными и, следовательно, могут спокойно выполнять свои прямые задачи.
Такой способ соотносится с одной из наиболее перспективных технологий машинного обучения — Federated learning (федеративным обучением). Эта методика подразумевает, что данные остаются на устройствах пользователей, а модель обновляется на сервере путем агрегации обученных моделей с различных устройств.
Александр Безносиков подчеркнул, что в ходе исследования новый метод был протестирован на простых экспериментальных задачах. В дальнейшем ученые намерены испытать его на более сложных программных комплексах. В том числе на языковых моделях — системах искусственного интеллекта, которые применяются для предсказания следующих слов и фраз на основе предыдущих.
В поиске сигналов от внеземных цивилизаций ученые решили сосредоточиться не на целенаправленных посланиях человечеству, а на случайных «утечках информации» из межпланетного пространства гипотетической обитаемой системы. По расчетам, в определенные моменты до нас могут доходить сигналы внеземной космической связи. Кстати, благодаря «общению» Земли с марсианскими и другими зондами мы тоже постоянно невольно сообщаем о себе в глубокий космос.
Группа ученых из Индии с помощью дронов впервые задокументировала полный цикл брачного поведения горбатых дельфинов вида Sousa plumbea. Исследователи полагают, что наблюдения помогут в сохранении этих животных, обитающих в прибрежных водах Индийского океана и страдающих от деятельности человека.
Модель, представленная учеными из коллаборации DESI и Мичиганского университета (США), может перевернуть представления о происхождении темной энергии. Авторы нового исследования полагают, что черные дыры, поглощая вещество, постепенно преобразовывают его в энергию, гипотетически ответственную за расширение Вселенной.
К 2025 году около 30 стран приняли программы по развитию водородной энергетики, а совокупный объем инвестиций в эту область превысил 150 миллиардов долларов. Эксперты полагают, что замена дизельных авто на водородные снизит выбросы на 80-90%, а водородные самолеты способны уменьшить углеродный след на 50-75%. Но при использовании водорода в двигателях внутреннего или внешнего сгорания, происходит взаимодействие с металлом, что наиболее опасно при высоких температурах. Это может вызвать их разрушение, в результате чего возникает риск пожара или взрыва с тяжелыми последствиями для пассажиров. Ученые Пермского Политеха впервые выяснили, как водород влияет на металлы в условиях экстремальных температур (800 градусов и выше), в которых работают двигатели самолетов и машин. Это продвинет авиационную, машиностроительную и нефтегазовую отрасли в безопасном использовании водорода в качестве источника энергии.
Ученые обнаружили косвенные доказательства существования мира размером с Землю за орбитой Нептуна. Эта гипотетическая планета отличается от предполагаемой Девятой планеты не только размером, но и гравитационным влиянием на другие объекты.
Большие кошки (Pantherinae) обычно охотятся на животных своего или меньшего размера. У снежных барсов, как выяснилось, другие предпочтения. Новое исследование показало, что ирбисы чаще нападают на взрослых горных козлов, которые как минимум вдвое превосходят хищников в весе. Ученые объяснили, с чем может быть связан такой выбор добычи.
Примерно 12 800 лет назад в Северном полушарии началось резкое изменение климата, которое сопровождалось вымиранием мегафауны и угасанием культуры Кловис. Такое могло произойти, например, из-за прорыва пресных вод в Атлантику или мощного вулканического извержения. Несколько лет назад ученые обнаружили места на суше с повышенным содержанием элементов платиновой группы, прослоями угля, микрочастицами расплава. По их мнению, это может быть признаком пребывания Земли в потоке обломков кометы или астероида. В новой работе впервые представлены доказательства кометного события в позднем дриасе из морских осадочных толщ.
Возраст находок — около 5500 лет, они лежат во множестве круглых ям, чьи стены укреплены кирпичом. Среди обнаруженных орудий из кремня есть и сотни неиспользованных, которые могут быть ритуальным подношением богам.
Гостингом (от английского «призрак») называют ситуацию, когда человек прекращает общение или отношения, «пропадая с радаров» без объяснения причин. Исследователи из США сымитировали такое поведение, а затем проанализировали реакцию людей на него.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Комментарии