Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые придумали, как ускорить сетевой искусственный интеллект
Исследователи из МФТИ в соавторстве с коллегами из ОАЭ предложили решение, которое позволяет значительно улучшить производительность систем сетевого искусственного интеллекта и сократить расходы на их эксплуатацию. Разработка международного коллектива исследователей увеличит быстродействие и качество рекомендательных систем, поисковых сервисов, онлайн-переводчиков и многих других программных комплексов, которые задействуют алгоритмы машинного обучения. Кроме того, новшество позволит снять нагрузку с пользовательских устройств (смартфонов, планшетов, компьютеров), которые участвуют в процессе.
Результаты работ исследователи представили в качестве постерного доклада для публикации на конференции NeurIPS-2023. Это мировой форум по нейронным системам обработки информации, который пройдет в период с 10 по 16 декабря в Новом Орлеане, США.
Сетевые искусственные интеллекты — это программные комплексы, которые обладают способностью к обработке больших объемов данных и выявлению в них закономерностей. На основе этих умений они формируют рекомендации для принятия решений и предлагают ответы на различные задачи. Одно из главных преимуществ таких комплексов — их способность к самообучению и улучшению своих навыков с течением времени. Это позволяет им постоянно совершенствоваться и становиться более эффективными.
В настоящее время сетевые искусственные интеллекты применяют во многих отраслях промышленности и сферах общественной жизни. Например, их используют при анализе социальных сетей, в рекомендательных системах, в алгоритмах по распознаванию речи, в автоматических переводчиках и многих других приложениях.
Для развития таких комплексов специалисты используют алгоритмы машинного обучения. При этом результативность процесса во многом зависит от того, насколько оптимально выстроена коммуникация между устройствами конечных пользователей и серверами, на которых происходит обработка данных. Неэффективная коммуникация замедляет анализ и обновление моделей.
«С увеличением размера данных и моделей̆ сегодня требуется большее количество параллельных и распределенных вычислений для решения реальных задач машинного обучения. Между тем у распределенных подходов есть существенное узкое место — это стоимость коммуникаций», — прокомментировал предпосылки своей научной работы соавтор исследования, заведующий лабораторией фундаментальных исследований МФТИ — Яндекса Александр Безносиков.
Он добавил, что в основе машинного обучения находятся вариационные неравенства. Это математический инструмент, который вбирает в себя различные классы задач оптимизации. Такие задачи многим знакомы еще со школы. Например, в них находят минимальное значение некоторой целевой функции. В машинном обучении необходимо решать такие же, но значительно более сложные задачи.
«Большинство задач реального машинного обучения может быть представлено в виде вариационных неравенств. При этом основные способы, которые используют специалисты для уменьшения количества раундов связи и стоимости каждого раунда при решении вариационных неравенств распределенным образом, — это методы со сжатием посылок, методы, использующие похожесть локальных данных и методы локальных шагов», — рассказал Александр Безносиков.
Он пояснил, что первый из этих способов подразумевает пересылку не полного пакета информации, а только его части (например, пересылку случайной части посылки или округление чисел). Второй — основан на предположении, что если данные на вычислительных устройствах похожи, то для успешной коммуникации можно передавать только различия между ними. Третий способ ускоряет процесс машинного обучения за счет обновления данных на каждом узле перед обменом с другими узлами.
В некотором смысле, отметил специалист, второй и третий способы — противоположность первому. При сжатиях трафик снижается за счет уменьшения «посылок». А в подходах на основе схожести данных и локальных шагов стоимость обмена данными уменьшается, потому что коммуникации происходят реже.
По словам Александра Безносикова, каждый из перечисленных способов имеет свои преимущества и недостатки. Однако в исследовании ученые объединили три метода в один и получили мощный синергетический эффект.
«Суть нашего способа заключается в том, что на одном из устройств — условно, главном, некоем сервере — данные должны быть в некотором смысле похожи на те, которые имеются во всей сети. При этом на всех остальных устройствах данные могут быть сильно разнородными», — пояснил ученый.
По его словам, реализация такого способа позволяет ускорить сетевые коммуникации в десять раз по сравнению с базовыми алгоритмами и примерно в два раза по отношению к наиболее продвинутым из них. Кроме того, алгоритм хорош тем, что большинство вычислительных операций происходит на сервере. При этом пользовательские устройства (телефоны, планшеты и компьютеры) остаются незагруженными и, следовательно, могут спокойно выполнять свои прямые задачи.
Такой способ соотносится с одной из наиболее перспективных технологий машинного обучения — Federated learning (федеративным обучением). Эта методика подразумевает, что данные остаются на устройствах пользователей, а модель обновляется на сервере путем агрегации обученных моделей с различных устройств.
Александр Безносиков подчеркнул, что в ходе исследования новый метод был протестирован на простых экспериментальных задачах. В дальнейшем ученые намерены испытать его на более сложных программных комплексах. В том числе на языковых моделях — системах искусственного интеллекта, которые применяются для предсказания следующих слов и фраз на основе предыдущих.
Ученые из Австралии исследовали влияние сексуальной активности, а именно — самоудовлетворения и полового контакта с партнером — на объективные и субъективные параметры сна, в том числе на мотивацию поутру и готовность к новому дню.
Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.
В 2023 году руководство особой экономической зоны «Алабуга» представило план развития до 2048-го: он предполагает освоение космического пространства.
Ученые из Сколтеха исследовали разнообразие молекул, которые могут образовываться из атомов кислорода и углерода. Помимо широко известных углекислого и угарного газов, моделирование обнаружило две сотни экзотических, но относительно стабильных соединений этих двух элементов, многие из которых не были описаны ранее. Этот класс веществ представляет интерес для исследований космоса, аккумуляторных технологий, биохимии и — неожиданным образом — для разработки промышленной взрывчатки и ракетного топлива. Как оказалось, некоторые из открытых веществ при распаде будут высвобождать более 75 процентов взрывной энергии тротила.
Два ключевых события сыграли решающую роль в формировании генетического профиля современных европейских народов. Первое связано с приходом ранних фермеров из Анатолии примерно восемь тысяч лет назад, второе — масштабная миграция на запад носителей ямной степной культуры, начавшаяся пять тысяч лет назад. Однако ученые видят множество отличий от общей картины в разных регионах. В новой работе они проанализировали ДНК древних жителей самого северо-запада Европы и обнаружили более тесную связь с охотниками-собирателями, чем где бы то ни было.
Ученые из Австралии исследовали влияние сексуальной активности, а именно — самоудовлетворения и полового контакта с партнером — на объективные и субъективные параметры сна, в том числе на мотивацию поутру и готовность к новому дню.
В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.
Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).
Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии