• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
29.01.2024
Илья Гриднев
1
5 506

Нейросеть на оптической основе оказалась в 100 раз энергоэффективнее обычной

4.2

Используя пространственный модулятор света и небольшой набор программируемых параметров, ученые проводили нелинейно-оптические вычисления внутри многомодовых волокон. Итоговая производительность работы их сети была сопоставима с нейросетями с более чем в 100 раз большим количеством параметров.

Оптоволоконные кабели / © pexels.com / Автор: Александр Литвинов

Современные генеративные модели искусственного интеллекта используют сотни миллиардов параметров для решения все более сложных задач. Обучение нейросетей таких масштабов требует огромных вычислительных мощностей, которые могут быть предоставлены только центрами обработки данных величиной с ангар, потребляющими энергию, эквивалентную потребностям в электричестве среднего по размеру города. Например, на обучение языковой модели GPT-3, которая имеет 175 миллиардов параметров, было потрачено 1,3 гигаватт-часа электроэнергии, что достаточно для полной зарядки 13 тысяч автомобилей Tesla Model S.

Для устойчивого развития искусственного интеллекта в его нынешнем темпе возникает необходимость переосмыслить как сами алгоритмы машинного обучения, так и требующееся для них вычислительное оборудование. Одним из решений может стать оптическая аппаратная реализация архитектуры нейронных сетей, то есть переход от опоры на чисто транзисторные вычислительные мощности к системам на оптоволоконной основе. В новом исследовании, опубликованном в журнале Advanced Photonics, группа ученых разработала такую нейросеть. 

Предложенная архитектура сочетает в себе оптическую составляющую с небольшим количеством программируемых в цифровом виде параметров. С помощью метода, известного как формирование волнового фронта, исследователи управляли ультракороткими импульсами в многомодовых волокнах — это волокна с большим диаметром сердцевины, проводящие лучи света благодаря эффекту полного внутреннего отражения. Такие оптические волокна поддерживают несколько поперечных мод для заданной оптической частоты и поляризации. С их помощью ученые осуществляли нелинейно-оптические вычисления со средней оптической мощностью, измеряемой всего в микроваттах. 

Схема архитектуры оптической нейросети. Пространственный модулятор света преобразует ультракороткие лазерные импульсы с помощью программируемой выборки данных. Луч идет по многомодовым волокнам, шаблон распространения записывается камерой. Обучаемый классификатор выходных данных вычисляет точность задачи, которая передается обратно в алгоритм суррогатной оптимизации. Этот алгоритм затем повышает производительность задачи за счет изучения различных программируемых параметров и уточнения потенциальных решений. / © Ilker Oguz et. al.

В результате производительность для задачи классификации изображений была сопоставима с цифровыми системами на транзисторной основе, имеющими в 100 с лишним раз большее количество параметров при одинаковом уровне точности. Ученые уменьшили количество параметров модели на 97 процентов, что привело к общему сокращению цифровых операций на 99 процентов по сравнению с аналогичной цифровой многослойной нейронной сетью, основанной на чисто транзисторной аппаратной части. Например, система приблизительно с двумя тысячами параметров работала так же хорошо, как типичная цифровая нейронная сеть более чем с 400 тысячами параметров.

Отдельно авторы рассмотрели вопрос скорости вычислений их нейросети, которая определяет итоговую скорость получения выводов от модели. Для их варианта сети она невысока и ограничена частотой обновления жидкокристаллического пространственного модулятора света. Это ограничение можно преодолеть, перейдя на более быстрый метод формирования волнового фронта: например, если использовать коммерческие цифровые микрозеркальные устройства и квадрантные фотодиоды — это фотодиоды, которые состоят из четырех оптически активных зон (излучающие диоды), разделенные между собой небольшим промежутком (их обычно используют для определения положения лазерных лучей друг относительно друга).

Реализуя ту же архитектуру оптических вычислений с набором коммерчески доступного высокоскоростного оборудования, можно было бы достичь производительности 25 терафлопс при общем энергопотреблении 12,6 ватта, что значительно ниже, чем потребление в 300 ватт классическим транзисторным графическим процессором с сопоставимой производительностью.

Обращает на себя внимание огромный разрыв в возможностях нейросетей на оптической элементной базе и на классической транзисторной. Если его удастся перенести в серийные коммерческие решения, то именно первые, по всей видимости, станут будущим в развитии больших языковых моделей, подобных GPT-4.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 16:30
Березин Александр

Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.

Сегодня, 10:55
Игорь Байдов

Богатые люди в США могут позволить себе лучшие клиники, персональных врачей и здоровое питание. Но они все равно умирают раньше, чем их состоятельные сверстники в Европе. Авторы нового исследования выяснили, что разрыв в продолжительности жизни между Старым Светом и Америкой сохраняется на всех уровнях богатства.

Вчера, 12:59
Unitsky String Technologies Inc.

Рынок электромобилей стремительно расширяется. На нем представлены не только пассажирские, но и грузовые модели, а также специализированный транспорт. Сегодня главные задачи по совершенствованию транспорта на электрической тяге — увеличение пробега на одной заправке (зарядке), повышение емкости и долговечности накопителей, применение экологически «чистых» аккумуляторов на всем его жизненном цикле. Все эти задачи связаны с одним важным конструктивным элементом — аккумуляторной батареей, которая все еще остается «головной болью» многих ученых и конструкторов мира. Над решением этих задач работают и специалисты компании UST Inc. Результаты их исследований показывают, что ставку в ближайшей перспективе нужно делать не на литий-ионные аккумуляторы.

Вчера, 16:30
Березин Александр

Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.

31 марта
Татьяна

Два ключевых события сыграли решающую роль в формировании генетического профиля современных европейских народов. Первое связано с приходом ранних фермеров из Анатолии примерно восемь тысяч лет назад, второе — масштабная миграция на запад носителей ямной степной культуры, начавшаяся пять тысяч лет назад. Однако ученые видят множество отличий от общей картины в разных регионах. В новой работе они проанализировали ДНК древних жителей самого северо-запада Европы и обнаружили более тесную связь с охотниками-собирателями, чем где бы то ни было.

Позавчера, 07:03
Мария Азарова

Ученые из Австралии исследовали влияние сексуальной активности, а именно — самоудовлетворения и полового контакта с партнером — на объективные и субъективные параметры сна, в том числе на мотивацию поутру и готовность к новому дню.

6 марта
Юлия Трепалина

В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.

15 марта
Юлия Трепалина

Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).

18 марта
Илья

Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.

[miniorange_social_login]

Комментарии

1 Комментарий
Kiridan
30.01.2024
-
1
+
Пардон, но "флопс в час" это дикая тавтология.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно