• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
29.01.2024, 12:31
Илья Гриднев
1
5 532

Нейросеть на оптической основе оказалась в 100 раз энергоэффективнее обычной

❋ 4.2

Используя пространственный модулятор света и небольшой набор программируемых параметров, ученые проводили нелинейно-оптические вычисления внутри многомодовых волокон. Итоговая производительность работы их сети была сопоставима с нейросетями с более чем в 100 раз большим количеством параметров.

Оптоволоконные кабели / © pexels.com / Автор: Александр Литвинов

Современные генеративные модели искусственного интеллекта используют сотни миллиардов параметров для решения все более сложных задач. Обучение нейросетей таких масштабов требует огромных вычислительных мощностей, которые могут быть предоставлены только центрами обработки данных величиной с ангар, потребляющими энергию, эквивалентную потребностям в электричестве среднего по размеру города. Например, на обучение языковой модели GPT-3, которая имеет 175 миллиардов параметров, было потрачено 1,3 гигаватт-часа электроэнергии, что достаточно для полной зарядки 13 тысяч автомобилей Tesla Model S.

Для устойчивого развития искусственного интеллекта в его нынешнем темпе возникает необходимость переосмыслить как сами алгоритмы машинного обучения, так и требующееся для них вычислительное оборудование. Одним из решений может стать оптическая аппаратная реализация архитектуры нейронных сетей, то есть переход от опоры на чисто транзисторные вычислительные мощности к системам на оптоволоконной основе. В новом исследовании, опубликованном в журнале Advanced Photonics, группа ученых разработала такую нейросеть. 

Предложенная архитектура сочетает в себе оптическую составляющую с небольшим количеством программируемых в цифровом виде параметров. С помощью метода, известного как формирование волнового фронта, исследователи управляли ультракороткими импульсами в многомодовых волокнах — это волокна с большим диаметром сердцевины, проводящие лучи света благодаря эффекту полного внутреннего отражения. Такие оптические волокна поддерживают несколько поперечных мод для заданной оптической частоты и поляризации. С их помощью ученые осуществляли нелинейно-оптические вычисления со средней оптической мощностью, измеряемой всего в микроваттах. 

Схема архитектуры оптической нейросети. Пространственный модулятор света преобразует ультракороткие лазерные импульсы с помощью программируемой выборки данных. Луч идет по многомодовым волокнам, шаблон распространения записывается камерой. Обучаемый классификатор выходных данных вычисляет точность задачи, которая передается обратно в алгоритм суррогатной оптимизации. Этот алгоритм затем повышает производительность задачи за счет изучения различных программируемых параметров и уточнения потенциальных решений. / © Ilker Oguz et. al.

В результате производительность для задачи классификации изображений была сопоставима с цифровыми системами на транзисторной основе, имеющими в 100 с лишним раз большее количество параметров при одинаковом уровне точности. Ученые уменьшили количество параметров модели на 97 процентов, что привело к общему сокращению цифровых операций на 99 процентов по сравнению с аналогичной цифровой многослойной нейронной сетью, основанной на чисто транзисторной аппаратной части. Например, система приблизительно с двумя тысячами параметров работала так же хорошо, как типичная цифровая нейронная сеть более чем с 400 тысячами параметров.

Отдельно авторы рассмотрели вопрос скорости вычислений их нейросети, которая определяет итоговую скорость получения выводов от модели. Для их варианта сети она невысока и ограничена частотой обновления жидкокристаллического пространственного модулятора света. Это ограничение можно преодолеть, перейдя на более быстрый метод формирования волнового фронта: например, если использовать коммерческие цифровые микрозеркальные устройства и квадрантные фотодиоды — это фотодиоды, которые состоят из четырех оптически активных зон (излучающие диоды), разделенные между собой небольшим промежутком (их обычно используют для определения положения лазерных лучей друг относительно друга).

Реализуя ту же архитектуру оптических вычислений с набором коммерчески доступного высокоскоростного оборудования, можно было бы достичь производительности 25 терафлопс при общем энергопотреблении 12,6 ватта, что значительно ниже, чем потребление в 300 ватт классическим транзисторным графическим процессором с сопоставимой производительностью.

Обращает на себя внимание огромный разрыв в возможностях нейросетей на оптической элементной базе и на классической транзисторной. Если его удастся перенести в серийные коммерческие решения, то именно первые, по всей видимости, станут будущим в развитии больших языковых моделей, подобных GPT-4.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Автор материалов на стыке разных областей знания — от археологии и палеонтологии до физики и технологий. Интересуется тем, как работает мир, и рассказывает об этом понятно и увлекательно.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
9 июля, 08:26
Полина Меньшова

Подобрать тип физической активности, который лучше всего подходит человеку, можно исходя из особенностей его характера. Психологи из Великобритании определили, что люди с разными чертами личности получают больше удовольствия от разных видов спорта.

11 июля, 17:47
Денис Яковлев

Международная команда ученых оценила связь между длительностью физической активности, ее интенсивностью, риском смерти от всех причин и вероятностью развития сердечно-сосудистых и онкологических заболеваний.

11 июля, 10:30
ПНИПУ

В России от деменции страдает 1,5-1,8 миллиона человек. Распространенные формы — болезнь Альцгеймера, сосудистая, алкогольная деменции и так далее. Однако существует и малоизученная разновидность — деменция Пика. Она опасна тем, что поражает пациентов в относительно раннем возрасте, до 60 лет. Но из-за сложной диагностики и схожести симптомов с другими видами деменции часто остается не выявленной. Точных данных по России нет, так как заболевание редко фиксируется. Ученые Пермского Политеха и ПГМУ имени Вагнера провели морфологическое исследование мозга пациентки с симптомами деменции и подтвердили болезнь Пика. Это первое подобное исследование за 25 лет, которое поможет в диагностике и изучении заболевания.

8 июля, 09:23
Полина Меньшова

Принято считать, что люди с развитыми когнитивными способностями отличаются высокими моральными принципами. Ученые из Великобритании решили проверить этот тезис научными методами и пришли к противоположному выводу.

9 июля, 08:26
Полина Меньшова

Подобрать тип физической активности, который лучше всего подходит человеку, можно исходя из особенностей его характера. Психологи из Великобритании определили, что люди с разными чертами личности получают больше удовольствия от разных видов спорта.

9 июля, 12:05
Редакция Naked Science

В июне 2025 года ВК покинули 1,2 миллиона авторов контента. Это резкое ускорение их бегства в сравнении с предшествующими месяцами. Одновременно число авторов на других платформах растет, в результате по этому показателю соцсеть обогнал не только Telegram, но и запрещенный Instagram*. Причиной происходящего многие наблюдатели посчитали совокупность решений менеджмента компании за последние годы.

17 июня, 16:49
Адель Романова

Радиотелескопы уловили очень короткий сигнал, и по его характеристикам стало ясно, что он не может быть естественного происхождения. Астрономы пришли к выводу, что источник находился в околоземном пространстве — там, где уже более полувека летает «мертвый» аппарат NASA.

25 июня, 15:19
ФизТех

Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.

2 июля, 11:17
Юлия Тарасова

Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.

[miniorange_social_login]

Комментарии

1 Комментарий
Kiridan
30.01.2024
-
1
+
Пардон, но "флопс в час" это дикая тавтология.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно