Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейросеть на оптической основе оказалась в 100 раз энергоэффективнее обычной
Используя пространственный модулятор света и небольшой набор программируемых параметров, ученые проводили нелинейно-оптические вычисления внутри многомодовых волокон. Итоговая производительность работы их сети была сопоставима с нейросетями с более чем в 100 раз большим количеством параметров.
Современные генеративные модели искусственного интеллекта используют сотни миллиардов параметров для решения все более сложных задач. Обучение нейросетей таких масштабов требует огромных вычислительных мощностей, которые могут быть предоставлены только центрами обработки данных величиной с ангар, потребляющими энергию, эквивалентную потребностям в электричестве среднего по размеру города. Например, на обучение языковой модели GPT-3, которая имеет 175 миллиардов параметров, было потрачено 1,3 гигаватт-часа электроэнергии, что достаточно для полной зарядки 13 тысяч автомобилей Tesla Model S.
Для устойчивого развития искусственного интеллекта в его нынешнем темпе возникает необходимость переосмыслить как сами алгоритмы машинного обучения, так и требующееся для них вычислительное оборудование. Одним из решений может стать оптическая аппаратная реализация архитектуры нейронных сетей, то есть переход от опоры на чисто транзисторные вычислительные мощности к системам на оптоволоконной основе. В новом исследовании, опубликованном в журнале Advanced Photonics, группа ученых разработала такую нейросеть.
Предложенная архитектура сочетает в себе оптическую составляющую с небольшим количеством программируемых в цифровом виде параметров. С помощью метода, известного как формирование волнового фронта, исследователи управляли ультракороткими импульсами в многомодовых волокнах — это волокна с большим диаметром сердцевины, проводящие лучи света благодаря эффекту полного внутреннего отражения. Такие оптические волокна поддерживают несколько поперечных мод для заданной оптической частоты и поляризации. С их помощью ученые осуществляли нелинейно-оптические вычисления со средней оптической мощностью, измеряемой всего в микроваттах.
В результате производительность для задачи классификации изображений была сопоставима с цифровыми системами на транзисторной основе, имеющими в 100 с лишним раз большее количество параметров при одинаковом уровне точности. Ученые уменьшили количество параметров модели на 97 процентов, что привело к общему сокращению цифровых операций на 99 процентов по сравнению с аналогичной цифровой многослойной нейронной сетью, основанной на чисто транзисторной аппаратной части. Например, система приблизительно с двумя тысячами параметров работала так же хорошо, как типичная цифровая нейронная сеть более чем с 400 тысячами параметров.
Отдельно авторы рассмотрели вопрос скорости вычислений их нейросети, которая определяет итоговую скорость получения выводов от модели. Для их варианта сети она невысока и ограничена частотой обновления жидкокристаллического пространственного модулятора света. Это ограничение можно преодолеть, перейдя на более быстрый метод формирования волнового фронта: например, если использовать коммерческие цифровые микрозеркальные устройства и квадрантные фотодиоды — это фотодиоды, которые состоят из четырех оптически активных зон (излучающие диоды), разделенные между собой небольшим промежутком (их обычно используют для определения положения лазерных лучей друг относительно друга).
Реализуя ту же архитектуру оптических вычислений с набором коммерчески доступного высокоскоростного оборудования, можно было бы достичь производительности 25 терафлопс при общем энергопотреблении 12,6 ватта, что значительно ниже, чем потребление в 300 ватт классическим транзисторным графическим процессором с сопоставимой производительностью.
Обращает на себя внимание огромный разрыв в возможностях нейросетей на оптической элементной базе и на классической транзисторной. Если его удастся перенести в серийные коммерческие решения, то именно первые, по всей видимости, станут будущим в развитии больших языковых моделей, подобных GPT-4.
Telegram 
Дзен 
VK Ученые давно знают как с хорошим приближением прогнозировать рост поверхностей. Но экспериментально подтвердить точное соответствие реальных процессов и модели — гораздо более сложная задача, у которой, тем не менее, есть решение.
На Меркурии может появиться первый в истории «вечный рассвет»: ученые предложили отправить туда планетоход, который будет постоянно ехать вдоль границы дня и ночи. Подход открывает путь к изучению одного из самых загадочных миров Солнечной системы без риска разрушительного перегрева.
Энтомологи сравнили устойчивость коммерческих и диких гибридных медоносных пчел к главному паразиту ульев — клещу варроа. Полевые и лабораторные тесты показали, что гибриды заражаются в пять раз реже, поскольку их личинки не нравятся паразитам. Пчела-гибрид выживает без регулярных химических обработок и, что важно для пчеловодов, сохраняет миролюбивый характер.
Когда международная экспедиционная группа, исследующая море Уэдделла в Антарктиде на борту ледокола «Поларштерн», попыталась укрыться от шторма, ученые и экипаж судна удивились внезапному появлению острова, не обозначенного ни на одной морской карте.
Ученые давно знают как с хорошим приближением прогнозировать рост поверхностей. Но экспериментально подтвердить точное соответствие реальных процессов и модели — гораздо более сложная задача, у которой, тем не менее, есть решение.
Окаменелые остатки рептилии возрастом 289 миллионов лет сохранили полное анатомическое устройство грудной клетки ранних покорителей суши. Благодаря нетронутым хрящам исследователи реконструировали механику первого полноценного реберного дыхания. Наличие в тканях оригинальных белков подтвердило, что сложные органические молекулы способны сохраняться в палеонтологической летописи почти на 100 миллионов лет дольше, чем считалось.
В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.
Марсоход «Персеверанс» обнаружил в камнях на кромке кратера Езеро спектральные признаки минерала корунда, из которого на Земле образуются рубины и сапфиры. Такие спектры на Красной планете зарегистрировали впервые. Теперь ученые пытаются понять, при каких процессах он мог там сформироваться, ведь условия на Марсе заметно отличаются от тех, в которых корунд обычно образуется на Земле.
Четыре человека, летящие к Луне, столкнулись с целым рядом мелких неприятностей — от низкой температуры в начале работы до поломки мочевыводящей системы туалета на вторые сутки и необходимости взамен пользоваться пакетами. К счастью, пока самые крупные сложности удалось компенсировать. Но все они вместе могут сдвинуть ситуацию к решению, о котором Naked Science уже говорил в нашем видеоподкасте о миссии: не исключено, что при высадке астронавтов на Луне их корабль состыкуют со Starship не на окололунной, а уже на околоземной орбите.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии