• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
06.11.2024, 12:01
МАИ
336

ИИ, экономика и электричество: отчего умнеют нейросети и есть ли предел совершенства

❋ 4.7

Пару десятилетий назад о нейросетях знали только узкие специалисты, сейчас же они активно вошли в повседневную жизнь каждого из нас и круг решаемых ими задач продолжает расти. Но что можно назвать локомотивом для такого бурного развития, и есть ли ему предел? На эти вопросы ответил научный сотрудник института «Компьютерные науки и прикладная математика» МАИ, директор департамента цифровой трансформации в компании BetBoom Юрий Чайников.

Научный сотрудник института «Компьютерные науки и прикладная математика» МАИ, директор департамента цифровой трансформации в компании BetBoom Юрий Чайников / © Пресс-служба МАИ

Нейросети – это математические модели, а также их программное воплощение, но, если взглянуть шире – это модель алгоритмов работы человеческого мозга.

Что касается последнего, то по когнитивным способностям только что родившийся ребенок мало чем отличается от детеныша шимпанзе, но уже по достижении трехлетнего возраста разница между маленьким человеком и маленьким шимпанзе – колоссальна. Почему? В человеческом мозге нервных клеток (нейронов) на 50 миллиардов больше, чем в мозге самых умных обезьян. В этом случае количество переходит в качество.

А как обстоит дело с искусственным интеллектом? За счет чего он становится «умнее»?

– Когда мы тренируем большие языковые модели, мы оцениваем, насколько хорошо они отвечают на заданный вопрос, насколько часто их выводы полезны пользователю, насколько правильно они решают поставленные задачи. Все это очень сильно зависит от трех параметров: от размеров нейросети, объема обучающей выборки и от объема вычислительных мощностей, которые мы потратили на то, чтобы ее тренировать. И зависимость эта – экспоненциальная, – отмечает эксперт.

В результате получается такая линейная зависимость: нейросеть настолько умна, насколько она велика, и насколько много через нее пропустили обучающих данных, а рост объема нейросети, данных и сама возможность их переработки нейросетью зависит от доступных вычислительных мощностей.

– Допустим, наша нейросеть, проходя сложный тест, в 20 процентов случаев допускает ошибки. Чтобы улучшить точность вдвое, уменьшив число ошибок с 20 до 10 процентов, нам придется потратить в 10 раз больше вычислительных мощностей, чем мы ранее задействовали, прогнать в десять раз больший датасет, десятикратно увеличить размер нейросети.

Экономика и интеллект

И здесь проблема роста искусственного интеллекта переходит из плоскости математики или информатики в плоскость экономики: может ли разработчик данной нейросети позволить себе такой экспоненциальный рост вычислительных мощностей?

– Сейчас топовые нейросети имеют размер в сотни миллиардов параметров. Если мы будем исходить из того, что аренда сервера обходится доллар в час и нам необходимо потратить 50 миллионов часов на тренировку нейросети, чтобы прогнать через нее обучающую выборку больше триллиона слов, то на обучение нейросети мы потратим 50 миллионов долларов вычислительных мощностей, – говорит Юрий Чайников.

Таким образом, рост интеллектуальных способностей нейросети напрямую зависит от потраченных на ее обучение денег. Это прекрасно понимают их создатели. Так, фронтмен нейросетевой революции Сэм Альтмен, основатель и генеральный директор OpenAI, планирует построить вычислительные кластеры на триллион долларов, на обеспечение которых потребуется больше 10 процентов совокупного энергопотребления США. Для питания дата-центров, на которых будут крутиться модели, потребуется строительство атомных электростанций с десятками ядерных реакторов, мощностью в десятки гигаватт. Microsoft уже заявила, что будет участвовать в инвестициях в этот проект.

Но насколько оправданны такие расходы?

Себестоимость обработки одного запроса топовой нейросетью от OpenAI на текущем уровне развития обходится по разным оценкам от 20 до 40 центов. Тогда как запрос в поисковике Google – порядка одного цента. Если Google зарабатывает с каждого запроса примерно 20 центов, то это отличный бизнес. Бизнес OpenAI пока не так оптимистично прибылен.

Но экспоненциальный рост мощностей может изменить все. Сейчас топовые нейросети за секунды выполняют с сопоставимым с человеком качеством задачи, на которые человек потратил бы несколько минут. Задача в 10 минут человеческого времени стоит 1-2 доллара. Решение нейросетью обходится в 20 раз дешевле. Экономика – безжалостная штука. Если за сопоставимое качество можно заплатить в 10 раз дешевле – это будет сделано. И тут начинается гонка не только за точность моделей, но и за стоимость их работы.

– Например, у нас есть модель, которая имела точность 84 процента и производила решений на 100 токенов в секунду на стандартном сервере. Мы ее чуть-чуть подправили ради удешевления ее работы при массовом применении. В результате, точность упала на один процент, зато теперь она выдает не 100, а 1 000 токенов в секунду. Точность стала чуть меньше, то есть предельных задач, с которыми она справляется, стало чуть меньше. Зато экономическая эффективность на тех задачах, с которыми она справляется, возросла в 10 раз.

И это – одно из важнейших направлений по совершенствованию больших моделей, – отмечает эксперт. – Некоторые компании умудряются в сотню раз повысить производительность в терминах токенов за доллар расхода на компьютер, и построить на этом нормально работающий бизнес, продавая это как сервис. Берем выпущенную open source модель, поправляем ее: да, она становится чуть-чуть похуже, но зато в 100 раз дешевле, а потом продаем ее пользователям в 50 раз дешевле и зарабатываем на этом X2 по цене продажи. Такая вот непрерывно работающая конструкция.

Электрический апокалипсис

Если деньги питают развитие искусственного интеллекта, то что может остановить его?
Пока локомотив экономической эффективности несется вперед – логику объективного развития ИИ остановить невозможно: в нейросети вкладываться выгодно. Но искусственный интеллект, как и вся человеческая цивилизация в принципе, зависит, как ни странно, от технологий позапрошлого века.

– Нейросети будут существовать примерно столько же, сколько существует человеческая цивилизация и электричество, потому что без электричества современная городская инфраструктура превращается в тыкву буквально за считанные часы, а город – в мертвый город за две недели. Ведь на электричестве завязано все, начиная от кассовых терминалов, которыми вы не сможете воспользоваться при его отсутствии, а, значит, вам ничего не смогут продать, и заканчивая самой банальной инфраструктурой вроде водоснабжения и канализации. А если в кране нет воды и в туалете не работает канализация, то через неделю у вас эпидемия бактериальных заболеваний, начиная от дизентерии и заканчивая вспышкой холеры и тифа. Электричество за несколько десятилетий стало основой инфраструктуры человеческой цивилизации в ее нынешнем виде.

Интернет сделал это за пару десятков лет. Пройдут считанные годы, и большие мультимодальные модели проникнут в каждый закоулок современного мира, – считает Юрий Чайников.

Выпуская джинна из бутылки

Обратной стороной бурного развития ИИ является риск его выхода из-под контроля. Уже сейчас выпущены модели, которые позволяют управлять действиями на экране компьютера без участия человека так, как будто это делает сам человек. В ответ на сформулированную задачу нейросеть может самостоятельно придумать длинную последовательность действий и выполнить их: открыть электронную почту, написать и отправить сообщение, зайти на сайт и собрать информацию по запросу в таблицу, манипулировать курсором мыши, открывать нужные окна на экране компьютера. Да, нейросеть пока будет делать это в 10 раз медленнее, чем делал бы человек, но это – автоматизация реальной деятельности человека. Дальше – больше: нейросети постепенно будут осваивать все новые и новые сферы человеческой деятельности. И здесь напрямую встает вопрос о контроле развития ИИ.

– На сегодняшний день мы очень плохо умеем контролировать большие мультимодальные модели, которые создаем. Есть классическая мифологическая конструкция: джинн, который исполняет желания в буквальном смысле, а не то, что подразумевал автор. Например, человек пожелал: «Хочу много денег», а джинн ему: «О, у вас умерли все родственники, и вы теперь – единственный наследник». Почему так вышло? Джин просто не потрудился переспросить, хотел ли автор желания оставить родственников живых, устроит ли его такой вариант исполнения желания, а просто взял и сделал. Подобная ситуация может когда-нибудь произойти с искусственным интеллектом.

«Оптимизатор скрепок» – мысленный эксперимент про поведение искусственного интеллекта, которому поручили всего лишь оптимизировать выпуск канцелярских скрепок, а в результате он превратил в скрепки весь мир – не такой уж и невероятный сценарий, – утверждает эксперт.

Однако пока катастрофические сценарии – это удел научных фантастов и футуристов. Сжигая в топке все новые тонны пачек зеленых купюр, локомотив искусственного интеллекта несется вперед, набирая обороты по мере увеличения инвестиций, и нам остается только догадываться, где будет его конечная остановка или, как у пелевинской «Желтой Стрелы», ее не будет вовсе.

Материал подготовлен при поддержке Минобрнауки России.
 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Московский авиационный институт (национальный исследовательский университет) ведёт свою историю с 20 марта 1930 года. Сегодня МАИ – ведущий высокотехнологичный вуз России, обеспечивающий подготовку инженерных кадров и проведение передовых научных исследований мирового уровня. В 2021 г. программа развития Московского авиационного института прошла отбор в рамках программы стратегического академического лидерства «Приоритет-2030». МАИ вошёл в первую группу университетов по треку «Территориальное и (или) отраслевое лидерство» программы «Приоритет 2030».
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
4 марта, 13:56
Илья Гриднев

Биологи получили прямые доказательства поедания косатками представителей собственного вида. Оторванные спинные плавники со следами больших зубов указали на охоту плотоядных китообразных на слабую соседнюю популяцию. Угроза смертельных нападений заставила рыбоядные группы косаток создавать неразлучные семейные кланы.

4 марта, 14:46
Адель Романова

Исследователи смоделировали последствия распыления в марсианской атмосфере аэрозолей для создания искусственного парникового эффекта. Выяснилось, что это может привести к парадоксальному результату: вместо ожидаемого более комфортного климата будущая колония на «нагретой» Красной планете окажется посреди такого же лютого холода и притом окружена обезвоженным грунтом.

5 марта, 09:47
Игорь Байдов

За право называть себя родиной легендарных скрипок Страдивари долгие годы спорили несколько европейских стран. Исследователи из Швейцарии, Франции, Словении заявляли, что именно их леса послужили материалом для инструментов с неповторимым звучанием. Теперь история получила новый поворот. Международная команда изучила годичные кольца почти на 300 скрипках итальянского мастера и выяснила, в каком конкретно места Страдивари брал материал для своих лучших творений.

3 марта, 14:06
Александр Березин

В ноябре 2025 года при взлете российской ракеты с Байконура к МКС с существенной высоты упала кабина обслуживания 8У216. Поскольку в 2010-х годах из экономии средств у нас отказались от дублирования стартовых площадок, это создало ситуацию временной невозможности пилотируемых полетов. Теперь, всего через три месяца после происшествия, «Роскосмос» смог решить проблему, поставив запасную кабину обслуживания, найденную на складах Минобороны. Весенние пуски к МКС, запланированные ранее, теперь имеют шансы пройти в срок.

28 февраля, 16:50
Игорь Байдов

В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.

28 февраля, 11:53
Андрей Серегин

Разное отношение домашних животных к хозяевам давно стало предметом споров, обсуждений и шуток. Ученые из Венгрии показали, что собаки демонстрируют по отношению к человеку уровень альтруизма, сходный с детским, тогда как кошки ищут в партнерстве с человеком прежде всего свою выгоду.

12 февраля, 07:52
Адель Романова

Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.

12 февраля, 08:19
Полина Меньшова

«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.

3 марта, 14:06
Александр Березин

В ноябре 2025 года при взлете российской ракеты с Байконура к МКС с существенной высоты упала кабина обслуживания 8У216. Поскольку в 2010-х годах из экономии средств у нас отказались от дублирования стартовых площадок, это создало ситуацию временной невозможности пилотируемых полетов. Теперь, всего через три месяца после происшествия, «Роскосмос» смог решить проблему, поставив запасную кабину обслуживания, найденную на складах Минобороны. Весенние пуски к МКС, запланированные ранее, теперь имеют шансы пройти в срок.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно