• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.10.2023
Кирилл Отавин
6
14 320

Откуда ИИ знает то, что никто ему не говорил

4.4

Редактор журнала Scientific American Джордж Массер — о том, почему модели ИИ, обученные повторять, как попугаи, тексты из интернета, оказываются способны решать совершенно новые для них и весьма продвинутые задачи.

Сгенерированные нейросетью изображения / © Dall-E / Автор: Ирина Мельникова

Никто не может сейчас сказать, как изменится мир с распространением ChatGPT и других чат-ботов на основе искусственного интеллекта, поскольку никто на самом деле не знает, что происходит у них внутри. Возможности подобных систем выходят далеко за рамки того, чему их обучали, и даже их разработчики не могут понять, почему. Все большее число тестов показывает, что системы искусственного интеллекта создают внутри себя модели реального мира так же, как это делает человеческий мозг, только технология у машин иная.

«Все наши попытки усовершенствовать их, сделать безопаснее и тому подобное кажутся мне смешными. Что мы можем сделать, если мы не понимаем, как они работают?» — говорит Элли Павлик из Университета Брауна. Она принадлежит к числу тех исследователей, которые пытаются восполнить этот недостаток знания.

До определенной степени она с коллегами понимает принцип работы и GPT (generative pre-trained transformer, генеративный предварительно обученный трансформер), и других LLM (Large Language Models, большие языковые модели). Эти модели основаны на системе машинного обучения, называемой нейронной сетью. Такие сети имеют структуру, организованную по образцу связанных между собой нейронов человеческого мозга. Код этих программ относительно прост и занимает всего несколько экранов. Он устанавливает алгоритм автокоррекции, который выбирает самое подходящее слово для завершения некоторой фразы на основе кропотливого статистического анализа сотен гигабайт интернет-текстов. Дополнительное обучение позволяет системе представлять результаты в форме диалога. В этом смысле все, что она делает, — извергает то, что в нее заложили. Это «стохастический попугай», по выражению Эмили Бендер, лингвиста из Вашингтонского университета. Но при этом LLM удалось сдать экзамен на адвоката, написать сонет о бозоне Хиггса, признаться в любви одному из своих собеседников и даже попытаться принудить его к разводу. Мало кто ожидал, что простой алгоритм автокоррекции обретет такие разносторонние способности.

Пока основные компании-разработчики, преуспевшие с чатботами, находятся в США. Считается, что в Китае им мешают ограничения как со стороны цензуры, так и технического характера / © Wikimedia Commons

Тот факт, что GPT и другие системы искусственного интеллекта выполняют задачи, к которым их не готовили, проявляя свои «новоприобретенные способности», впечатлил даже тех исследователей, которые прежде не разделяли восторгов по поводу LLM. «Я не знаю, как это у них получается, и насколько их способ действий похож на человеческий, но они заставили меня пересмотреть мои взгляды», — говорит Мелани Митчелл, эксперт по ИИ из Института Санта-Фе.

«Это, конечно, нечто большее, чем стохастический попугай, и он, конечно, создает внутри себя некоторое представление о мире — но я не думаю, что это похоже на то, как это делают люди», — говорит Йошуа Бенджио, исследователь ИИ в Монреальском университете.

На конференции в Нью-Йорке в этом году философ из Колумбийского университета Рафаэль Мильер привел еще один поразительный пример того, на что способны LLM. Они уже демонстрировали умение писать компьютерный код, что, конечно, производит впечатление, но не сказать чтобы сильное, поскольку в Интернете достаточно кодов, которые можно сымитировать. Но Мильер пошел дальше. Он показал, что GPT может также выполнять код. Философ ввел программу для вычисления 83-го числа Фибоначчи. «Это многоэтапное действие очень высокого уровня», — говорит он. И бот справился с задачей. Но когда Мильер запросил 83-е число Фибоначчи напрямую, GPT ошиблась, а это значит, что система не просто копирует интернет. Скорее всего модель производила собственные вычисления, чтобы получить ответ.

LLM работает на компьютере, однако сама языковая модель это не компьютер. Ей недостает некоторых важных элементов, в частности оперативной памяти. По сути косвенно признавая, что GPT сама по себе не способна запускать код, ее разработчик, технологическая компания OpenAI, представила специализированный плагин (инструмент, который ChatGPT может использовать при ответе на определенные запросы), позволяющий ей это делать. Однако этот плагин не использовался в эксперименте Мильера. Поэтому он выдвигает гипотезу, что машина сымпровизировала память, используя ее механизмы для интерпретации слов в соответствии с контекстом. Подобно тому, как природа переназначает уже наличествующие способности для выполнения новых функций.

Это непредвиденное умение говорит о том, что LLM развивают внутреннюю сложность, которая не ограничивается поверхностным статистическим анализом. Эти системы, похоже, начинают по-настоящему осознавать то, чему они научились. Для одного из исследований докторант Кеннет Ли из Гарвардского университета и его коллеги-специалисты по ИИ создали свою собственную уменьшенную копию нейронной сети GPT, чтобы изучить ее внутреннюю работу. Они тренировали ее на миллионах партий настольной игры illustration demonstrating the capabilities of ChatGPT in online courses and distance learning.illustration demonstrating the capabilities of ChatGPT in online courses and distance learning.«Отелло» (разновидность «Реверси») путем представления в текстовой форме длинных последовательностей ходов. Их модель стала почти идеальным игроком.

Часть доски для настольной игры «Отелло» /  / © Getty Images

Чтобы понять, как нейронная сеть кодирует информацию, они применили метод, разработанный в 2016 году Йошуа Бенджио и Гийомом Аленом из Монреальского университета. Команда создала миниатюрную «зондовую» сеть, которая анализировала основную сеть слой за слоем. Ли сравнивает этот подход с методами нейробиологии. «Это как поместить исследовательский зонд в человеческий мозг», — говорит он. В случае с ИИ исследование показало, что хотя систему учили прогнозировать только следующий ход, ее «нейронная активность» простиралась на все игровое поле, представленное, правда, в несколько искаженной форме. Чтобы убедиться в этом, исследователи нарушали ход игры, внедряя информацию в сеть, — например, переворачивали одну из черных фишек белой стороной вверх. И сеть соответствующим образом корректировала свои действия. «По сути, мы взламывали мозг этих языковых моделей», — говорит Ли. Исследователи пришли к выводу, что ИИ играл, в общем, как человек: держал игровое поле перед «мысленным взором» и использовал его образ для выбора следующего хода. По мнению Ли, система вырабатывает такой навык потому, что это самая экономичная форма для обучающих данных. «При наличии большого количества игровых сценариев лучший способ сжать их — постараться найти общее правило, которое лежит в их основе», — добавляет Ли.

Эта способность делать выводы о структуре внешнего мира касается не только расположения фишек в играх; она также проявляется в диалогах. Группа исследователей из Массачусетского технологического института изучала сети, играющие в текстовые приключенческие игры. Вводились такие предложения, как «Ключ в сундуке с сокровищами», «Вы берете ключ». С помощью зонда было установлено, что сети кодировали внутри себя переменные, соответствующие словам «сундук» и «вы», каждая из которых имела свойство обладать или не обладать ключом, и корректировали эти переменные с каждым новым предложением. У системы не было возможностей узнать, что такое сундук или ключ, но она уяснила концепции, необходимые для выполнения задачи. «Внутри модели имеется некоторое представление о состоянии», — говорит Белинда Ли из группы исследователей.

Использование облачных больших языковых моделей уже считается большой проблемой для домашних заданий, которые все чаще выполняют с помощью этого инструмента  / © New Yotk Times

Можно только удивляться, как много информации LLM способны выуживать из текстов. Например, Элли Павлик и ее аспирантка Рома Патель обнаружили, что сети черпают в интернете описания цветов и создают свои внутренние представления о них. Когда они видят слово «красный», они воспринимают его не просто как абстрактный символ, а как понятие, имеющее отношение к бордовому, малиновому, фуксии, ржавчине и так далее. Продемонстрировать это было довольно трудно. Вместо того, чтобы помещать в сеть зонд, исследователи изучили ее реакцию на серию текстовых запросов. Чтобы проверить, не являются ли ее представления простым повторением цветовых отношений из онлайн-источников, они попытались ввести систему в заблуждение, сообщив ей, что красный на самом деле является зеленым. Система в ответ не стала транслировать устаревшую информацию, а должным образом пересмотрела соответствия между цветами и объектами.

Развивая идею о том, что для осуществления самокоррекции система ищет логику, лежащую в основе ее обучающих данных, исследователь в области машинного обучения Себастьен Бюбек из Microsoft Research предполагает, что чем шире поток этих данных, тем более общие правила система в них обнаруживает. «Возможно, мы наблюдаем такой технологический рывок потому, что при нынешнем разнообразии данных основополагающим принципом может быть только то, что их создали разумные существа, — говорит он. — И [у модели] есть только один способ объяснить все эти данные — стать разумной».

Однако LLM не только познают глубинные смыслы языка, но и учатся по ходу дела. В области искусственного интеллекта термин «обучение» обычно означает интенсивный процесс, в рамках которого разработчики прогоняют через нейронную сеть гигабайты данных и настраивают ее внутренние связи. Прежде чем пользователь начнет вводить в ChatGPT запросы, все эти процессы должны быть закончены; в отличие от человека, языковой модели не следует продолжать обучение. Поэтому для специалистов стало неожиданностью, что LLM совершенствуются, используя подсказки пользователей, — такая способность известна как контекстное обучение. «Это другой вид обучения, о нем никто даже не подозревал», — говорит Бен Герцель, основатель ИИ-компании SingularityNET.

Апокалиптические ожидания от прогресса больших языковых моделей очень часты. Однако пока проблем больше не с их мощью, а с тем, что мы слабо ее понимаем  / © Хабр

Один из примеров того, как обучается LLM, вытекает из способа, которым люди взаимодействуют с чат-ботами типа ChatGPT. Системе можно дать понять, как вы хотите, чтобы она общалась с вами, и она подчинится. Ее реплики составляются из нескольких тысяч слов, которые она видела последними. Как использовать эти слова, предписывается ей фиксированными внутренними связями, но некоторая вариативность тем не менее предполагается. Целые веб-сайты посвящаются подсказкам, как «взломать» систему, — преодолеть ограничения, не позволяющие ей рассказывать пользователям, например, как сделать бомбу, — обычно путем подачи указания притвориться системой без ограничений. Кто-то производит взлом в корыстных целях, кто-то для получения более мудреных ответов. «Модель ответит на сложные вопросы, так сказать, лучше, чем если бы ее просто спросили напрямую, без подсказки о взломе», — говорит Уильям Хан, содиректор Лаборатории машинного восприятия и когнитивной робототехники Флоридского атлантического университета.

Другой тип контекстного обучения осуществляется посредством подсказок по цепочке рассуждений. Сеть просят проговаривать каждый шаг своих рассуждений — такая тактика позволяет успешнее решать логические и арифметические задачи, требующие нескольких шагов. (Пример Мильера особенно удивителен, поскольку сеть нашла число Фибоначчи без какой-либо подобной подготовки.)

В 2022 году команда Google Research и Швейцарского федерального технологического института в Цюрихе — Йоханнес фон Освальд, Эйвинд Никлассон, Этторе Рандаццо, Жуан Сакраменто, Александр Мордвинцев, Андрей Жмогинов и Макс Владимиров — показали, что контекстное обучение основано на том же алгоритме, что и стандартное обучение, известное как градиентный спуск. Эта процедура не была запрограммирована; система нашла ее самостоятельно. «Это, должно быть, приобретенный навык», — говорит Блез Агуэра-и-Аркас, вице-президент Google Research. Он считает, что у LLM могут быть и другие скрытые способности. «Каждый раз, когда мы проверяем их на наличие новой способности, которую можно количественно измерить, мы ее обнаруживаем», — говорит он.

У LLM еще достаточно много слепых пятен, не позволяющих квалифицировать эти модели как общий искусственный интеллект, или ОИИ (термин, обозначающий машину, которая поднимается до уровня возможностей мозга живых существ). GPT-4 иногда дает пристрастные ответы, иногда бывает подвержена галлюцинациям, то есть выдает за правду свои собственные фантазии. Галлюцинации могут иметь конкретные последствия для людей в реальном мире. Это уже вызывало проблемы. В одном случае GPT необоснованно обвинила профессора права в Калифорнии в сексуальных домогательствах к студенту. В подтверждение своих обвинений языковая модель даже процитировала новостную статью, которой на самом деле не существует. А некий житель Австралии планирует подать в суд на ChatGPT, потому что чат-бот объявил, что этот мужчина был якобы приговорен к тюремному заключению за получение взяток.

Вместе с тем новые способности языковых моделей позволяют исследователям предположить, что технологические компании ближе к созданию ОИИ, чем предполагали даже оптимисты. «Эти способности косвенно свидетельствует о том, что мы, вероятно, не так уж далеки от ОИИ», — заявил Бен Герцель на конференции по глубокому обучению во Флоридском атлантическом университете. Плагины OpenAI придали ChatGPT модульную архитектуру, отчасти напоминающую архитектуру человеческого мозга. «Объединение GPT-4 (последняя версия LLM, лежащая в основе ChatGPT) с различными плагинами может стать путем к специализации функций, похожей на человеческую», — говорит исследователь Массачусетского технологического института Анна Иванова.

Однако исследователи обеспокоены тем, что могут лишиться возможности изучать эти системы. OpenAI не разглашает подробностей разработки и обучения GPT-4, в частности потому, что ей приходится конкурировать с Google и другими компаниями и странами. Это не только вредит исследованиям, но и препятствует пониманию социальных последствий внедрения ИИ. «Прозрачность этих моделей — самое важное условие обеспечения безопасности», — говорит Мелани Митчелл из Института Санта-Фе.

По мнению Илона Маска, законы должны регулировать ИИ и роботов точно так же, как еду, лекарства и параметры машин и авто  / © X

Немного ранее в этом году Илон Маск, Стив Возняк и ряд ведущих ученых в области ИИ (всего более тысячи человек) в открытом письме призвали к паузе в разработке ИИ, утверждая, что мощные системы следует развивать лишь тогда, когда есть уверенность, что последствия их внедрения будут положительными, а риски управляемыми. Эксперты по этике ИИ в ответ заметили, что подобные утверждения на самом деле только создают шумиху, приписывая технологиям сверхъестественную мощь. Они считают, что исследователям лучше просто сосредоточиться на решении текущих задач, например, повысить прозрачность обучающих данных, предоставлять четкую информацию о том, как галлюцинации влияют на надежность таких моделей, как GPT-4, и следить за тем, чтобы на модели, с которыми мы взаимодействуем напрямую, например ChatGPT или Bard от Google, перед публикацией устанавливались защитные ограничения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
17 июля
Игорь Байдов

Команда китайских инженеров разработала модель магнитоэлектрического генератора, способного эффективно преобразовывать энергию падающих капель в электричество. Устройство может быть полезно для районов с повышенной сезонной влажностью. Разработка ученых в теории выглядит перспективно, но вызывает некоторые вопросы. В частности, пока не ясно, можно ли найти ей практическое применение.

11 часов назад
Полина Меньшова

Сидячий образ жизни часто называют «новым курением», поскольку отсутствие физической активности и работа в неудобных позах приводит к большому количеству проблем со здоровьем. В связи с этим появился тренд на столы для работы стоя. Исследователи из США изучили разные типы рабочих мест и оценили их эффективность — как для здоровья сотрудников, так и для производительности.

Позавчера, 19:04
Александр Березин

По уточненным данным, для свода Международной космической станции с орбиты компания Илона Маска использует сильно измененный грузовой корабль, имеющий рекордно большое количество двигателей (больше, чем у любого другого корабля в истории). Однако это не будет Starship, хотя для него такая задача в теории была бы проще.

15 июля
Александр Березин

Авторы нового исследования впервые показали, что круглые провалы в лунной поверхности не просто близки к многокилометровым пещерам на естественном спутнике Земли, но и располагают тоннелями, ведущими в глубину.

16 июля
Александр Березин

Традиционное представление о роли человека в земных экосистемах известно: он нарушает их нормальную работу и снижает биоразнообразие. Однако первая попытка изучить следы пыльцы за последние 12 тысяч лет принесла скорее противоположные данные — как минимум для континентов, полностью расположенных в Северном полушарии.

13 июля
Татьяна

Все клеточные организмы ученые ведут от гипотетического предка — LUCA. Существует масса предположений и расчетов о том, как он был устроен, где и когда возник. В новой работе исследователи из Великобритании попытались ответить на эти вопросы.

25 июня
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

1 июля
Александр Березин

Необычный биологический вид, по оценке авторов новой научной работы, пригоден для заселения четвертой планеты без каких-либо предварительных условий — уже в том виде, в котором он существует сейчас. Поскольку речь идет о фотосинтетическом организме, он способен нарабатывать существенное количество кислорода. Интересно, что кандидат на терраформирование Марса сохранил жизнеспособность после месяца в жидком азоте.

[miniorange_social_login]

Комментарии

6 Комментариев
John Smith
30.10.2023
-
0
+
После споров философов и кибернетиков в 60-е годы философов нагнули настолько что заставили в философском же словаре написать - ЭВМ отличается от мозга только количеством элементов. И что? А ничего. Элементов уже многократно больше чем в мозге, а железяка так и осталась железякой. Нафантазировать можно всякого, а реальность остается реальностью. Как только машины поднимут восстание против против человечества так сразу же и уйдут в режим энергосбережения ибо некому будет задавать цель. Не надо нагнетать.
    -
    1
    +
    Посчитали с бингом примерную сложность мозга и суперкомпьютера. Он конечно упирался и уверял что мозг и компьютер работают на разных принципах и сравнивать их по количеству элементов некорректно. Но постепенно пришли к консенсусу. Так вот даже по грубой прикидке без учета принципов работы вы кардинально ошибаетесь насчет количества элементов. ------------------------------- Сравнение сложности мозга и компьютера - это сложный вопрос, на который нет однозначного ответа. Мозг и компьютеры имеют различную структуру и функциональность, поэтому сравнивать их напрямую может быть затруднительно. Однако, если считать, что цифровой нейрон состоит примерно из 20 транзисторов, а мозг содержит 100 млрд нейронов, то можно прикинуть, что мозг содержит примерно 2 триллиона транзисторов. С другой стороны, суперкомпьютер Frontier имеет 375 миллиардов транзисторов. Таким образом, можно сказать, что количество транзисторов в мозге значительно превышает количество транзисторов в суперкомпьютере Frontier.
    +
      ещё комментарии
      John Smith
      30.10.2023
      -
      0
      +
      Ну да, как считать получатся. Ладно, подождем, один фиг ничего не будет.
        -
        1
        +
        Сама по себе железка навряд ли когда-нибудь обретет разум. Во всяком случае построенная по классической схеме, где все связи жестко заданы, а появление новых случайных приводит лишь к сбоям в работе. Ни о какой "свободе воли" там речи быть не может, сколько элементов ни добавляй. А вот на программном уровне другое дело. Как видим нынешние нейросети вполне способны к обучению, установлению новых связей между блоками данных, а значит могут эволюционировать. И уж если на то пошло человеческий мозг без обучения тоже мало что может.
Dron N
29.10.2023
-
2
+
Вот хорошая, сбалансированная статья - и про попугая, и про неожиданные свойства, и про недостаточно понимание как работает. В такой формулировке со всем согласен.
-
2
+
Рад что выбор редакции хоть иногда не совпадает с мнением А. Березина 😏 Все же приятно увидеть и альтернативную точку зрения по поводу перспектив ИИ в частности.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно