• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
23.11.2023
Александр Березин
21
3 076

Увольнение Сэма Альтмана попытались связать с «угрозой человечеству» от созданного им ИИ

4.4

Анонимные источники Reuters утверждают, что перед провалившимся увольнением Сэма Альтмана из OpenAI совету директоров пришло письмо от разработчиков, в котором они предупреждали: последние достижения компании якобы угрожают человечеству. В то же время с научно-технической точки зрения заявления этих анонимов выглядят не очень правдоподобно.

Из новой публикации следует, что Сэм Альтман возглавил разработки, якобы опасные для выживания человечества. Но не путают ли ее авторы реальность с научной фантастикой? / © Midjourney / Автор: Godefridus Victorinus

Информационное агентство Reuters опубликовало материал, основанный на сообщениях двух источников из OpenAI, пожелавших остаться анонимными. Они утверждают, что накануне увольнения Сэма Альтмана (уже вернувшегося на свой пост) совет директоров компании получил письмо от разработчиков по проекту Q*. Это один из закрытых перспективных проектов OpenAI, посвященный созданию так называемого сильного ИИ. Под этим понимают интеллект, сравнимый с человеком в большинстве сфер деятельности. На сегодня его не существует, а ряд исследователей полагают, что таковой и не нужен, ибо в случае реализации он может уничтожить человечество как нежелательного конкурента.

Общий тон публикации Reuters подводит читателя к мысли — хотя это не утверждается напрямую, — что такое письмо могло вызвать опасение у директоров, отчего те и приняли внезапное решение об увольнении Альтмана.

В то же время детали самого письма — которое Reuters не видело и описывает со слов своих анонимных источников — вызывают сомнения в такой интерпретации причин увольнения. Дело в том, что проект Q* затрагивает достаточно узкую, специализированную, проблему — математические вычисления с помощью нейросети — аналога ChatGPT, только работающей не со словами, а с математическими операциями. Авторы письма утверждают, что их нейросеть научилась таким операциям на уровне школьника.

Почему это вообще важно? В мире разработчиков больших языковых моделей типа ChatGPT распространено (но никем не доказано) предположение, что создание модели, которая сможет хорошо считать, в основном решит вопрос с сильным искусственным интеллектом. То есть подобное ПО сможет заменить человека практически в любой области.

Реальная история Сэма Альтмана куда прозаичнее, чем разработка ИИ, способного угрожать каждому человеку на Земле / © Wikimedia Commons

Напомним предысторию: до ChatGPT способность программного обеспечения работать со словами была угнетающе низкой (в лучшем случае на уровне учащегося не лучшей средней школы). Чтобы добиться прорыва, OpenAI во главе с Сэмом Альтманом использовала принцип китайской комнаты — в виде нейросети, тренированной так, чтобы выбирать следующее слово в выдаче человеку-собеседнику на основе подражания подобной выдаче, когда-то созданной реальными людьми.

Иными словами, ChatGPT и его клоны не понимают ничего из обрабатываемой информации — они просто статистически предсказывают, каким будет следующее слово в их выдаче, используя для этих предсказаний статистику из своей обучающей выборки. Естественно, в итоге подобная выдача по одному и тому же вопросу может отличаться: ведь такое ПО просто «бросает кости» в заданном «обучением» диапазоне значений, а не думает.

В математике этот подход не срабатывает: в большинстве случаев в одной задаче только один правильный ответ. Поэтому тут аналоги ChatGPT систематически дают ошибки. В рамках проекта Q* процент этих ошибок слегка снизили, доведя его, согласно анонимным источникам Reuters, до уровня ученика начальной школы.

Если эти тезисы СМИ верны, то письмо озабоченных разработчиков OpenAI могло серьезно напугать разве что людей, не очень хорошо разбирающихся в теме. Во-первых, уровень младшеклассника в математике не стоит переоценивать. Во-вторых, обычное алгоритмическое программное обеспечение (до нейросетей) научилось считать намного быстрее и точнее лучших ученых-математиков еще в прошлом веке.

Это тоже вызывало беспокойство у современников (достаточно вспомнить «Скайнет» в массовой культуре), но только у тех, кто был бесконечно далек от понимания реальных принципов работы таких систем. То есть того, что они лишены собственных побудительных мотивов и разума как такового — лишь выполняют заранее заложенные в них людьми операции.

Аналогичным образом современные нейросети и большие языковые модели полностью лишены сознания и побудительных мотивов. Поэтому опасения за будущее человечества из-за риска вытеснения таким ПО подобны опасениям вытеснения людей «Скайнетом» (или арифмометрами). Их трудно воспринимать серьезно.

Есть те, кто считают иначе. Например, Илон Маск оценил публикацию Reuters как вызывающую глубоко беспокойство. Однако Маск никогда не отвечал на вопрос, как именно системы, лишенные сознания и мотивов, могут угрожать человечеству. Параллельно он активно продвигает в медиа конкурента ChatGPT от OpenAI — собственную большую языковую модель Grok. Это делает затруднительным некритичное принятие его позиции по OpenAI как полностью корректной. Не вполне прозрачны и мотивы анонимов-источников из OpenAI: нельзя исключить их личную заинтересованность в оправдании неудавшегося увольнения Альтмана.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
2 ноября
Юлия Трепалина

Используя инструменты искусственного интеллекта, канадская компания Prodigy Education проанализировала тексты англоязычных песен лучших современных исполнителей по версии Billboard, а также популярных музыкантов прошлых десятилетий. В итоге удалось выяснить, чьи композиции отличаются наибольшим лексическим разнообразием, а значит, дают более обильную пищу для ума.

Вчера, 20:07
Елизавета Александрова

Речь идет о концепции, которую считали очень убедительной: она и теории Эйнштейна не противоречит, и при этом описывает вращающуюся черную дыру, а как раз такие мы в космосе и обнаруживаем. Теперь выясняется, что с ней — большая проблема.

Вчера, 12:03
Любовь

Стабильные внутренние части континентальной коры называют кратонами. Это «ядра» всех современных континентов. Ранее считалось, что с ними ничего не происходило на протяжении миллиардов лет, однако недавно международная команда геологов выявила признаки разрушения, деформации и истончения Северо-Китайского кратона.

2 ноября
Юлия Трепалина

Используя инструменты искусственного интеллекта, канадская компания Prodigy Education проанализировала тексты англоязычных песен лучших современных исполнителей по версии Billboard, а также популярных музыкантов прошлых десятилетий. В итоге удалось выяснить, чьи композиции отличаются наибольшим лексическим разнообразием, а значит, дают более обильную пищу для ума.

30 октября
Елизавета Александрова

Под рыжим верхним слоем с виду обычного камня открылся целый калейдоскоп довольно неожиданных оттенков. Это особенно интересно с учетом того, где лежит камень — в марсианском кратере, который по всем признакам когда-то был озером.

Вчера, 20:07
Елизавета Александрова

Речь идет о концепции, которую считали очень убедительной: она и теории Эйнштейна не противоречит, и при этом описывает вращающуюся черную дыру, а как раз такие мы в космосе и обнаруживаем. Теперь выясняется, что с ней — большая проблема.

14 октября
Алиса Гаджиева

Полторы тысячи лет назад климат в Северном полушарии резко изменился. В Дании так похолодало, что там стало невозможно заниматься сельским хозяйством. Авторы нового исследования считают, что именно этот период был прообразом Фимбульвинтера — зимы, предшествующей Рагнарёку.

30 октября
Елизавета Александрова

Под рыжим верхним слоем с виду обычного камня открылся целый калейдоскоп довольно неожиданных оттенков. Это особенно интересно с учетом того, где лежит камень — в марсианском кратере, который по всем признакам когда-то был озером.

15 октября
Татьяна

Сейчас Япония привлекает людей со всего мира, но так было не всегда. На протяжение десяти тысяч лет архипелаг оставался изолированным от остального мира, пока туда не начали прибывать первые «мигранты» с континента. Это показал генетический анализ останков человека эпохи Яёй.

[miniorange_social_login]

Комментарии

21 Комментариев
Zhe Sh
23.11.2023
-
2
+
Вы, Александр, вроде бы рационалист, но как дело доходит до ИИ, превращаетесь в оголтелого иррационалиста. Ну, нет никакой разницы между "разумом" и "китайской комнатой". С точки зрения внешнего наблюдателя, если они выдают статистически одно и то же - они одно и то же. Принципиально обе нейросети ни чем не отличаются. Если шимпанзе обладает интеллектом пятилетнего ребенка, а современный ИИ - трехлетнего, то это чисто количественный вопрос. Просто шимпанзе для достижения человеческого уровня потребуется несколько миллионов лет, а ИИ - лет10-20. И у ИИ нет естественных ограничений вычислительных мощностей, в отличие от нашего мозга. Т. о. ИИ просто обречён стать умнее нас, скорее всего, уже в этом веке.
    Zhe Sh, "Ну, нет никакой разницы между "разумом" и "китайской комнатой" Разница между разумом и китайской комнатой вполне осязаема -- китайская комната не понимает, чем оперирует, поэтому не может открыть не то что ОТО, но и в принципе ни одной новой научной гипотезы предложить не может. И это просто одна иллюстрация из многих. Если это "никакой разницы" -- то я могу только развести руками. "С точки зрения внешнего наблюдателя, если они выдают статистически одно и то же - они одно и то же." Вы считаете, что с точки зрения внешнего наблюдателя нечто, способное создать ОТО и что угодно еще неотличимо от того, что ОТО и т.д. создать не может? Считайте -- у нас свободная страна. Но не стоит удивляться, что остальные считают иначе. Еще сторонний наблюдатель мог бы заметить, что китайская комната без команды ничего не делает, а разумное существо -- делает. И т.д. и т.п. Опять-таки -- это громадная разница. "Если шимпанзе обладает интеллектом пятилетнего ребенка, а современный ИИ - трехлетнего, то это чисто количественный вопрос." Нет. То, что в поп-СМИ написали "обладает интеллектом ребенка" -- это проблема поп-СМИ. Нейросети не обладают никаким интеллектом. Вообще. Это просто слово, которое используют неудачно. Например "процесс идет". Откуда он идет? Куда? У него нет ног -- поэтому никуда и ниоткуда, это переносное использование слова. То же самое с "интеллектом" ЧатЖПТ. "И у ИИ нет естественных ограничений вычислительных мощностей, в отличие от нашего мозга. Т. о. ИИ просто обречён стать умнее нас, скорее всего, уже в этом веке." ИИ просто не существует -- есть лишь алгоритмическое ПО разных типов, не имеющее отношения к интеллекту. Отношение такое появится в эпоху, когда он начнет сам размышлять, без алгоритмического инициирования размышлений, а также станет создавать новые научные теории. Вот только алгоритмическое ПО на это неспособно в принципе, а неалгоритмическое ПО мы, люди, все еще не придумали.
    +
      ещё комментарии
      -
      0
      +
      Ну вы к примеру тоже не способны создать ОТО как впрочем и остальные 99,9% населения Земли. Опять же между неспособны сейчас и неспособны в принципе есть некоторая разница. Впрочем я охотно признаю что интеллект во всем подобный человеческому, так называемое "сознание" или может быть даже "душу" люди сейчас создать не способны и вряд ли будут способны в ближайшем будущем. Как вы вполне резонно заметили для этого надо понимать как устроена собственная черепушка или вот это вот самое "сознание" и что вообще это такое. Но как выяснилось чтобы полететь не обязательно создавать копию птицы.
        Иван Колупаев, "Ну вы к примеру тоже не способны создать ОТО как впрочем и остальные 99,9% населения Земли." Читаем внимательно: "не то что ОТО, но и в принципе ни одной новой научной гипотезы предложить не может.". Я могу предложить новую гипотезу, а равно и доказать ее -- не ОТО, благо по образованию не физик, но могу, и это мною уже сделано. Что до остального населения планеты -- то при определенных условиях они тоже способны сделать это. Было бы желание и время. Большинство людей не делают только из-за нехватки желания -- у них другие предпочтения. А вот ЧатЖПТ не может этого никогда. Да и желаний у него нет. В том числе -- и таких. Да, чтобы полететь, не обязательно создавать копию птицы. Однако в случае разума полет -- это не способность пересказывать статью из Википедии или считать на уровне школьника. Это способность самостоятельно, без приказов извне, думать, создавая новое. С этой частью "полета" у нейросетей пока не идет. Я не говорю, что так будет всегда. На века в будущее я не вижу. Но то, что это так сейчас -- факт.
    John Smith
    24.11.2023
    -
    0
    +
    Zhe Sh, Для сильного ИИ вопрос мотивации ключевой. Еще в 1966 группа советских психологов А.С. Арсеньев, Э.В. Ильенков, В.В. Давыдов подробно разобрали вопрос создания превосходящей человека машины в книге "Машина и человек, кибернетика и философия" Если кратко то: - что бы заставить машину работать в рамках человеческой культуры и интересов ее нужно сделать в виде копии человека, причем абсолютной, что бы и детей могла иметь от земных женщин и слезу пустить. Иначе условный Лев Толстой и Петрарка машине будет не понятен, а без таких прозаичных вещей она не будет понимать зачем ей придумывать звездолёты. - для машины можно придумать свою культуру, цели и интересы, но смысла делать конкурирующую культуру нет, не говоря о том что эта задача на порядки сложней создания самой машины. Так что сколь угодно мощные усилители человеческого мозга создать реально, а сильный ИИ скорее нет чем да.
Как можно создать "сильный" ИИ, если слабого ещё и в проекте нет? Нравятся мне эти маркетолухи с их подменами понятий и замыливаниями терминологии. Интересно, были ли такие истерики по поводу захвата человечества экселем из 95 офиса там или фотошопом 1.0 ) не помню, но и не до этого мне тогда было))
Sam Dowson
23.11.2023
-
5
+
Вместо того, чтобы фантазировать на тему захвата Скайнетом человечества, это доморощенное руководство OpenAI лучше бы подробно объяснило обывателям и Маску в том числе, что такая ситуация в реальности в принципе не возможна.
    Комментарий удален пользователем или модератором...
    +
      ещё комментарии
      John Smith
      23.11.2023
      -
      0
      +
      ראובן פיאטיגורסקי, ChatGPT отрицает намеренья захватывать мир. Если вы боитесь что ИИ захватит мир, а не корпорации с помощью ИИ его захватят, то боятся нечего - мир захватят корпорации. "искусственному интеллекту нет собственных желаний, целей или мотиваций, включая захват мира.. Фактически, крупные обсуждения, связанные с развитием и использованием искусственного интеллекта, касаются вопросов этики, безопасности, прозрачности и контроля за его применением, вместо обеспокоенности его фиктивными амбициями."
        -
        0
        +
        Зато все эти гпт очень даже неплохо научились обманывать юзеров. Ну это так к слову 😁
          Иван Колупаев, но если их спросить: это корректная информация, - они честно отвечают: нет, на самом деле, эта информация не соответствует действительности))
            -
            1
            +
            Все критяне лжецы (с) На самом деле это большая проблема если в простых случаях вы сами способны догадаться что ИИ ездит вам по ушам или хотя бы усомниться в ответе, то для случаев сложных приходится использовать другую нейросеть которая перепроверяет информацию и удаляет "глюки"
      Sam Dowson
      23.11.2023
      -
      2
      +
      Да, и фамилия Альтман на самом деле расшифровывается как ALTruistic MAN, т.е. "Альтруист".
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно