Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Увольнение Сэма Альтмана попытались связать с «угрозой человечеству» от созданного им ИИ
Анонимные источники Reuters утверждают, что перед провалившимся увольнением Сэма Альтмана из OpenAI совету директоров пришло письмо от разработчиков, в котором они предупреждали: последние достижения компании якобы угрожают человечеству. В то же время с научно-технической точки зрения заявления этих анонимов выглядят не очень правдоподобно.
Информационное агентство Reuters опубликовало материал, основанный на сообщениях двух источников из OpenAI, пожелавших остаться анонимными. Они утверждают, что накануне увольнения Сэма Альтмана (уже вернувшегося на свой пост) совет директоров компании получил письмо от разработчиков по проекту Q*. Это один из закрытых перспективных проектов OpenAI, посвященный созданию так называемого сильного ИИ. Под этим понимают интеллект, сравнимый с человеком в большинстве сфер деятельности. На сегодня его не существует, а ряд исследователей полагают, что таковой и не нужен, ибо в случае реализации он может уничтожить человечество как нежелательного конкурента.
Общий тон публикации Reuters подводит читателя к мысли — хотя это не утверждается напрямую, — что такое письмо могло вызвать опасение у директоров, отчего те и приняли внезапное решение об увольнении Альтмана.
В то же время детали самого письма — которое Reuters не видело и описывает со слов своих анонимных источников — вызывают сомнения в такой интерпретации причин увольнения. Дело в том, что проект Q* затрагивает достаточно узкую, специализированную, проблему — математические вычисления с помощью нейросети — аналога ChatGPT, только работающей не со словами, а с математическими операциями. Авторы письма утверждают, что их нейросеть научилась таким операциям на уровне школьника.
Почему это вообще важно? В мире разработчиков больших языковых моделей типа ChatGPT распространено (но никем не доказано) предположение, что создание модели, которая сможет хорошо считать, в основном решит вопрос с сильным искусственным интеллектом. То есть подобное ПО сможет заменить человека практически в любой области.
Напомним предысторию: до ChatGPT способность программного обеспечения работать со словами была угнетающе низкой (в лучшем случае на уровне учащегося не лучшей средней школы). Чтобы добиться прорыва, OpenAI во главе с Сэмом Альтманом использовала принцип китайской комнаты — в виде нейросети, тренированной так, чтобы выбирать следующее слово в выдаче человеку-собеседнику на основе подражания подобной выдаче, когда-то созданной реальными людьми.
Иными словами, ChatGPT и его клоны не понимают ничего из обрабатываемой информации — они просто статистически предсказывают, каким будет следующее слово в их выдаче, используя для этих предсказаний статистику из своей обучающей выборки. Естественно, в итоге подобная выдача по одному и тому же вопросу может отличаться: ведь такое ПО просто «бросает кости» в заданном «обучением» диапазоне значений, а не думает.
В математике этот подход не срабатывает: в большинстве случаев в одной задаче только один правильный ответ. Поэтому тут аналоги ChatGPT систематически дают ошибки. В рамках проекта Q* процент этих ошибок слегка снизили, доведя его, согласно анонимным источникам Reuters, до уровня ученика начальной школы.
Если эти тезисы СМИ верны, то письмо озабоченных разработчиков OpenAI могло серьезно напугать разве что людей, не очень хорошо разбирающихся в теме. Во-первых, уровень младшеклассника в математике не стоит переоценивать. Во-вторых, обычное алгоритмическое программное обеспечение (до нейросетей) научилось считать намного быстрее и точнее лучших ученых-математиков еще в прошлом веке.
Это тоже вызывало беспокойство у современников (достаточно вспомнить «Скайнет» в массовой культуре), но только у тех, кто был бесконечно далек от понимания реальных принципов работы таких систем. То есть того, что они лишены собственных побудительных мотивов и разума как такового — лишь выполняют заранее заложенные в них людьми операции.
Аналогичным образом современные нейросети и большие языковые модели полностью лишены сознания и побудительных мотивов. Поэтому опасения за будущее человечества из-за риска вытеснения таким ПО подобны опасениям вытеснения людей «Скайнетом» (или арифмометрами). Их трудно воспринимать серьезно.
Есть те, кто считают иначе. Например, Илон Маск оценил публикацию Reuters как вызывающую глубоко беспокойство. Однако Маск никогда не отвечал на вопрос, как именно системы, лишенные сознания и мотивов, могут угрожать человечеству. Параллельно он активно продвигает в медиа конкурента ChatGPT от OpenAI — собственную большую языковую модель Grok. Это делает затруднительным некритичное принятие его позиции по OpenAI как полностью корректной. Не вполне прозрачны и мотивы анонимов-источников из OpenAI: нельзя исключить их личную заинтересованность в оправдании неудавшегося увольнения Альтмана.
Telegram 
Дзен 
VK За последние 30 лет размер трески, обитающей в Балтийском море, значительно уменьшился. Если раньше рыбаки вылавливали из воды особей размером с маленького ребенка, то теперь добытая рыба легко помещается в ладонях. Авторы нового исследования винят в этом человека, который заставил один из видов эволюционировать в «карликов».
Снимки с фотоловушек давно стали культурным явлением. Особенно забавными выглядят медведи. Мы с удовольствием смотрим на зверей, попавших в объектив камер в национальных парках: тигр украл фотоловушку, муравьед проехал верхом на муравьеде и так далее. Но не все животные настолько обаятельные. Ученые из США решили развить эмпатию к гремучим змеям, которых многие боятся. Для этого специалисты запустили трансляцию из «мегалогова», где рептилии отдыхают и рожают потомство.
Происхождение и возраст земной коры долгое время занимает умы исследователей. Международная комиссия по стратиграфии рассматривает серые гнейсы Акасты в Канаде как переход к архею. В них обнаружили осколки цирконов возрастом более четырех миллиардов лет, то есть принадлежащие предыдущему эону — катархею. Возможно, эти минералы входили в состав первичной земной коры, которая исчезла везде, кроме одного региона.
За последние 30 лет размер трески, обитающей в Балтийском море, значительно уменьшился. Если раньше рыбаки вылавливали из воды особей размером с маленького ребенка, то теперь добытая рыба легко помещается в ладонях. Авторы нового исследования винят в этом человека, который заставил один из видов эволюционировать в «карликов».
Ученые ТюмГУ проанализировали влияние конфигурации и свойств пласта и технологического режима эксплуатации скважин на коэффициент извлечения нефти. По мнению исследователей, эти факторы можно рассматривать как определяющие для выбора наиболее эффективной стратегии разработки.
Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.
Радиотелескопы уловили очень короткий сигнал, и по его характеристикам стало ясно, что он не может быть естественного происхождения. Астрономы пришли к выводу, что источник находился в околоземном пространстве — там, где уже более полувека летает «мертвый» аппарат NASA.
Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.
Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии