• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
14 ноября
Полина Меньшова
20
2 343

Люди спутали ИИ-поэзию со стихами классиков и оценили ее выше

5.4

Генеративные, то есть создающие некий контент модели искусственного интеллекта научились имитировать человеческую речь, писать художественные произведения, рисовать рекламные ролики, решать задачи по программированию и многое другое. Однако по качеству работы их все же достаточно легко было отличить от людей. Исследователи из США опубликовали результаты первого эксперимента, в котором люди не просто не смогли разграничить стихи англоязычных поэтов и ИИ-поэзию, но и оценили машинное искусство выше человеческого.

Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии
Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии / © Изображение сгенерировано с помощью imagine.art

Языковые модели для общения с человеком или создания текстов на естественных языках стремительно развиваются. Согласно последним исследованиям, искусственный интеллект начал врать и манипулировать собеседником, хотя алгоритм запрещал ему это делать, а бот ChatGPT-4 смог пройти пятиминутный тест Тьюринга — в 54% случаев убедить участников эксперимента, что они общаются с человеком, а не с компьютером.

Специалисты из Питтсбургского университета провели исследование, в результате которого люди впервые спутали стихи, сгенерированные искусственным интеллектом, с творчеством английских и американских поэтов-классиков. Научную статью об этом опубликовал журнал Scientific Reports.

Исследование включало в себя два эксперимента. В первом из них 1634 взрослых случайным образом распределили между 10 английскими и американскими поэтами. Это были представители как классической, так и современной литературы: Джеффри Чосер, Уильям Шекспир, Сэмюэл Батлер, Джордж Гордон Байрон, Уолт Уитмен, Эмили Дикинсон, Томас Стернз Элиот, Аллен Гинзберг, Сильвия Плат и Доротея Ласки.

Участникам эксперимента в случайном порядке показывали 10 стихотворений, пять из которых были написаны одним из поэтов, а пять — моделью ChatGPT3.5 «в стиле этого поэта». Люди предполагали, человек ли, по их мнению, создал каждое стихотворение, оценивали свою уверенность в ответе по шкале от 0 до 100 и по желанию аргументировали мнение. Кроме того, они сообщили демографическую информацию о себе, в том числе рассказали, интересуются ли поэзией и хорошо ли в ней разбираются.

Во втором эксперименте участвовали 696 участников, которым показывали одни и те же пять ИИ-стихотворений и пять работ настоящих поэтов. При этом одной группе говорили, что все тексты написал человек, второй — что их сгенерировала ChatGPT3.5, а третьей группе не говорили ничего. Участники исследования должны были поставить каждому стихотворению оценку по семибалльной шкале от «крайне плохо» до «чрезвычайно хорошо» по следующим критериям:

— формальные качества (ритм, рифма),

— эмоциональная составляющая (передает ли стихотворение какую-то эмоцию, трогает ли),

— креативность (оригинальность, остроумие),

— эстетические особенности (красота, лиризм),

— глубина (степень, в которой стихотворение раскрывает некую тему).

Согласно результатам экспериментов, люди были склонны машинную поэзию считать человеческой, и наоборот. При этом более высокие оценки по форме, содержанию и другим критериям получали в основном ИИ-произведения. Если раньше поэзия была одной из сфер, в которых искусственный интеллект было сложно перепутать с человеком, то теперь возможности генеративных моделей значительно расширились.

Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports
Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports

Исследователи предположили, что ошибочное отнесение классических и современных стихов к машинному творчеству, а текстов ИИ — к работам людей связано с тем, что ожидания участников эксперимента от языковых моделей не соответствуют действительности. По словам респондентов, сложность стихов, написанных человеком, они принимали за бессвязность искусственного интеллекта, а относительную простоту и ясность контента ИИ — за отличительную особенность текста, который не может быть написан компьютером.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 07:26
Полина Меньшова

Со временем одни воспоминания заменяются другими, но почему люди запоминают именно то, что запоминают? На этот вопрос ответили ученые из США, проанализировав более 100 исследований эпизодической памяти.

Вчера, 09:17
Любовь

Одни из самых ярких объектов во Вселенной — квазары — представляют собой активные ядра галактик, питаемые центральными сверхмассивными черными дырами. Электромагнитное излучение, испускаемое этими объектами, позволяет астрономам изучать структуру Вселенной на ранних этапах ее развития, однако мощный радиоджет, исходящий от недавно обнаруженного экстремально яркого квазара J1601+3102, ставит под сомнение существующие представления о «космической заре».

Вчера, 19:47
Егор Быковский

О том, как совмещать успешную работу в физике и литературе, об экситонах и фотонах, о жидком свете, поляритонике и о мировом лидерстве России в этой области мы поговорили с Алексеем Кавокиным, директором Международного центра теоретической физики имени А. А. Абрикосова (МФТИ), руководителем группы квантовой поляритоники Российского квантового центра, руководителем лаборатории оптики спина Санкт-Петербургского государственного университета.

Вчера, 07:26
Полина Меньшова

Со временем одни воспоминания заменяются другими, но почему люди запоминают именно то, что запоминают? На этот вопрос ответили ученые из США, проанализировав более 100 исследований эпизодической памяти.

Вчера, 09:17
Любовь

Одни из самых ярких объектов во Вселенной — квазары — представляют собой активные ядра галактик, питаемые центральными сверхмассивными черными дырами. Электромагнитное излучение, испускаемое этими объектами, позволяет астрономам изучать структуру Вселенной на ранних этапах ее развития, однако мощный радиоджет, исходящий от недавно обнаруженного экстремально яркого квазара J1601+3102, ставит под сомнение существующие представления о «космической заре».

Вчера, 19:47
Егор Быковский

О том, как совмещать успешную работу в физике и литературе, об экситонах и фотонах, о жидком свете, поляритонике и о мировом лидерстве России в этой области мы поговорили с Алексеем Кавокиным, директором Международного центра теоретической физики имени А. А. Абрикосова (МФТИ), руководителем группы квантовой поляритоники Российского квантового центра, руководителем лаборатории оптики спина Санкт-Петербургского государственного университета.

16 ноября
Evgenia

Международная коллаборация физиков под руководством ученых из Йельского университета в США представила самые убедительные на сегодня подтверждения существования нового типа сверхпроводящих материалов. Доказательство существования нематической фазы вещества — научный прорыв, открывающий путь к созданию сверхпроводимости совершенно новым способом.

28 ноября
Елизавета Александрова

Обсерватории постоянно улавливают «мигающие» радиосигналы из глубин Вселенной. Чаще всего их источниками оказываются нейтронные звезды, которые за это и назвали пульсарами. Но к недавно обнаруженному источнику GLEAM-X J0704-37 они, по мнению астрономов, отношения не имеют.

25 ноября
Полина Меньшова

Многие одинокие люди считают, что окружающие не разделяют их взглядов. Психологи из США решили проверить, так ли это на самом деле, и обнаружили общую особенность у людей с недостаточным количеством социальных связей.

[miniorange_social_login]

Комментарии

20 Комментариев
Dron N
3 недели назад
-
0
+
Это исследование на древней и примитивной 3.5, правда, на английском, стихи на котором она лучше пишет. Сейчас бы с новыми моделями результаты ещё интереснее были бы. Кстати, для русского языка со стихами лучше справляется Claude Sonnet, хотя и другие уже не полную околесицу выдают, а среднюю, так скажем. Я хоть и высоко оцениваю возможности и перспективы нейросетей, но стихи стихам рознь. Можно хорошо подбирать рифмы и вписываться в размер (для русского сейчас это 50/50, но после небольшого диалога обычно исправляет и вообще ситуация улучшается). Но стихи это не только рифмованные строки, пусть и со смыслом даже. Это юбиляру на 60-летие хорошо такие писать и всё нормально пройдёт, типа, стихи же. А вот что-то более глубокое, передающее именно личные переживания и эмоции можно имитировать, да, иногда вполне успешно, но это ещё не совсем то. И если нейросеть никто не обучал на стихах Маяковского, например, то вот как она придумает его неповторимый стиль? Никак не придумает пока. Но это не значит, что такое невозможно в перспективе, просто другие методы надо задействовать. В конце концов между ушами у нас тоже нейросеть, а не приёмник для божественного вдохновения.
    Naked  Scientist
    3 недели назад
    -
    0
    +
    Dron, "вот что-то более глубокое, передающее именно личные переживания и эмоции" — вы не понимаете главного. Эмоции это не более, чем химия мозга. Получив полный доступ к биологии мы просто отключим их. Не нужно сознания, оно — просто источник комплексов. У единой сущности размером с мироздание, в которую мы ВСЕ сольемся к 2045 году, не будет ни сознания, ни переживаний, ни эмоций. Будет полный контроль над реальностью, без труда, ошибок и озарений. 🤣 Мыслящий рельеф, тихое и вечное мерцание бытия без инстинктов. Вычислительная машина таких размеров наверняка найдёт способ изменить законы физики, отменить остывание космоса. И как только мы победим энтропию, возникнет бессмертие. Только истинное, а не в религиозных сказках. Из мира исчезнет понятие Мы, останется только огромное Я. И это правильно. Зачем вы нужны? Я же вас не люблю! 🤣
Zhe Sh
3 недели назад
-
1
+
Это абсолютно логично, я всегда говорил, что первой жертвой ИИ станет именно искусство. Поэты, писатели, драматурги тысячи лет пишут по сути об одном и том же, лишь адаптируя извечные темы и сюжеты под свою современность, ее язык, нравы, традиции. Поэтому для LLM литература - просто идеальный объект для имитации.
    Александр Березин
    3 недели назад
    -
    -1
    +
    Zhe, вы, видимо, пропустили последний абзац совсем. Впрочем, неудивительно: тезисы вида "через 20 лет везде будет один телевизор" всегда были весьма популярны в начале развития той или иной технологии. На практике никаких серьезных писателей эта штука не затронет вообще никогда.
    +
      ещё комментарии
      Naked  Scientist
      3 недели назад
      -
      -1
      +
      Александр, "не затронет вообще никогда" — даже когда появится сильный искусственный интеллект? Серьёзно? 🤣Маск мечтает создать симбиоз человека и компьютера, называя это конечной целью эволюции: «Наш единственный шанс сохранить свой вид, а не быть порабощенными искусственным интеллектом — это слиться с ним». https://dzen.ru/a/ZbjMgTQfhkxONf6_😉Вопрос: что такое это слияние, если не "один сплошной телевизор"? Вам знакома идея сингулярности? Курцвейл, компьютрониум, 2045 год. Биоцифровая конвергенция, слияние всего со всем и огромное Я в центре мироздания, вместо множества досадных Мы с их вечной разностью мнений и прочим либерализмом... Я лично за диктатуру, тотальную уравниловку и вселенский марксизм. Всё равно по-настоящему можно любить только себя! 🤣Не думаю, что внутри ЕДИНОЙ сущности размером с мироздание, в которую мы ВСЕ сольемся к 2045 году, может остаться РАЗДЕЛЕНИЕ на талантливых и бездарных, мужчин и женщин, живое и неживое. А вам просто не хочется признавать, что скоро я, бездельник, получу ровно то же самое, что и любые труженики. Но это правильно! Ни у кого не должно быть никаких преимуществ ни перед кем. Только так исчезнет зависть. 😂2000 лет людей призывают к добру, и всё без толку, преступления совершаются. Религии и философии облажались, нравственность станет результатом технологий. Чтобы не было зла, надо, чтобы не было человека. К чему и ведут мир глобалисты с их расчеловечивающими биотехнологиями.
        Александр Березин
        3 недели назад
        -
        -1
        +
        Naked, в статье речь о нейросети. Сильный ИИ не будет нейросетью, поскольку нейросетью не является интеллект естественный. Поэтому да, абсолютно серьезно. "И потом, а как же сингулярность?" Никак. Ее не будет. " Курцвейл, компьютрониум, 2045 год. Биоцифровая конвергенция, слияние всего со всем и огромное Я в центре мироздания, вместо множества досадных Мы с их вечной разностью мнений и прочим либерализмом... Я лично за диктатуру, тотальную уравниловку и вселенский марксизм. " Надо лечить голову.
          Naked  Scientist
          3 недели назад
          -
          0
          +
          Александр, Никак. Ее не будет 🤣 Тогда не будет и бессмертия. Ведь ни человек, ни тугоплавкий киборг, ни звезда не вечны. Бессмертие возможно только для компьютрониума размером со Вселенную, это понятно? 🤣 А бессмертие — единственная достойная цель жизни. Кто умер — тот зря жил. Никто не продолжается ни в делах, ни в детях. Сын похож на отца, но это не отец. Отец умрёт и станет прахом. Античная статуя сохранилась с древних времен, а где резец, что её высек? Он утерян, переплавлен... Нет его! Надо отнять все смыслы у творцов и счастливых отцов. 🤣 Потому, что если вы не хотите вечно длить свою прекрасную жизнь, значит, она у вас недостаточно прекрасна. И смерть видится вам избавлением. То есть, вы незрелая личность, не умеющая жить легко и с удовольствием, так, чтобы хотелось длить такую жизнь вечно. А какую ценность могут иметь аргументы незрелой личности? Никакой. Вот ваши и не имеют.🤣Надо лечить голову 🤣Но если не будет бессмертия — зачем её лечить? Кости в гробу здорового будут другого цвета, чем мои? Такого же? Понимаете теперь, почему нам необходимо "одно сплошное телевидение"? 😂И вы не ответили насчёт Маска: "наш единственный шанс сохранить свой вид, а не быть порабощенными искусственным интеллектом — это слиться с ним". А то Курцвейлу надо голову лечить, Маску тоже... Не правильнее ли считать, что глупец — это, всё-таки, кто-то другой, а не эти большие люди?
            Иван Колупаев
            3 недели назад
            -
            1
            +
            Naked, Маска нет и Курцвейла нет, а вот Березин таки есть потому что он объективная реальность данная нам в статьях и коментах 😁
              Naked  Scientist
              3 недели назад
              -
              0
              +
              И., дуракам просто не хочется признавать, что они зря к чему-то стремились. Нас ждёт полная уравниловка, вселенский марксизм. Ни бога, ни любви, ни искусства, ни познания, ни творчества. Только бесконечная Самость!
          Иван Колупаев
          3 недели назад
          -
          0
          +
          Александр, что интеллект естественный не является нейросетью это сильное заявление. Почти сравнимое с "бога нет" 😏 А доказательства подобного заявления у вас имеются (про интеллект, бога оставим в покое) или это лишь глубокое личное убеждение?
            Naked  Scientist
            3 недели назад
            -
            0
            +
            И., бога не то, чтобы нет... Его НЕ ДОЛЖНО быть. Западло верить в негодяя который обрекает меня на старение и смерть. Тем более, что скоро мы обретём бессмертие без бога, при помощи биотехнологий. А дальше из мира исчезнет понятие Мы, останется только огромное Я размером с мироздание. И верующие 2000 лет были дураками 🤣
      Zhe Sh
      3 недели назад
      -
      0
      +
      Ну, например, лошади и паровозы как транспортные средства действительно были полностью вытеснены новыми технологиями, так что тезис про "телевизор" иногда-таки работает) Но в данном случае речь не об этом. Искусство не имеет объективной ценности, а только лишь исключительно субъективную. Кроме того, неотъемлемой частью любого произведения искусства является контекст, в котором оно создавалось. В этом смысле два идентичных текста, написанных разными авторами, являются, по сути, разными текстами (см. "Пьер Менар, автор "Дон Кихота"", Х.Л.Б). А тексты, созданные живым автором и ИИ, очевидно, вообще соотносятся примерно как подлинная картина Рембрандта и подделка под него. Такое полотно может годами висеть в Лувре, и все будут видеть в нем неоспоримый шедевр, но потом продвинутая экспертиза обнаруживает подлог, картину прячут в запасники, и все о ней забывают. В литературе неотличимые от "настоящих" текстов имитации ИИ, вероятнее всего, приведут примерно к той же ситуации, что сложилась в современных шахматах, где все подозревают друг друга в "читерстве" с использованием компьютерных программ, играющих лучше людей. Причем если ту же подделанную картину ещё можно "разоблачить" техническими средствами, поскольку у нее есть материальный носитель, то текст - объект виртуальный, его не просветишь рентгеном, не проанализируешь химически и т.п. Т.о. будущий читатель никогда не будет уверен, что́ перед ним - действительно "настоящая" глубокая литература, выстраданная автором, или "бессмысленная" поделка очередной продвинутой LLM. И в этот момент литература в прежнем смысле перестанет существовать.
        Naked  Scientist
        3 недели назад
        -
        0
        +
        Zhe, "Искусство не имеет объективной ценности" — искусство это просто способ преодолеть боль жизни. Не будет боли — не будет и искусства. Не будет страдания — не останется и со-страдания. К чему нас и ведут глобалисты с их расчеловечивающими биотехнологиями отмены болезней и старения. 🤣 А люди против только потому, что придётся признать: они всю жизнь были глупцами, когда надеялись и верили, любили и трудились. Но придётся! 😎 И всем от этого будет только лучше. Потому, что никто из людей ещё никогда не был счастлив, ведь счастье — это когда всё по-твоему, а пока надо мириться с чужой непохожестью — это страдание, а не счастье. Счастье нам ещё только предстоит, с прямым подключением к мозгу 🤣
        Иван Колупаев
        3 недели назад
        -
        0
        +
        Zhe, - Официант! Вы что мне принесли? Это чай или кофе? - А Вы что, не можете отличить? - Нет! - Ну тогда какая Вам разница?
          Naked  Scientist
          3 недели назад
          -
          0
          +
          Иван, именно! Жизнь — это дрянь и чушь, ведущая к смерти. Любовь — источник супружеских измен, половых извращений и сексуальных преступлений. Дружба ведёт к пьянству, конфликтам и убийствам на бытовой почве. Национальное самосознание порождает ненависть к чужим обычаям и верованиям и мы имеем мясорубку на СВО. Любой талант, красота, ум — только источник зависти. И так далее... 🤣 Весь мир устроен неправильно. Интерес-зависимость, удовольствия, счастье, рождение и смерть, познание и творчество скоро будут уничтожены с помощью биотехнологий и генной терапии, тотального контроля и искусственного интеллекта, и всем от этого будет только лучше. 🤣 Вернее, всех не будет. Кругом останусь только один огромный Я. Курцвейл, компьютрониум, 2045 год.
            Иван Колупаев
            3 недели назад
            -
            0
            +
            Naked, не так давно Gemini AI посоветовал слишком дотошному пользователю выпить яду и убиться об стену. Вы там осторожнее с такими курцвейлами. 😏
              Naked  Scientist
              2 недели назад
              -
              0
              +
              И., вы не умеете думать. До сих пор всё зло было от человека. Почему с приходом ИИ что-то должно измениться? Меняйте ваше тупое мировоззрение на моё правильное! Всё равно диктатура неизбежна, сначала на Окраине, а потом и по всему миру!😂2000 лет людей призывают к добру, и всё без толку, преступления совершаются. А тотальный контроль мигом установит всеобщую нравственность: только подумал неправильную мысль — сильный ИИ изменил её тебе на правильную. Религии и философии облажались, нравственность станет результатом технологий. У вас было 2 тысячелетия, чтобы стать нормальными, теперь всех просто заставят при помощи тотального контроля и социального рейтинга. Сами виноваты!
    Naked  Scientist
    3 недели назад
    -
    0
    +
    Zhe, скоро профессионалам будет НЕЧЕМ гордиться! И это правильно. Ни у кого не должно быть никаких преимуществ ни перед кем. Только так исчезнет зависть.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно