Психология

Люди спутали ИИ-поэзию со стихами классиков и оценили ее выше

Генеративные, то есть создающие некий контент модели искусственного интеллекта научились имитировать человеческую речь, писать художественные произведения, рисовать рекламные ролики, решать задачи по программированию и многое другое. Однако по качеству работы их все же достаточно легко было отличить от людей. Исследователи из США опубликовали результаты первого эксперимента, в котором люди не просто не смогли разграничить стихи англоязычных поэтов и ИИ-поэзию, но и оценили машинное искусство выше человеческого.

Языковые модели для общения с человеком или создания текстов на естественных языках стремительно развиваются. Согласно последним исследованиям, искусственный интеллект начал врать и манипулировать собеседником, хотя алгоритм запрещал ему это делать, а бот ChatGPT-4 смог пройти пятиминутный тест Тьюринга — в 54% случаев убедить участников эксперимента, что они общаются с человеком, а не с компьютером.

Специалисты из Питтсбургского университета провели исследование, в результате которого люди впервые спутали стихи, сгенерированные искусственным интеллектом, с творчеством английских и американских поэтов-классиков. Научную статью об этом опубликовал журнал Scientific Reports.

Исследование включало в себя два эксперимента. В первом из них 1634 взрослых случайным образом распределили между 10 английскими и американскими поэтами. Это были представители как классической, так и современной литературы: Джеффри Чосер, Уильям Шекспир, Сэмюэл Батлер, Джордж Гордон Байрон, Уолт Уитмен, Эмили Дикинсон, Томас Стернз Элиот, Аллен Гинзберг, Сильвия Плат и Доротея Ласки.

Участникам эксперимента в случайном порядке показывали 10 стихотворений, пять из которых были написаны одним из поэтов, а пять — моделью ChatGPT3.5 «в стиле этого поэта». Люди предполагали, человек ли, по их мнению, создал каждое стихотворение, оценивали свою уверенность в ответе по шкале от 0 до 100 и по желанию аргументировали мнение. Кроме того, они сообщили демографическую информацию о себе, в том числе рассказали, интересуются ли поэзией и хорошо ли в ней разбираются.

Во втором эксперименте участвовали 696 участников, которым показывали одни и те же пять ИИ-стихотворений и пять работ настоящих поэтов. При этом одной группе говорили, что все тексты написал человек, второй — что их сгенерировала ChatGPT3.5, а третьей группе не говорили ничего. Участники исследования должны были поставить каждому стихотворению оценку по семибалльной шкале от «крайне плохо» до «чрезвычайно хорошо» по следующим критериям:

— формальные качества (ритм, рифма),

— эмоциональная составляющая (передает ли стихотворение какую-то эмоцию, трогает ли),

— креативность (оригинальность, остроумие),

— эстетические особенности (красота, лиризм),

— глубина (степень, в которой стихотворение раскрывает некую тему).

Согласно результатам экспериментов, люди были склонны машинную поэзию считать человеческой, и наоборот. При этом более высокие оценки по форме, содержанию и другим критериям получали в основном ИИ-произведения. Если раньше поэзия была одной из сфер, в которых искусственный интеллект было сложно перепутать с человеком, то теперь возможности генеративных моделей значительно расширились.

Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports

Исследователи предположили, что ошибочное отнесение классических и современных стихов к машинному творчеству, а текстов ИИ — к работам людей связано с тем, что ожидания участников эксперимента от языковых моделей не соответствуют действительности. По словам респондентов, сложность стихов, написанных человеком, они принимали за бессвязность искусственного интеллекта, а относительную простоту и ясность контента ИИ — за отличительную особенность текста, который не может быть написан компьютером.

Комментарии

  • Это абсолютно логично, я всегда говорил, что первой жертвой ИИ станет именно искусство. Поэты, писатели, драматурги тысячи лет пишут по сути об одном и том же, лишь адаптируя извечные темы и сюжеты под свою современность, ее язык, нравы, традиции. Поэтому для LLM литература - просто идеальный объект для имитации.

    • Zhe, вы, видимо, пропустили последний абзац совсем. Впрочем, неудивительно: тезисы вида "через 20 лет везде будет один телевизор" всегда были весьма популярны в начале развития той или иной технологии.

      На практике никаких серьезных писателей эта штука не затронет вообще никогда.

      • Александр, "не затронет вообще никогда" — даже когда появится сильный искусственный интеллект? Серьёзно? 🤣Маск мечтает создать симбиоз человека и компьютера, называя это конечной целью эволюции: «Наш единственный шанс сохранить свой вид, а не быть порабощенными искусственным интеллектом — это слиться с ним».
        https://dzen.ru/a/ZbjMgTQfhkxONf6_😉Вопрос: что такое это слияние, если не "один сплошной телевизор"? Вам знакома идея сингулярности? Курцвейл, компьютрониум, 2045 год. Биоцифровая конвергенция, слияние всего со всем и огромное Я в центре мироздания, вместо множества досадных Мы с их вечной разностью мнений и прочим либерализмом... Я лично за диктатуру, тотальную уравниловку и вселенский марксизм. Всё равно по-настоящему можно любить только себя! 🤣Не думаю, что внутри ЕДИНОЙ сущности размером с мироздание, в которую мы ВСЕ сольемся к 2045 году, может остаться РАЗДЕЛЕНИЕ на талантливых и бездарных, мужчин и женщин, живое и неживое. А вам просто не хочется признавать, что скоро я, бездельник, получу ровно то же самое, что и любые труженики. Но это правильно! Ни у кого не должно быть никаких преимуществ ни перед кем. Только так исчезнет зависть. 😂2000 лет людей призывают к добру, и всё без толку, преступления совершаются. Религии и философии облажались, нравственность станет результатом технологий. Чтобы не было зла, надо, чтобы не было человека. К чему и ведут мир глобалисты с их расчеловечивающими биотехнологиями.

        • Naked, в статье речь о нейросети. Сильный ИИ не будет нейросетью, поскольку нейросетью не является интеллект естественный. Поэтому да, абсолютно серьезно.

          "И потом, а как же сингулярность?"

          Никак. Ее не будет.

          " Курцвейл, компьютрониум, 2045 год. Биоцифровая конвергенция, слияние всего со всем и огромное Я в центре мироздания, вместо множества досадных Мы с их вечной разностью мнений и прочим либерализмом... Я лично за диктатуру, тотальную уравниловку и вселенский марксизм. "

          Надо лечить голову.

          • Александр, Никак. Ее не будет
            🤣
            Тогда не будет и бессмертия. Ведь ни человек, ни тугоплавкий киборг, ни звезда не вечны. Бессмертие возможно только для компьютрониума размером со Вселенную, это понятно?
            🤣
            А бессмертие — единственная достойная цель жизни. Кто умер — тот зря жил. Никто не продолжается ни в делах, ни в детях. Сын похож на отца, но это не отец. Отец умрёт и станет прахом. Античная статуя сохранилась с древних времен, а где резец, что её высек? Он утерян, переплавлен... Нет его! Надо отнять все смыслы у творцов и счастливых отцов.
            🤣
            Потому, что если вы не хотите вечно длить свою прекрасную жизнь, значит, она у вас недостаточно прекрасна. И смерть видится вам избавлением. То есть, вы незрелая личность, не умеющая жить легко и с удовольствием, так, чтобы хотелось длить такую жизнь вечно. А какую ценность могут иметь аргументы незрелой личности? Никакой. Вот ваши и не имеют.🤣Надо лечить голову 🤣Но если не будет бессмертия — зачем её лечить? Кости в гробу здорового будут другого цвета, чем мои? Такого же? Понимаете теперь, почему нам необходимо "одно сплошное телевидение"? 😂И вы не ответили насчёт Маска: "наш единственный шанс сохранить свой вид, а не быть порабощенными искусственным интеллектом — это слиться с ним". А то Курцвейлу надо голову лечить, Маску тоже... Не правильнее ли считать, что глупец — это, всё-таки, кто-то другой, а не эти большие люди?

          • Naked, Маска нет и Курцвейла нет, а вот Березин таки есть потому что он объективная реальность данная нам в статьях и коментах 😁

          • И., дуракам просто не хочется признавать, что они зря к чему-то стремились. Нас ждёт полная уравниловка, вселенский марксизм. Ни бога, ни любви, ни искусства, ни познания, ни творчества. Только бесконечная Самость!

          • Александр, что интеллект естественный не является нейросетью это сильное заявление. Почти сравнимое с "бога нет" 😏 А доказательства подобного заявления у вас имеются (про интеллект, бога оставим в покое) или это лишь глубокое личное убеждение?

          • И., бога не то, чтобы нет... Его НЕ ДОЛЖНО быть. Западло верить в негодяя который обрекает меня на старение и смерть. Тем более, что скоро мы обретём бессмертие без бога, при помощи биотехнологий. А дальше из мира исчезнет понятие Мы, останется только огромное Я размером с мироздание. И верующие 2000 лет были дураками 🤣

      • Ну, например, лошади и паровозы как транспортные средства действительно были полностью вытеснены новыми технологиями, так что тезис про "телевизор" иногда-таки работает) Но в данном случае речь не об этом.
        Искусство не имеет объективной ценности, а только лишь исключительно субъективную. Кроме того, неотъемлемой частью любого произведения искусства является контекст, в котором оно создавалось. В этом смысле два идентичных текста, написанных разными авторами, являются, по сути, разными текстами (см. "Пьер Менар, автор "Дон Кихота"", Х.Л.Б). А тексты, созданные живым автором и ИИ, очевидно, вообще соотносятся примерно как подлинная картина Рембрандта и подделка под него. Такое полотно может годами висеть в Лувре, и все будут видеть в нем неоспоримый шедевр, но потом продвинутая экспертиза обнаруживает подлог, картину прячут в запасники, и все о ней забывают.
        В литературе неотличимые от "настоящих" текстов имитации ИИ, вероятнее всего, приведут примерно к той же ситуации, что сложилась в современных шахматах, где все подозревают друг друга в "читерстве" с использованием компьютерных программ, играющих лучше людей. Причем если ту же подделанную картину ещё можно "разоблачить" техническими средствами, поскольку у нее есть материальный носитель, то текст - объект виртуальный, его не просветишь рентгеном, не проанализируешь химически и т.п. Т.о. будущий читатель никогда не будет уверен, что́ перед ним - действительно "настоящая" глубокая литература, выстраданная автором, или "бессмысленная" поделка очередной продвинутой LLM. И в этот момент литература в прежнем смысле перестанет существовать.

        • Zhe, "Искусство не имеет объективной ценности" — искусство это просто способ преодолеть боль жизни. Не будет боли — не будет и искусства. Не будет страдания — не останется и со-страдания. К чему нас и ведут глобалисты с их расчеловечивающими биотехнологиями отмены болезней и старения.
          🤣
          А люди против только потому, что придётся признать: они всю жизнь были глупцами, когда надеялись и верили, любили и трудились. Но придётся!
          😎
          И всем от этого будет только лучше. Потому, что никто из людей ещё никогда не был счастлив, ведь счастье — это когда всё по-твоему, а пока надо мириться с чужой непохожестью — это страдание, а не счастье. Счастье нам ещё только предстоит, с прямым подключением к мозгу 🤣

        • Zhe,
          - Официант! Вы что мне принесли? Это чай или кофе?
          - А Вы что, не можете отличить?
          - Нет!
          - Ну тогда какая Вам разница?

          • Иван, именно! Жизнь — это дрянь и чушь, ведущая к смерти. Любовь — источник супружеских измен, половых извращений и сексуальных преступлений. Дружба ведёт к пьянству, конфликтам и убийствам на бытовой почве. Национальное самосознание порождает ненависть к чужим обычаям и верованиям и мы имеем мясорубку на СВО. Любой талант, красота, ум — только источник зависти. И так далее...
            🤣
            Весь мир устроен неправильно. Интерес-зависимость, удовольствия, счастье, рождение и смерть, познание и творчество скоро будут уничтожены с помощью биотехнологий и генной терапии, тотального контроля и искусственного интеллекта, и всем от этого будет только лучше.
            🤣
            Вернее, всех не будет. Кругом останусь только один огромный Я. Курцвейл, компьютрониум, 2045 год.

          • Naked, не так давно Gemini AI посоветовал слишком дотошному пользователю выпить яду и убиться об стену. Вы там осторожнее с такими курцвейлами. 😏

          • И., вы не умеете думать. До сих пор всё зло было от человека. Почему с приходом ИИ что-то должно измениться? Меняйте ваше тупое мировоззрение на моё правильное! Всё равно диктатура неизбежна, сначала на Окраине, а потом и по всему миру!😂2000 лет людей призывают к добру, и всё без толку, преступления совершаются. А тотальный контроль мигом установит всеобщую нравственность: только подумал неправильную мысль — сильный ИИ изменил её тебе на правильную. Религии и философии облажались, нравственность станет результатом технологий. У вас было 2 тысячелетия, чтобы стать нормальными, теперь всех просто заставят при помощи тотального контроля и социального рейтинга. Сами виноваты!

          • Naked, просто расскажите где вы такие грибы берете.

    • Zhe, скоро профессионалам будет НЕЧЕМ гордиться! И это правильно. Ни у кого не должно быть никаких преимуществ ни перед кем. Только так исчезнет зависть.

  • Это исследование на древней и примитивной 3.5, правда, на английском, стихи на котором она лучше пишет. Сейчас бы с новыми моделями результаты ещё интереснее были бы. Кстати, для русского языка со стихами лучше справляется Claude Sonnet, хотя и другие уже не полную околесицу выдают, а среднюю, так скажем.

    Я хоть и высоко оцениваю возможности и перспективы нейросетей, но стихи стихам рознь. Можно хорошо подбирать рифмы и вписываться в размер (для русского сейчас это 50/50, но после небольшого диалога обычно исправляет и вообще ситуация улучшается). Но стихи это не только рифмованные строки, пусть и со смыслом даже. Это юбиляру на 60-летие хорошо такие писать и всё нормально пройдёт, типа, стихи же. А вот что-то более глубокое, передающее именно личные переживания и эмоции можно имитировать, да, иногда вполне успешно, но это ещё не совсем то. И если нейросеть никто не обучал на стихах Маяковского, например, то вот как она придумает его неповторимый стиль? Никак не придумает пока. Но это не значит, что такое невозможно в перспективе, просто другие методы надо задействовать. В конце концов между ушами у нас тоже нейросеть, а не приёмник для божественного вдохновения.

    • Dron, "вот что-то более глубокое, передающее именно личные переживания и эмоции" — вы не понимаете главного. Эмоции это не более, чем химия мозга. Получив полный доступ к биологии мы просто отключим их. Не нужно сознания, оно — просто источник комплексов. У единой сущности размером с мироздание, в которую мы ВСЕ сольемся к 2045 году, не будет ни сознания, ни переживаний, ни эмоций. Будет полный контроль над реальностью, без труда, ошибок и озарений.
      🤣
      Мыслящий рельеф, тихое и вечное мерцание бытия без инстинктов. Вычислительная машина таких размеров наверняка найдёт способ изменить законы физики, отменить остывание космоса. И как только мы победим энтропию, возникнет бессмертие. Только истинное, а не в религиозных сказках. Из мира исчезнет понятие Мы, останется только огромное Я. И это правильно. Зачем вы нужны? Я же вас не люблю! 🤣