• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
14.11.2024, 19:00
Полина Меньшова
16
3,3 тыс

Люди спутали ИИ-поэзию со стихами классиков и оценили ее выше

❋ 5.4

Генеративные, то есть создающие некий контент модели искусственного интеллекта научились имитировать человеческую речь, писать художественные произведения, рисовать рекламные ролики, решать задачи по программированию и многое другое. Однако по качеству работы их все же достаточно легко было отличить от людей. Исследователи из США опубликовали результаты первого эксперимента, в котором люди не просто не смогли разграничить стихи англоязычных поэтов и ИИ-поэзию, но и оценили машинное искусство выше человеческого.

Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии
Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии / © Изображение сгенерировано с помощью imagine.art

Языковые модели для общения с человеком или создания текстов на естественных языках стремительно развиваются. Согласно последним исследованиям, искусственный интеллект начал врать и манипулировать собеседником, хотя алгоритм запрещал ему это делать, а бот ChatGPT-4 смог пройти пятиминутный тест Тьюринга — в 54% случаев убедить участников эксперимента, что они общаются с человеком, а не с компьютером.

Специалисты из Питтсбургского университета провели исследование, в результате которого люди впервые спутали стихи, сгенерированные искусственным интеллектом, с творчеством английских и американских поэтов-классиков. Научную статью об этом опубликовал журнал Scientific Reports.

Исследование включало в себя два эксперимента. В первом из них 1634 взрослых случайным образом распределили между 10 английскими и американскими поэтами. Это были представители как классической, так и современной литературы: Джеффри Чосер, Уильям Шекспир, Сэмюэл Батлер, Джордж Гордон Байрон, Уолт Уитмен, Эмили Дикинсон, Томас Стернз Элиот, Аллен Гинзберг, Сильвия Плат и Доротея Ласки.

Участникам эксперимента в случайном порядке показывали 10 стихотворений, пять из которых были написаны одним из поэтов, а пять — моделью ChatGPT3.5 «в стиле этого поэта». Люди предполагали, человек ли, по их мнению, создал каждое стихотворение, оценивали свою уверенность в ответе по шкале от 0 до 100 и по желанию аргументировали мнение. Кроме того, они сообщили демографическую информацию о себе, в том числе рассказали, интересуются ли поэзией и хорошо ли в ней разбираются.

Во втором эксперименте участвовали 696 участников, которым показывали одни и те же пять ИИ-стихотворений и пять работ настоящих поэтов. При этом одной группе говорили, что все тексты написал человек, второй — что их сгенерировала ChatGPT3.5, а третьей группе не говорили ничего. Участники исследования должны были поставить каждому стихотворению оценку по семибалльной шкале от «крайне плохо» до «чрезвычайно хорошо» по следующим критериям:

— формальные качества (ритм, рифма),

— эмоциональная составляющая (передает ли стихотворение какую-то эмоцию, трогает ли),

— креативность (оригинальность, остроумие),

— эстетические особенности (красота, лиризм),

— глубина (степень, в которой стихотворение раскрывает некую тему).

Согласно результатам экспериментов, люди были склонны машинную поэзию считать человеческой, и наоборот. При этом более высокие оценки по форме, содержанию и другим критериям получали в основном ИИ-произведения. Если раньше поэзия была одной из сфер, в которых искусственный интеллект было сложно перепутать с человеком, то теперь возможности генеративных моделей значительно расширились.

Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports
Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports

Исследователи предположили, что ошибочное отнесение классических и современных стихов к машинному творчеству, а текстов ИИ — к работам людей связано с тем, что ожидания участников эксперимента от языковых моделей не соответствуют действительности. По словам респондентов, сложность стихов, написанных человеком, они принимали за бессвязность искусственного интеллекта, а относительную простоту и ясность контента ИИ — за отличительную особенность текста, который не может быть написан компьютером.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Журналист, преподаватель НИУ ВШЭ, главный редактор медиа о русском языке «Изборник». Специализируется на популяризации лингвистики, психологии, нейробиологии и медицины.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
4 мая, 11:05
Понамарева Валерия

Генетика интеллекта сложна и связана с разными психоневрологическими состояниями. Оказалось, то, что повышает эрудицию, может ухудшать способность решать творческие задачи, — и наоборот. Причем паттерны этих связей уникальны для каждого диагноза.

2 мая, 16:26
Андрей Серегин

Ученые давно сделали вывод о том, что в поздней Античности монеты перестали представлять собой цену как валюта, однако не было понятно когда именно это произошло. Новое исследование погребения римского воина из бельгийского форта Оденбург показало, в какой момент монеты стали цениться просто весом металла в кошельке.

3 мая, 13:16
Любовь С.

Нуклеосомы — основные «катушки» упаковки ДНК — почти всегда находятся в искаженном состоянии, а не в аккуратной и стабильной форме, как считалось десятилетиями. Именно через такие микроскопические изменения, как выяснили ученые, клетка регулирует работу генов — а значит, управляет развитием, реакцией на внешние раздражители и даже возникновением болезней.

2 мая, 16:26
Андрей Серегин

Ученые давно сделали вывод о том, что в поздней Античности монеты перестали представлять собой цену как валюта, однако не было понятно когда именно это произошло. Новое исследование погребения римского воина из бельгийского форта Оденбург показало, в какой момент монеты стали цениться просто весом металла в кошельке.

4 мая, 11:05
Понамарева Валерия

Генетика интеллекта сложна и связана с разными психоневрологическими состояниями. Оказалось, то, что повышает эрудицию, может ухудшать способность решать творческие задачи, — и наоборот. Причем паттерны этих связей уникальны для каждого диагноза.

28 апреля, 22:06
Evgenia Vavilova

На границе возможностей оптоволокна лазерный пучок самоорганизовывается в мощный, сфокусированный луч-иглу. Параметры этого излучения таковы, что позволяют в реальном времени без дополнительных ухищрений рассматривать клеточные процессы.

23 апреля, 18:34
Александр Березин

В последнее время пуски с российских северных космодромов осуществляют без предварительного уведомления, чего не было в прошлом. Вероятно, дело в недавно упомянутых главой «Роскосмоса» атаках на Плесецк во время пуска. Сегодняшний запуск обеспечил вывод на орбиту космических аппаратов военного назначения.

5 апреля, 15:48
Александр Березин

Четыре человека, летящие к Луне, столкнулись с целым рядом мелких неприятностей — от низкой температуры в начале работы до поломки мочевыводящей системы туалета на вторые сутки и необходимости взамен пользоваться пакетами. К счастью, пока самые крупные сложности удалось компенсировать. Но все они вместе могут сдвинуть ситуацию к решению, о котором Naked Science уже говорил в нашем видеоподкасте о миссии: не исключено, что при высадке астронавтов на Луне их корабль состыкуют со Starship не на окололунной, а уже на околоземной орбите.

10 апреля, 10:51
Татьяна Зайцева

Когда международная экспедиционная группа, исследующая море Уэдделла в Антарктиде на борту ледокола «Поларштерн», попыталась укрыться от шторма, ученые и экипаж судна удивились внезапному появлению острова, не обозначенного ни на одной морской карте.

[miniorange_social_login]

Комментарии

16 Комментариев
Dron N
16.11.2024
-
0
+
Это исследование на древней и примитивной 3.5, правда, на английском, стихи на котором она лучше пишет. Сейчас бы с новыми моделями результаты ещё интереснее были бы. Кстати, для русского языка со стихами лучше справляется Claude Sonnet, хотя и другие уже не полную околесицу выдают, а среднюю, так скажем. Я хоть и высоко оцениваю возможности и перспективы нейросетей, но стихи стихам рознь. Можно хорошо подбирать рифмы и вписываться в размер (для русского сейчас это 50/50, но после небольшого диалога обычно исправляет и вообще ситуация улучшается). Но стихи это не только рифмованные строки, пусть и со смыслом даже. Это юбиляру на 60-летие хорошо такие писать и всё нормально пройдёт, типа, стихи же. А вот что-то более глубокое, передающее именно личные переживания и эмоции можно имитировать, да, иногда вполне успешно, но это ещё не совсем то. И если нейросеть никто не обучал на стихах Маяковского, например, то вот как она придумает его неповторимый стиль? Никак не придумает пока. Но это не значит, что такое невозможно в перспективе, просто другие методы надо задействовать. В конце концов между ушами у нас тоже нейросеть, а не приёмник для божественного вдохновения.
    -
    0
    +
    Комментарий удален пользователем или модератором...
    +
      ещё комментарии
      Dron N
      12.12.2024
      -
      0
      +
      Naked, поставлю напоминалку на 2045-й год, чтобы не забыть слиться :). Но если серьёзно, мы сейчас не может представить что будет при таком развитии, сингулярность. Может загрузка сознания в облако, что породит массу вопросов, включая то, а что такое человек вообще. Да, согласен, сейчас мы это биология и эмоции наши определяются в основном ею. Может победим, может наоборот кому-то захочется прокачать эту тему на максимум. Очень сложно делать прогнозы.
Zhe Sh
14.11.2024
-
2
+
Это абсолютно логично, я всегда говорил, что первой жертвой ИИ станет именно искусство. Поэты, писатели, драматурги тысячи лет пишут по сути об одном и том же, лишь адаптируя извечные темы и сюжеты под свою современность, ее язык, нравы, традиции. Поэтому для LLM литература - просто идеальный объект для имитации.
    Zhe, вы, видимо, пропустили последний абзац совсем. Впрочем, неудивительно: тезисы вида "через 20 лет везде будет один телевизор" всегда были весьма популярны в начале развития той или иной технологии. На практике никаких серьезных писателей эта штука не затронет вообще никогда.
    +
      ещё комментарии
      -
      -1
      +
      Комментарий удален пользователем или модератором...
        Naked, в статье речь о нейросети. Сильный ИИ не будет нейросетью, поскольку нейросетью не является интеллект естественный. Поэтому да, абсолютно серьезно. "И потом, а как же сингулярность?" Никак. Ее не будет. " Курцвейл, компьютрониум, 2045 год. Биоцифровая конвергенция, слияние всего со всем и огромное Я в центре мироздания, вместо множества досадных Мы с их вечной разностью мнений и прочим либерализмом... Я лично за диктатуру, тотальную уравниловку и вселенский марксизм. " Надо лечить голову.
      Zhe Sh
      16.11.2024
      -
      0
      +
      Ну, например, лошади и паровозы как транспортные средства действительно были полностью вытеснены новыми технологиями, так что тезис про "телевизор" иногда-таки работает) Но в данном случае речь не об этом. Искусство не имеет объективной ценности, а только лишь исключительно субъективную. Кроме того, неотъемлемой частью любого произведения искусства является контекст, в котором оно создавалось. В этом смысле два идентичных текста, написанных разными авторами, являются, по сути, разными текстами (см. "Пьер Менар, автор "Дон Кихота"", Х.Л.Б). А тексты, созданные живым автором и ИИ, очевидно, вообще соотносятся примерно как подлинная картина Рембрандта и подделка под него. Такое полотно может годами висеть в Лувре, и все будут видеть в нем неоспоримый шедевр, но потом продвинутая экспертиза обнаруживает подлог, картину прячут в запасники, и все о ней забывают. В литературе неотличимые от "настоящих" текстов имитации ИИ, вероятнее всего, приведут примерно к той же ситуации, что сложилась в современных шахматах, где все подозревают друг друга в "читерстве" с использованием компьютерных программ, играющих лучше людей. Причем если ту же подделанную картину ещё можно "разоблачить" техническими средствами, поскольку у нее есть материальный носитель, то текст - объект виртуальный, его не просветишь рентгеном, не проанализируешь химически и т.п. Т.о. будущий читатель никогда не будет уверен, что́ перед ним - действительно "настоящая" глубокая литература, выстраданная автором, или "бессмысленная" поделка очередной продвинутой LLM. И в этот момент литература в прежнем смысле перестанет существовать.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Комментарий на проверке

Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Авторизуясь, вы даете согласие на обработку персональных данных и подтверждаете ознакомление с Политикой.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно