• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
14.11.2024, 19:00
Полина Меньшова
16
3,3 тыс

Люди спутали ИИ-поэзию со стихами классиков и оценили ее выше

❋ 5.4

Генеративные, то есть создающие некий контент модели искусственного интеллекта научились имитировать человеческую речь, писать художественные произведения, рисовать рекламные ролики, решать задачи по программированию и многое другое. Однако по качеству работы их все же достаточно легко было отличить от людей. Исследователи из США опубликовали результаты первого эксперимента, в котором люди не просто не смогли разграничить стихи англоязычных поэтов и ИИ-поэзию, но и оценили машинное искусство выше человеческого.

Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии
Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии / © Изображение сгенерировано с помощью imagine.art

Языковые модели для общения с человеком или создания текстов на естественных языках стремительно развиваются. Согласно последним исследованиям, искусственный интеллект начал врать и манипулировать собеседником, хотя алгоритм запрещал ему это делать, а бот ChatGPT-4 смог пройти пятиминутный тест Тьюринга — в 54% случаев убедить участников эксперимента, что они общаются с человеком, а не с компьютером.

Специалисты из Питтсбургского университета провели исследование, в результате которого люди впервые спутали стихи, сгенерированные искусственным интеллектом, с творчеством английских и американских поэтов-классиков. Научную статью об этом опубликовал журнал Scientific Reports.

Исследование включало в себя два эксперимента. В первом из них 1634 взрослых случайным образом распределили между 10 английскими и американскими поэтами. Это были представители как классической, так и современной литературы: Джеффри Чосер, Уильям Шекспир, Сэмюэл Батлер, Джордж Гордон Байрон, Уолт Уитмен, Эмили Дикинсон, Томас Стернз Элиот, Аллен Гинзберг, Сильвия Плат и Доротея Ласки.

Участникам эксперимента в случайном порядке показывали 10 стихотворений, пять из которых были написаны одним из поэтов, а пять — моделью ChatGPT3.5 «в стиле этого поэта». Люди предполагали, человек ли, по их мнению, создал каждое стихотворение, оценивали свою уверенность в ответе по шкале от 0 до 100 и по желанию аргументировали мнение. Кроме того, они сообщили демографическую информацию о себе, в том числе рассказали, интересуются ли поэзией и хорошо ли в ней разбираются.

Во втором эксперименте участвовали 696 участников, которым показывали одни и те же пять ИИ-стихотворений и пять работ настоящих поэтов. При этом одной группе говорили, что все тексты написал человек, второй — что их сгенерировала ChatGPT3.5, а третьей группе не говорили ничего. Участники исследования должны были поставить каждому стихотворению оценку по семибалльной шкале от «крайне плохо» до «чрезвычайно хорошо» по следующим критериям:

— формальные качества (ритм, рифма),

— эмоциональная составляющая (передает ли стихотворение какую-то эмоцию, трогает ли),

— креативность (оригинальность, остроумие),

— эстетические особенности (красота, лиризм),

— глубина (степень, в которой стихотворение раскрывает некую тему).

Согласно результатам экспериментов, люди были склонны машинную поэзию считать человеческой, и наоборот. При этом более высокие оценки по форме, содержанию и другим критериям получали в основном ИИ-произведения. Если раньше поэзия была одной из сфер, в которых искусственный интеллект было сложно перепутать с человеком, то теперь возможности генеративных моделей значительно расширились.

Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports
Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports

Исследователи предположили, что ошибочное отнесение классических и современных стихов к машинному творчеству, а текстов ИИ — к работам людей связано с тем, что ожидания участников эксперимента от языковых моделей не соответствуют действительности. По словам респондентов, сложность стихов, написанных человеком, они принимали за бессвязность искусственного интеллекта, а относительную простоту и ясность контента ИИ — за отличительную особенность текста, который не может быть написан компьютером.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Полина Меньшова
Журналист, преподаватель НИУ ВШЭ, главный редактор медиа о русском языке «Изборник». Специализируется на популяризации лингвистики, психологии, нейробиологии и медицины.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
7 августа, 08:30
Александр Березин

Авторы новой работы утверждают, что общий предок всего живого (LUCA) по сути не был свободноживущим организмом. А его потомки, чтобы стать такими, пошли двумя принципиально разными путями, образовав две принципиально разные группы существ.

8 августа, 09:23
Максим Абдулаев

Американские палеонтологи собрали первую научно достоверную копию скелета Deinosuchus schwimmeri — суперхищника длиной 9,5 метра, обитавшего в меловом периоде. В процессе реконструкции ученые провели ревизию уже найденных окаменелостей, упразднили один сомнительный вид и описали новый. В итоге исследователи классифицировали животное как предка аллигаторов, а еще нашли у него интересные анатомические особенности пока неясного назначения.

6 августа, 07:52
Игорь Байдов

Во второй половине XIX века в книге о насекомоядных растениях Чарлз Дарвин предположил, что некоторые камнеломки с липкими железистыми волосками могут проявлять свойства хищника — ловить и переваривать насекомых. Но тогда ученому не удалось экспериментально подтвердить свою догадку. Теперь это сделала международная команда ботаников.

4 августа, 12:03
Александр Березин

Остров Пекан недалеко от Мексиканского залива в Луизиане вскоре перейдет в собственность компании Илона Маска. Здесь будет новый космодром для Starship, почти в 20 раз больше, чем в Бока-Чике, где уже стоят две стартовых площадки. Уникальное местоположение позволит компании попытаться реализовать амбициозную цель о запуске миллиона низкоорбитальных спутников на орбиты, где сегодня находится подавляющее меньшинство спутников Земли.

5 августа, 10:09
Александр Березин

Хотя тротиловый эквивалент взрыва от удара был умеренным, всего несколько тонн, благодаря рыхлости лунного грунта низких широт он может поднять до 400 тонн пыли. Она способна образовать облако высотой в десятки километров. Астрономы надеются провести наблюдения этого события и, возможно, зафиксировать какие-то особенности выброшенного лунного материала.

1 августа, 20:27
Evgenia Vavilova

Команда исследователей из Германии и Турции впервые исследовала ледник на вершине Большого Арарата на высоте более пяти тысяч метров. Две недели в июле 2026 года ученые собирали данные о вечных снегах горы, которые до этого не были тщательно исследованы.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 июля, 13:06
Редакция Naked Science

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]

Комментарии

16 Комментариев
Dron N
16.11.2024
Это исследование на древней и примитивной 3.5, правда, на английском, стихи на котором она лучше пишет. Сейчас бы с новыми моделями результаты ещё интереснее были бы. Кстати, для русского языка со стихами лучше справляется Claude Sonnet, хотя и другие уже не полную околесицу выдают, а среднюю, так скажем. Я хоть и высоко оцениваю возможности и перспективы нейросетей, но стихи стихам рознь. Можно хорошо подбирать рифмы и вписываться в размер (для русского сейчас это 50/50, но после небольшого диалога обычно исправляет и вообще ситуация улучшается). Но стихи это не только рифмованные строки, пусть и со смыслом даже. Это юбиляру на 60-летие хорошо такие писать и всё нормально пройдёт, типа, стихи же. А вот что-то более глубокое, передающее именно личные переживания и эмоции можно имитировать, да, иногда вполне успешно, но это ещё не совсем то. И если нейросеть никто не обучал на стихах Маяковского, например, то вот как она придумает его неповторимый стиль? Никак не придумает пока. Но это не значит, что такое невозможно в перспективе, просто другие методы надо задействовать. В конце концов между ушами у нас тоже нейросеть, а не приёмник для божественного вдохновения.
    Комментарий удален пользователем или модератором...
    +
      Еще 1 ответ
      Dron N
      12.12.2024
      Naked, поставлю напоминалку на 2045-й год, чтобы не забыть слиться :). Но если серьёзно, мы сейчас не может представить что будет при таком развитии, сингулярность. Может загрузка сознания в облако, что породит массу вопросов, включая то, а что такое человек вообще. Да, согласен, сейчас мы это биология и эмоции наши определяются в основном ею. Может победим, может наоборот кому-то захочется прокачать эту тему на максимум. Очень сложно делать прогнозы.
Zhe Sh
14.11.2024
Это абсолютно логично, я всегда говорил, что первой жертвой ИИ станет именно искусство. Поэты, писатели, драматурги тысячи лет пишут по сути об одном и том же, лишь адаптируя извечные темы и сюжеты под свою современность, ее язык, нравы, традиции. Поэтому для LLM литература - просто идеальный объект для имитации.
    Zhe, вы, видимо, пропустили последний абзац совсем. Впрочем, неудивительно: тезисы вида "через 20 лет везде будет один телевизор" всегда были весьма популярны в начале развития той или иной технологии. На практике никаких серьезных писателей эта штука не затронет вообще никогда.
    +
      Еще 11 ответов
      Комментарий удален пользователем или модератором...
        Naked, в статье речь о нейросети. Сильный ИИ не будет нейросетью, поскольку нейросетью не является интеллект естественный. Поэтому да, абсолютно серьезно. "И потом, а как же сингулярность?" Никак. Ее не будет. " Курцвейл, компьютрониум, 2045 год. Биоцифровая конвергенция, слияние всего со всем и огромное Я в центре мироздания, вместо множества досадных Мы с их вечной разностью мнений и прочим либерализмом... Я лично за диктатуру, тотальную уравниловку и вселенский марксизм. " Надо лечить голову.
      Zhe Sh
      16.11.2024
      Ну, например, лошади и паровозы как транспортные средства действительно были полностью вытеснены новыми технологиями, так что тезис про "телевизор" иногда-таки работает) Но в данном случае речь не об этом. Искусство не имеет объективной ценности, а только лишь исключительно субъективную. Кроме того, неотъемлемой частью любого произведения искусства является контекст, в котором оно создавалось. В этом смысле два идентичных текста, написанных разными авторами, являются, по сути, разными текстами (см. "Пьер Менар, автор "Дон Кихота"", Х.Л.Б). А тексты, созданные живым автором и ИИ, очевидно, вообще соотносятся примерно как подлинная картина Рембрандта и подделка под него. Такое полотно может годами висеть в Лувре, и все будут видеть в нем неоспоримый шедевр, но потом продвинутая экспертиза обнаруживает подлог, картину прячут в запасники, и все о ней забывают. В литературе неотличимые от "настоящих" текстов имитации ИИ, вероятнее всего, приведут примерно к той же ситуации, что сложилась в современных шахматах, где все подозревают друг друга в "читерстве" с использованием компьютерных программ, играющих лучше людей. Причем если ту же подделанную картину ещё можно "разоблачить" техническими средствами, поскольку у нее есть материальный носитель, то текст - объект виртуальный, его не просветишь рентгеном, не проанализируешь химически и т.п. Т.о. будущий читатель никогда не будет уверен, что́ перед ним - действительно "настоящая" глубокая литература, выстраданная автором, или "бессмысленная" поделка очередной продвинутой LLM. И в этот момент литература в прежнем смысле перестанет существовать.