• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
14.11.2024, 19:00
Полина Меньшова
16
3,3 тыс

Люди спутали ИИ-поэзию со стихами классиков и оценили ее выше

❋ 5.4

Генеративные, то есть создающие некий контент модели искусственного интеллекта научились имитировать человеческую речь, писать художественные произведения, рисовать рекламные ролики, решать задачи по программированию и многое другое. Однако по качеству работы их все же достаточно легко было отличить от людей. Исследователи из США опубликовали результаты первого эксперимента, в котором люди не просто не смогли разграничить стихи англоязычных поэтов и ИИ-поэзию, но и оценили машинное искусство выше человеческого.

Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии
Люди не отличили стихи, написанные нейросетью, от произведений классической и современной поэзии / © Изображение сгенерировано с помощью imagine.art

Языковые модели для общения с человеком или создания текстов на естественных языках стремительно развиваются. Согласно последним исследованиям, искусственный интеллект начал врать и манипулировать собеседником, хотя алгоритм запрещал ему это делать, а бот ChatGPT-4 смог пройти пятиминутный тест Тьюринга — в 54% случаев убедить участников эксперимента, что они общаются с человеком, а не с компьютером.

Специалисты из Питтсбургского университета провели исследование, в результате которого люди впервые спутали стихи, сгенерированные искусственным интеллектом, с творчеством английских и американских поэтов-классиков. Научную статью об этом опубликовал журнал Scientific Reports.

Исследование включало в себя два эксперимента. В первом из них 1634 взрослых случайным образом распределили между 10 английскими и американскими поэтами. Это были представители как классической, так и современной литературы: Джеффри Чосер, Уильям Шекспир, Сэмюэл Батлер, Джордж Гордон Байрон, Уолт Уитмен, Эмили Дикинсон, Томас Стернз Элиот, Аллен Гинзберг, Сильвия Плат и Доротея Ласки.

Участникам эксперимента в случайном порядке показывали 10 стихотворений, пять из которых были написаны одним из поэтов, а пять — моделью ChatGPT3.5 «в стиле этого поэта». Люди предполагали, человек ли, по их мнению, создал каждое стихотворение, оценивали свою уверенность в ответе по шкале от 0 до 100 и по желанию аргументировали мнение. Кроме того, они сообщили демографическую информацию о себе, в том числе рассказали, интересуются ли поэзией и хорошо ли в ней разбираются.

Во втором эксперименте участвовали 696 участников, которым показывали одни и те же пять ИИ-стихотворений и пять работ настоящих поэтов. При этом одной группе говорили, что все тексты написал человек, второй — что их сгенерировала ChatGPT3.5, а третьей группе не говорили ничего. Участники исследования должны были поставить каждому стихотворению оценку по семибалльной шкале от «крайне плохо» до «чрезвычайно хорошо» по следующим критериям:

— формальные качества (ритм, рифма),

— эмоциональная составляющая (передает ли стихотворение какую-то эмоцию, трогает ли),

— креативность (оригинальность, остроумие),

— эстетические особенности (красота, лиризм),

— глубина (степень, в которой стихотворение раскрывает некую тему).

Согласно результатам экспериментов, люди были склонны машинную поэзию считать человеческой, и наоборот. При этом более высокие оценки по форме, содержанию и другим критериям получали в основном ИИ-произведения. Если раньше поэзия была одной из сфер, в которых искусственный интеллект было сложно перепутать с человеком, то теперь возможности генеративных моделей значительно расширились.

Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports
Когда люди оценили качество прочитанных стихов, первые пять позиций заняли тексты, сгенерированные ChatGPT3.5 / © Brian Porter et al., Scientific Reports

Исследователи предположили, что ошибочное отнесение классических и современных стихов к машинному творчеству, а текстов ИИ — к работам людей связано с тем, что ожидания участников эксперимента от языковых моделей не соответствуют действительности. По словам респондентов, сложность стихов, написанных человеком, они принимали за бессвязность искусственного интеллекта, а относительную простоту и ясность контента ИИ — за отличительную особенность текста, который не может быть написан компьютером.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Журналист, преподаватель НИУ ВШЭ, главный редактор медиа о русском языке «Изборник». Специализируется на популяризации лингвистики, психологии, нейробиологии и медицины.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
19 декабря, 20:02
Evgenia Vavilova

Исследователи доказали, что влияние больших сделок на рынок описывается квадратичной зависимостью. Основой для анализа стали данные Токийской биржи.

20 декабря, 11:58
Игорь Байдов

Благодаря последним находкам на севере Англии ученые больше узнали о повседневной жизни римского гарнизона, охранявшего один из фортов вала Адриана от набегов северных племен. Несмотря на репутацию людей с развитой санитарией, римляне Британии, вероятно, страдали от целого ряда заболеваний пищеварительной системы, вызванных паразитами.

19 декабря, 08:20
Александр Березин

Мировая лаборатория неравенства, содиректором которой работает известнейший современный экономист Тома Пикетти, опубликовала отчет о неравенстве в современном мире. По этим данным выходит, что разрыв в доходах между 50 процентами самых бедных и 10 процентами самых богатых в России за последний десяток лет существенно вырос. Правда, в этой оценке есть неочевидный, на первый взгляд, нюанс.

17 декабря, 09:52
Адель Романова

Задолго до достижения ближайшей к Солнцу точки 3I/ATLAS начала испускать стабильный узконаправленный поток газа из определенной области на своей поверхности — рядом с одним из полюсов кометы. Ранее такие струи не раз наблюдали на кометах, в том числе на первой межзвездной комете Борисова, но еще никогда не видели столь стабильного и долгоживущего джета.

19 декабря, 20:02
Evgenia Vavilova

Исследователи доказали, что влияние больших сделок на рынок описывается квадратичной зависимостью. Основой для анализа стали данные Токийской биржи.

16 декабря, 13:24
Максим Абдулаев

Зоологи из Университета Уэйк-Форест обнаружили редкий феномен в поведении насканских олуш (Sula granti): самки этих птиц открыто спариваются со множеством соседей, но приносят потомство исключительно от постоянных партнеров. Исследование показало, что самки обладают полной сексуальной свободой благодаря физическому превосходству над самцами и контролируют отцовство с помощью строгого календаря встреч.

8 декабря, 13:09
Александр Березин

С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.

17 декабря, 14:19
Игорь Байдов

На скалистых берегах аргентинской Патагонии разворачивается настоящая драма. Магеллановы пингвины, долгое время чувствовавшие себя в безопасности на суше в своих многотысячных колониях, столкнулись с новым и беспощадным врагом. Их извечные морские страхи — касатки и морские леопарды — теперь блекнут перед угрозой, пришедшей из глубины материка. Виновник переполоха — грациозный и мощный хищник, недавно вернувшийся на эти земли после долгого изгнания.

29 ноября, 12:42
Александр Березин

Позавчера, 27 ноября 2025 года, при запуске космонавтов к МКС на стартовую площадку № 31 упала кабина обслуживания стартового комплекса. Это означает, что новые пуски оттуда до починки невозможны. К сожалению, в 2010-х годах, в рамках «оптимизации» расходов, резервную площадку (с которой летал Юрий Гагарин) упразднили. Поэтому случилось беспрецедентное: в XXI веке страна с пилотируемой космической программой осталась без средств запуска людей на орбиту. Пока ремонт не закончится, проблема сохранится. Чем это может грозить?

[miniorange_social_login]

Комментарии

16 Комментариев
Dron N
16.11.2024
-
0
+
Это исследование на древней и примитивной 3.5, правда, на английском, стихи на котором она лучше пишет. Сейчас бы с новыми моделями результаты ещё интереснее были бы. Кстати, для русского языка со стихами лучше справляется Claude Sonnet, хотя и другие уже не полную околесицу выдают, а среднюю, так скажем. Я хоть и высоко оцениваю возможности и перспективы нейросетей, но стихи стихам рознь. Можно хорошо подбирать рифмы и вписываться в размер (для русского сейчас это 50/50, но после небольшого диалога обычно исправляет и вообще ситуация улучшается). Но стихи это не только рифмованные строки, пусть и со смыслом даже. Это юбиляру на 60-летие хорошо такие писать и всё нормально пройдёт, типа, стихи же. А вот что-то более глубокое, передающее именно личные переживания и эмоции можно имитировать, да, иногда вполне успешно, но это ещё не совсем то. И если нейросеть никто не обучал на стихах Маяковского, например, то вот как она придумает его неповторимый стиль? Никак не придумает пока. Но это не значит, что такое невозможно в перспективе, просто другие методы надо задействовать. В конце концов между ушами у нас тоже нейросеть, а не приёмник для божественного вдохновения.
    -
    0
    +
    Комментарий удален пользователем или модератором...
    +
      ещё комментарии
      Dron N
      12.12.2024
      -
      0
      +
      Naked, поставлю напоминалку на 2045-й год, чтобы не забыть слиться :). Но если серьёзно, мы сейчас не может представить что будет при таком развитии, сингулярность. Может загрузка сознания в облако, что породит массу вопросов, включая то, а что такое человек вообще. Да, согласен, сейчас мы это биология и эмоции наши определяются в основном ею. Может победим, может наоборот кому-то захочется прокачать эту тему на максимум. Очень сложно делать прогнозы.
Zhe Sh
14.11.2024
-
2
+
Это абсолютно логично, я всегда говорил, что первой жертвой ИИ станет именно искусство. Поэты, писатели, драматурги тысячи лет пишут по сути об одном и том же, лишь адаптируя извечные темы и сюжеты под свою современность, ее язык, нравы, традиции. Поэтому для LLM литература - просто идеальный объект для имитации.
    Zhe, вы, видимо, пропустили последний абзац совсем. Впрочем, неудивительно: тезисы вида "через 20 лет везде будет один телевизор" всегда были весьма популярны в начале развития той или иной технологии. На практике никаких серьезных писателей эта штука не затронет вообще никогда.
    +
      ещё комментарии
      -
      -1
      +
      Комментарий удален пользователем или модератором...
        Naked, в статье речь о нейросети. Сильный ИИ не будет нейросетью, поскольку нейросетью не является интеллект естественный. Поэтому да, абсолютно серьезно. "И потом, а как же сингулярность?" Никак. Ее не будет. " Курцвейл, компьютрониум, 2045 год. Биоцифровая конвергенция, слияние всего со всем и огромное Я в центре мироздания, вместо множества досадных Мы с их вечной разностью мнений и прочим либерализмом... Я лично за диктатуру, тотальную уравниловку и вселенский марксизм. " Надо лечить голову.
      Zhe Sh
      16.11.2024
      -
      0
      +
      Ну, например, лошади и паровозы как транспортные средства действительно были полностью вытеснены новыми технологиями, так что тезис про "телевизор" иногда-таки работает) Но в данном случае речь не об этом. Искусство не имеет объективной ценности, а только лишь исключительно субъективную. Кроме того, неотъемлемой частью любого произведения искусства является контекст, в котором оно создавалось. В этом смысле два идентичных текста, написанных разными авторами, являются, по сути, разными текстами (см. "Пьер Менар, автор "Дон Кихота"", Х.Л.Б). А тексты, созданные живым автором и ИИ, очевидно, вообще соотносятся примерно как подлинная картина Рембрандта и подделка под него. Такое полотно может годами висеть в Лувре, и все будут видеть в нем неоспоримый шедевр, но потом продвинутая экспертиза обнаруживает подлог, картину прячут в запасники, и все о ней забывают. В литературе неотличимые от "настоящих" текстов имитации ИИ, вероятнее всего, приведут примерно к той же ситуации, что сложилась в современных шахматах, где все подозревают друг друга в "читерстве" с использованием компьютерных программ, играющих лучше людей. Причем если ту же подделанную картину ещё можно "разоблачить" техническими средствами, поскольку у нее есть материальный носитель, то текст - объект виртуальный, его не просветишь рентгеном, не проанализируешь химически и т.п. Т.о. будущий читатель никогда не будет уверен, что́ перед ним - действительно "настоящая" глубокая литература, выстраданная автором, или "бессмысленная" поделка очередной продвинутой LLM. И в этот момент литература в прежнем смысле перестанет существовать.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно