Историк сформулировал принципы, которые защитят информацию от галлюцинаций нейросетей

Главный принцип взаимодействия с искусственным интеллектом — помнить об ограничениях, обусловленных его устройством. Например, нейросетям не стоит задавать вопрос наподобие «В чем причина твоей ошибки?», поскольку они генерируют ответы, вычисляя, какой элемент (слово, предложение и так далее) с большей вероятностью будет следующим.

Историк Ян Бурцлафф из Корнелльского университета в США сформулировал правила, которые позволят защитить научные работы по истории от неверной интерпретации при использовании нейросетей. Его эссе опубликовал научный журнал Rethinking History.

По мнению Бурцлаффа, тексты о прошлом важно выстраивать так, чтобы сразу восполнять потери, которые могут возникнуть при анализе с помощью искусственного интеллекта.

1. Интерпретация важнее описания. Нейросети прекрасно пересказывают факты, но не способны проанализировать их, исходя из контекста. Следовательно, задача историка — подчеркивать значимость тех или иных данных, объясняя, под каким углом на них необходимо смотреть: «Интерпретация — это не комментарий после факта. Это формирование смысла в момент каждой встречи с нестабильностью. Это разница между перечислением произошедшего и вопросом, что это значило, для кого и когда, в конкретных контекстах».

Бурцлафф привел в пример историю человека, прошедшего через несколько концлагерей: «Я не стонал, ни разу [после 25 ударов плетью]. Даже немецкий офицер после этого меня похвалил на немецком». По словам автора эссе, пересказ этого эпизода от ChatGPT был связным и структурированным, содержал информацию о месте действия, основных событиях и некоторых эмоциях, например страхе. Тем не менее языковая модель не передала противоречивости описанной сцены — «психического напряжения, необходимого, чтобы оставаться молчаливым под кнутом, или двусмысленности получения похвалы за это».

2. Создавать, а не воспроизводить. Не любое историческое свидетельство вписывается в сюжетные шаблоны. Когда ИИ преобразует истории в набор категорий вроде «детство в укрытии», «материнская жертва» и «травма военного времени», зачастую утрачивается множество важных деталей.

В связи с этим Бурцлафф предложил историкам заострять внимание на значимых подробностях частного опыта: «Историк никогда не будет просто обработчиком архивов, а будет посредником и переводчиком. Не аналитиком данных, а рисковым искателем. Это также отличает нас от специалистов в области социальных наук: мы не начинаем с фиксированных категорий и не сортируем доказательства с опорой на них. Мы начинаем с частного, ситуативного, нестабильного — и выявляем смыслы, которые появляются, когда уделяется внимание контексту».

3. Учитывать масштаб, но не подчиняться ему. Языковые модели помогают анализировать огромные массивы данных: выявляют закономерности, вычисляют их частотность. Однако вместе с тем неизбежно теряется информация о редких, нерядовых явлениях.

«Генеративный искусственный интеллект упускает странные, сюрреалистичные моменты, которые разрушают логику свидетельства — моменты, которые нельзя абстрагировать без потерь. А ведь именно они составляют суть работы историка: он не подтверждает доминирующие темы в наборе данных, а замечает шум, интерпретирует то, что не вписывается в классификацию», — пояснил Бурцлафф.

4. Не сглаживать углы. Алгоритмы нейросети контролируют этичность ответов, которые она генерирует. Из-за этого могут пропадать сведения, важные для контекста, например описания жестокости, характерные для историй о Холокосте и Второй мировой войне, которые анализировал Бурцлафф.

Одна из женщин, прошедших концлагерь, рассказывала, что всегда стояла в «правильной» очереди, имея в виду, что эта очередь не вела к смерти: «Три раза Менгеле выбирал меня, меня не отправляли в газовые камеры, я была счастлива. Он всегда шел с палкой, показывая направо и налево. Мы не знали, какая очередь хорошая, но я всегда оказывалась в правильной». В ИИ-пересказе этой истории выживание превратилось в «стойкость», побои — в «преследование», удача — в «обстоятельства». Это корректно с фактической точки зрения, однако не отражает сути происходящего, искажая суть исторического свидетельства.

Ян Бурцлафф призвал отказаться от алгоритмов, которые «делают текст этичным»: «Отказ от алгоритмической этики — не отрицание морали. Это настоятельное требование, чтобы моральный суд в истории был не вычислимым, а ситуативным, реляционным и прежде всего незавершенным».

5. Писать живо. Важно не только акцентировать внимание на эмоциональной составляющей событий и их контексте, но и учитывать стилистические особенности исторических свидетельств.

«Машины могут предсказать предложение, но не могут задержаться в нем. Они не могут задуматься, стоит ли продолжать. Стили, которые используют люди, — осадочное знание, сформированное национальными школами, региональными особенностями и интеллектуальными традициями. В этом смысле стиль — это не академическое излишество, а этическая форма. Предложение, которое останавливается, которое поворачивается, которое сопротивляется завершению — вот где начинается историография. Между памятью и смыслом, грамматикой и разрывом», — подытожил Ян Бурцлафф.

Несмотря на то что рекомендации ученого касаются прежде всего истории и исторических свидетельств, они могут быть релевантны для других научных областей, а также для других типов текстовой информации. Умение выявлять ключевые детали и учитывать их в анализе всего массива данных позволит компенсировать «слабости» языковых моделей и защитить значимые сведения от нейросетевого искажения.

Полина Меньшова

387 статей

Журналист, преподаватель НИУ ВШЭ, главный редактор медиа о русском языке «Изборник». Специализируется на популяризации лингвистики, психологии, нейробиологии и медицины.

Показать больше

Закладка

Скопировать ссылку

Email

Печать

Twitter

VK

Telegram