Ученые выяснили, почему ИИ не победит в «Что? Где? Когда?» среднестатистического россиянина

В наше время параллельно развиваются самые разные технологии искусственного интеллекта, но в широком употреблении под ИИ люди почти всегда подразумевают именно большие языковые модели (LLM – Large Language Model), такие как DeepSeek или ChatGPT, из-за шумихи вокруг них.

Ответственный исполнитель проекта «Фронтирная лаборатория рентгеноспектральной нанометрологии» Центра наукоемкого приборостроения ЮФУ Богдан Проценко и его коллеги, как и многие исследователи, на практике делают ставку не на языковые-модели гиганты, а на модели ИИ поменьше, обученные на заведомо более качественных данных, как в случае линейки моделей LLaMa3.

«Ее разработчики получили существенный прирост качества моделей, главным образом «почистив данные» для обучения предыдущих версий, без радикальных изменений в архитектуре нейросети. Между сложностью архитектуры ИИ и качеством данных для его обучения всякий ML-инженер и аналитик данных почти всегда выберет последнее, потому что в мире не бесконечное количество качественного контента, и лучше, если нейросеть может научиться на миллионе умных текстов, чтобы не пришлось ей скармливать миллиард глупых», — поделился Богдан Проценко.

Создатели ИИ часто исходят из позиции, что логическое мышление и способность рассуждать («ризонинг») нейросетей не страдает от того, на каком языке ИИ «подумает», главное, чтобы он умел грамотно формулировать ответ на языке пользователя. Доказать обратное нетрудно: можем спросить у большой языковой модели, например, на языке хинди, какие предметы и темы проходят десятиклассники по школьной программе. И он вам ответит на грамотном литературном хинди, но только расскажет так, как проходят в десятом классе в американских школах, а не в индийских.

«Русского, например, в данных для предтренировки всех зарубежных моделей ощутимо меньше английского, потому модель пишет и мыслит «умнее» и грамотнее, если ее спросить на английском и попросить на нем же ответить. Бенчмарки, «линейки», которыми измеряют качество моделей и их работы на разных языках – как правило, просто перевод с одного из языков, обычно английского, на другие. Такой расклад не отражает качества работы модели в реальной языковой ситуации», — объяснил Богдан Проценко.

Как же объективно оценить, какая модель ИИ действительно «умнее»? Для этого отлично подходят различного рода интеллектуальные игры: они являются весьма непростыми для LLM, и при этом за многие годы накоплен огромный и крайне качественный — отточенный поколениями игроков, а не сгенерированный ИИ — архив подобных вопросов, во многих из которых предостаточно и культурной, и тонкой языковой специфики языка.

«Мышление и языки близки. Как победы ИИ над человеком в шахматы и го были яркими ключевыми моментами развития ИИ в конце прошлого века, так «Что? Где? Когда?» и «Своя игра» — вызовы сегодняшнего дня. Способность успешно отвечать на вопросы, написанные умными телезрителями для еще более умных знатоков, появляется только в самых больших и умных LLM, причем моделям с большим количеством русского языка в предтренировочной выборке обычно проще», — подчеркнул Богдан Проценко.

В качестве примера ученые протестировали старшую модель из семейства LLaMa-3, демонстрирующую хорошее владение русским языком, но даже она ошиблась в вопросах, требующих знания специфических для русскоязычной культуры фактов. Например, вопросы о композиторе Владимире Шаинском, о Царь-пушке в Кремле, о спортивных объектах, построенных вокруг Москвы к Олимпиаде-80, тривиальные для русскоязычных людей, для LLM на 405 миллиардов параметров, владеющей десятками естественных языков и языков программирования, разбирающейся в куче вопросов, от квантовой механики до медицины, оказываются не под силу.

Необычный способ тестировать ИИ интеллектуальными играми прокомментировал научный журналист, популяризатор науки и лектор Алексей Паевский — участник «Своей игры» и автор вопросов для «Что? Где? Когда?».

«Решать вопросы «Своей игры» искусственному интеллекту определенно будет легче, поскольку они обычно направлены на эрудицию и личные знания игрока, а вот вопросы «Что? Где? Когда?» скорее на способность команды знатоков мыслить и догадываться. Для ответа на средний вопрос «ЧГК» русскому человеку обычно не нужны никакие специальные знания свыше школьной программы и общей культуры, другое дело, что зачастую вопросы «завернуты» так, что лишь единицы поймут о чем речь. Если сообщество авторов вопросов «ЧГК» узнает, что ИИ научился на их вопросы отвечать с легкостью, это их замотивирует закручивать новые вопросы так, что у ИИ не будет шансов, а для знатоков при этом сложность останется прежней», — поделился Алексей Паевский.

Четырехкратный чемпион мира по «Что? Где? Когда?» Михаил Левандовский добавил, что главная сложность игры в ее изменчивости. На заре «Что? Где? Когда?» ключом к победе было умение распознавать «явления» — абстрактные образы и социальные закономерности. Это для современных ИИ-систем по-прежнему остаются серьезным вызовом.

«Впрочем, тогда же возник и другой тип вопросов — перефразировки известных цитат, названий или сюжетов из ограниченного круга классических произведений. С ними, я уверен, искусственный интеллект справлялся бы мгновенно. Сейчас основной тренд — языковые игры: каламбуры, двойные смыслы, игра слов, сложные ментальные конструкции. Здесь ИИ демонстрирует результаты с переменным успехом. Пока что он порой ошибается, но скоро сможет соревноваться с человеком на равных», — рассказал Михаил Левандовский.

Другой глобальный результат исследователей ЮФУ заключается в том, что они протестировали несколько методов генерации ответов, включая цепочку рассуждений и подход с «внутренним критиком», который оценивает предложенные гипотезы – такая своего рода имитация команды знатоков ЧГК и того, как «раскручивают» вопросы в спортивном ЧГК. Например, модель сначала должна предложить несколько вариантов, а затем самой себе объяснить, почему каждый из них неверен, а тот вариант, на который она сможет придумать меньше критики, она и предлагает как верный.

«Такие подходы, с критикой, показывают прирост точности по сравнению с методами без «критика». Однако избыточная критика иногда подавляет креативность модели — как и у людей, — и она вообще больше не может генерировать новые гипотезы», — поделился Богдан Проценко.

Это может означать что этап инструктирования LLM, (instruction tuning), когда модели учат быть «покорными» и отвечать по существу, можно делать с учетом этой специфики, тем самым делая модели еще умнее в сценариях саморефлексии и самокритики.

«В терминологии «ЧГК» есть термин «щелчок». Ответ, который «щелкает», не только подходит под условия вопроса и под все подсказки в вопросе, но и красиво ложится на общекультурный контекст. Это не элемент озарения, это способ проверить свой ответ, со всеми ли зацепками вопроса он бьется, выдерживает ли он внутреннюю критику. Прекрасно, если можно настроить алгоритм ИИ по схожему принципу, при этом, конечно, не нужно обманываться, будто бы ИИ обладает умом, он обладает способностью подбирать решение к задачам, аналогичным той, на которой он тренировался», — прокомментировал Алексей Паевский.

По словам затока, когда автомобиль стал быстрее человека, легкая атлетика не исчезла как спорт — так и интеллектуальные игры не исчезнут, если ИИ однажды начнет играть в них лучше человека. Смысл «Что? Где? Когда?» в демонстрации возможностей командной работы, того, насколько одни шесть человек могут проявить себя лучше, чем другие шесть человек в рамках специально придуманных для этого вопросов.

ИИ глобально уступает человеку не в умении отвечать на вопросы, у которых уже есть заведомо правильный ответ, а в способности к творчеству и созидательной деятельности, к таким результатам мышления, как озарение и открытие. Но пока большие языковые модели не обучатся на русских базах данных, они будут проигрывать нам даже в викторинах.

ЮФУ

129 статей

Южный федеральный университет образован в рамках национального проекта "Образование" распоряжением Правительства Российской Федерации от 23 ноября 2006 года N1616-р (pdf) и приказом Министерства образования и науки Российской Федерации от 4 декабря 2006 года N1447 путем присоединения к Ростовскому государственному университету трех вузов: Таганрогского государственного радиотехнического университета, Ростовского государственного педагогического университета, Ростовской государственной академии архитектуры и искусств.

Показать больше

Закладка

Скопировать ссылку

Email

Печать

Twitter

VK

Telegram