Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые выяснили, почему ИИ не победит в «Что? Где? Когда?» среднестатистического россиянина
В ЮФУ придумали новый остроумный способ тестировать ИИ на способность работать в реальных ситуациях использования русского языка. Исследователи искусственного интеллекта из МИИ ИМ ЮФУ предлагают использовать интеллектуальные языковые игры, как пример — заставлять ИИ отвечать на вопросы из архива телевикторины «Что? Где? Когда?» и «Своей игры». Инициативу прокомментировал опытный игрок.
В наше время параллельно развиваются самые разные технологии искусственного интеллекта, но в широком употреблении под ИИ люди почти всегда подразумевают именно большие языковые модели (LLM – Large Language Model), такие как DeepSeek или ChatGPT, из-за шумихи вокруг них.
Ответственный исполнитель проекта «Фронтирная лаборатория рентгеноспектральной нанометрологии» Центра наукоемкого приборостроения ЮФУ Богдан Проценко и его коллеги, как и многие исследователи, на практике делают ставку не на языковые-модели гиганты, а на модели ИИ поменьше, обученные на заведомо более качественных данных, как в случае линейки моделей LLaMa3.
«Ее разработчики получили существенный прирост качества моделей, главным образом «почистив данные» для обучения предыдущих версий, без радикальных изменений в архитектуре нейросети. Между сложностью архитектуры ИИ и качеством данных для его обучения всякий ML-инженер и аналитик данных почти всегда выберет последнее, потому что в мире не бесконечное количество качественного контента, и лучше, если нейросеть может научиться на миллионе умных текстов, чтобы не пришлось ей скармливать миллиард глупых», — поделился Богдан Проценко.
Создатели ИИ часто исходят из позиции, что логическое мышление и способность рассуждать («ризонинг») нейросетей не страдает от того, на каком языке ИИ «подумает», главное, чтобы он умел грамотно формулировать ответ на языке пользователя. Доказать обратное нетрудно: можем спросить у большой языковой модели, например, на языке хинди, какие предметы и темы проходят десятиклассники по школьной программе. И он вам ответит на грамотном литературном хинди, но только расскажет так, как проходят в десятом классе в американских школах, а не в индийских.
«Русского, например, в данных для предтренировки всех зарубежных моделей ощутимо меньше английского, потому модель пишет и мыслит «умнее» и грамотнее, если ее спросить на английском и попросить на нем же ответить. Бенчмарки, «линейки», которыми измеряют качество моделей и их работы на разных языках – как правило, просто перевод с одного из языков, обычно английского, на другие. Такой расклад не отражает качества работы модели в реальной языковой ситуации», — объяснил Богдан Проценко.
Как же объективно оценить, какая модель ИИ действительно «умнее»? Для этого отлично подходят различного рода интеллектуальные игры: они являются весьма непростыми для LLM, и при этом за многие годы накоплен огромный и крайне качественный — отточенный поколениями игроков, а не сгенерированный ИИ — архив подобных вопросов, во многих из которых предостаточно и культурной, и тонкой языковой специфики языка.
«Мышление и языки близки. Как победы ИИ над человеком в шахматы и го были яркими ключевыми моментами развития ИИ в конце прошлого века, так «Что? Где? Когда?» и «Своя игра» — вызовы сегодняшнего дня. Способность успешно отвечать на вопросы, написанные умными телезрителями для еще более умных знатоков, появляется только в самых больших и умных LLM, причем моделям с большим количеством русского языка в предтренировочной выборке обычно проще», — подчеркнул Богдан Проценко.
В качестве примера ученые протестировали старшую модель из семейства LLaMa-3, демонстрирующую хорошее владение русским языком, но даже она ошиблась в вопросах, требующих знания специфических для русскоязычной культуры фактов. Например, вопросы о композиторе Владимире Шаинском, о Царь-пушке в Кремле, о спортивных объектах, построенных вокруг Москвы к Олимпиаде-80, тривиальные для русскоязычных людей, для LLM на 405 миллиардов параметров, владеющей десятками естественных языков и языков программирования, разбирающейся в куче вопросов, от квантовой механики до медицины, оказываются не под силу.
Необычный способ тестировать ИИ интеллектуальными играми прокомментировал научный журналист, популяризатор науки и лектор Алексей Паевский — участник «Своей игры» и автор вопросов для «Что? Где? Когда?».
«Решать вопросы «Своей игры» искусственному интеллекту определенно будет легче, поскольку они обычно направлены на эрудицию и личные знания игрока, а вот вопросы «Что? Где? Когда?» скорее на способность команды знатоков мыслить и догадываться. Для ответа на средний вопрос «ЧГК» русскому человеку обычно не нужны никакие специальные знания свыше школьной программы и общей культуры, другое дело, что зачастую вопросы «завернуты» так, что лишь единицы поймут о чем речь. Если сообщество авторов вопросов «ЧГК» узнает, что ИИ научился на их вопросы отвечать с легкостью, это их замотивирует закручивать новые вопросы так, что у ИИ не будет шансов, а для знатоков при этом сложность останется прежней», — поделился Алексей Паевский.
Четырехкратный чемпион мира по «Что? Где? Когда?» Михаил Левандовский добавил, что главная сложность игры в ее изменчивости. На заре «Что? Где? Когда?» ключом к победе было умение распознавать «явления» — абстрактные образы и социальные закономерности. Это для современных ИИ-систем по-прежнему остаются серьезным вызовом.
«Впрочем, тогда же возник и другой тип вопросов — перефразировки известных цитат, названий или сюжетов из ограниченного круга классических произведений. С ними, я уверен, искусственный интеллект справлялся бы мгновенно. Сейчас основной тренд — языковые игры: каламбуры, двойные смыслы, игра слов, сложные ментальные конструкции. Здесь ИИ демонстрирует результаты с переменным успехом. Пока что он порой ошибается, но скоро сможет соревноваться с человеком на равных», — рассказал Михаил Левандовский.
Другой глобальный результат исследователей ЮФУ заключается в том, что они протестировали несколько методов генерации ответов, включая цепочку рассуждений и подход с «внутренним критиком», который оценивает предложенные гипотезы – такая своего рода имитация команды знатоков ЧГК и того, как «раскручивают» вопросы в спортивном ЧГК. Например, модель сначала должна предложить несколько вариантов, а затем самой себе объяснить, почему каждый из них неверен, а тот вариант, на который она сможет придумать меньше критики, она и предлагает как верный.
«Такие подходы, с критикой, показывают прирост точности по сравнению с методами без «критика». Однако избыточная критика иногда подавляет креативность модели — как и у людей, — и она вообще больше не может генерировать новые гипотезы», — поделился Богдан Проценко.
Это может означать что этап инструктирования LLM, (instruction tuning), когда модели учат быть «покорными» и отвечать по существу, можно делать с учетом этой специфики, тем самым делая модели еще умнее в сценариях саморефлексии и самокритики.
«В терминологии «ЧГК» есть термин «щелчок». Ответ, который «щелкает», не только подходит под условия вопроса и под все подсказки в вопросе, но и красиво ложится на общекультурный контекст. Это не элемент озарения, это способ проверить свой ответ, со всеми ли зацепками вопроса он бьется, выдерживает ли он внутреннюю критику. Прекрасно, если можно настроить алгоритм ИИ по схожему принципу, при этом, конечно, не нужно обманываться, будто бы ИИ обладает умом, он обладает способностью подбирать решение к задачам, аналогичным той, на которой он тренировался», — прокомментировал Алексей Паевский.
По словам затока, когда автомобиль стал быстрее человека, легкая атлетика не исчезла как спорт — так и интеллектуальные игры не исчезнут, если ИИ однажды начнет играть в них лучше человека. Смысл «Что? Где? Когда?» в демонстрации возможностей командной работы, того, насколько одни шесть человек могут проявить себя лучше, чем другие шесть человек в рамках специально придуманных для этого вопросов.
ИИ глобально уступает человеку не в умении отвечать на вопросы, у которых уже есть заведомо правильный ответ, а в способности к творчеству и созидательной деятельности, к таким результатам мышления, как озарение и открытие. Но пока большие языковые модели не обучатся на русских базах данных, они будут проигрывать нам даже в викторинах.
Telegram 
Дзен 
VK Астрономы впервые напрямую связали основание гигантского джета с «тенью» впервые «сфотографированной» сверхмассивной черной дыры M87*. Анализ данных, полученных с помощью Телескопа горизонта событий (EHT), позволил проследить, где именно формируется релятивистская струя и лучше понять механизмы ее возникновения.
С середины XX века мирный атом ассоциируют прежде всего с АЭС. Но при всей важности последних иногда за ними не видят многие другие сферы применения атомных технологий — от транспорта до лечения заболеваний и применения в сельском хозяйстве, новых технологий получения сложных материалов и производства аккумуляторов. Всего на неэнергетические цели на планете работают 223 реактора. Попробуем разобраться, чем они занимаются и какие еще направления находятся в фокусе атомной отрасли.
Число устойчивых к антибиотикам инфекций растет на 15% в год, унося миллионы жизней. Схожая проблема есть в онкологии. Существующие методы лечения — комбинированная и точечная терапия — несовершенны: первая слишком токсична, а вторая теряет эффективность из-за мутаций. Перспективная альтернатива — молекулярные гибриды, атакующие болезнь сразу по нескольким направлениям. Однако их создание сдерживает фундаментальное ограничение: современные технологии не могут придать этим молекулам стабильную 3D-форму, необходимую для точного воздействия. Чтобы решить эту проблему, ученые Пермского Политеха разработали метод, который заставляет гибридную молекулу самостоятельно принимать нужную трехмерную структуру. Это позволило получить новые соединения с потенциальным противоопухолевым и противовоспалительным действием.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Кэтлин Рубинс выступила перед комитетом Национальных академий США и рассказала, что не так с новыми скафандрами для близкой высадки американцев на Луне. Учитывая ее 300-дневный опыт пребывания в космосе, критика выглядит довольно обоснованной. В прошлом году Рубинс ушла с поста руководителя отделения внекорабельной деятельности отдела астронавтов, где она участвовала в разработке новых лунных скафандров.
Некоторые исследователи предполагали, что по мере исчезновения морского льда белые медведи потеряют кормовую базу и начнут умирать от истощения. Однако их популяция, живущая в районе максимального исчезновения морского льда, напротив, существенно прибавила в весе.
От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно