Технологии

Инженеры Google описали ключевой изъян машинного обучения, приводящий к ошибкам ИИ

Тема искусственного интеллекта в последние годы стала невероятно популярной. Однако, несмотря на все достижения в этой области, ИИ по-прежнему чаще человека ошибается практически в любом классе задач. Специалисты Google сформулировали один из ключевых недостатков важнейшего компонента создания искусственного интеллекта — машинного обучения — и предложили способ его компенсации.

Научная работа опубликована на портале arXiv. В ней описано понятие недостаточной детализации (underspecification) в машинном обучении (machine learning). Авторы указывают на то, как в привычном процессе обучения нейросетевых алгоритмов слишком часто возникают неочевидные поначалу аномалии. В результате обученный таким образом алгоритм будет выдавать непредсказуемые или ошибочные выводы.

По мнению команды специалистов из Google, проблема в следующем. Во время обучения алгоритма на некоем наборе данных искусственный интеллект может сделать не совсем то обобщение, которое считают необходимым или эффективным его создатели. И сам по себе этот факт не является чем-то негативным, наоборот — в этом и есть «сила» нейросетей. Но, тренируя алгоритм, программисты не учитывают и далеко не всегда могут знать, что именно он выбрал в качестве дополнительных критериев. В итоге, классифицируя результаты как точные и неточные, человек обучает ИИ не совсем тому, чему хотел.

Результатом подобного обучения могут стать непредсказуемые ошибки. Например, в эпидемиологии есть математическая модель, описывающая течение эпидемии. Она строится на ключевых параметрах: коэффициенте распространения инфекции (R0) и продолжительности времени, пока заболевший заразен (D). Теоретически даже на ранних стадиях пандемии можно проанализировать эти данные по нескольким случаям и предсказать ее ход. Это крайне важно для властей и медиков, которые будут иметь понимание, когда переполнятся больницы и в какой момент и как нужно реагировать на статистику.

Однако на практике обученный по массивам медицинских данных искусственный интеллект может выдавать разные предсказания. И выбор из них реалистичного — нетривиальная задача. Дело в том, что во время обучения алгоритм будет учитывать множество побочных параметров. Так же делают и люди, но они могут объяснить свои решения, а ИИ — нет. Таким образом, необходимо еще на стадии создания алгоритма и его обучения учитывать все больше параметров. В этот момент появляется второе ключевое ограничение.

Подобных второстепенных параметров может быть огромное количество, и далеко не все из них будут так же важны для человека, как для нейросети. Фактически предсказать только по результату (прогнозу) модели, на основании каких второстепенных факторов была достигнута нужная точность, невозможно. И тем более нельзя сходу оценить, как именно изменится работа алгоритма при других масштабах поступающих данных. Свои соображения авторы описываемой работы наглядно и подробно иллюстрируют четырьмя примерами, в которых ИИ либо традиционно считается более точным, чем человек, либо его использование предполагается наиболее перспективным. Речь о компьютерном зрении, распознавании медицинских изображений и речи , а также медицинских предсказаниях на основе статистики.

Однако не все так ужасно. Авторы работы предлагают методику стрессового тестирования искусственного интеллекта. По их мнению, можно ввести в процесс машинного обучения обязательные стресс-тесты на специально подготовленных данных. Они могут быть нарочно выходящими за рамки моделей или хорошо изученными экстремальными примерами из реальной жизни. В любом случае с их помощью будут сразу обнаружены основные аномалии алгоритма.

Несомненно, озвученные сотрудниками Google идеи не являются революционными и зачастую используются на практике. Но они еще не стали стандартом даже в самых критичных для нас областях применения ИИ. И, конечно, для многих профессионалов вышеописанная работа может выглядеть простой и очевидной. Тем не менее в ней от элементарных моделей до сложнейших симуляций показано влияние недостаточной детализации на результат. Кроме того, авторы работы собрали воедино идеи и выводы из колоссального количества публикаций на смежные темы. Это позволяет назвать ее отличным промежуточным итогом в развитии современных наработок в области ИИ.

Комментарии

  • Вот именно поэтому природа, наделив человека логическим мышлением, оставила возможность эмоционального принятия решения. Когда решения принимаются быстрее, вопреки всякой логике и оказываются более приемлемыми.

    • Ничем природа специально человека не наделяла. Природа она дура по большому счету и ей на человека плевать слюной (как плевали до исторического материализма). Не будет человека - дельфины приплывут, вороны залетают. Всего и делов-то. Поглядите на пример Чернобыльской зоны - без человека дикая природа просто воспряла.

      Мышление возникло как побочный продукт эволюции. Просто те обезьяны, которые умели хотя бы немного мыслить, могли успешно предсказывать по поведению своих соседей по стае, какого-такого черта те пошли не в ту сторону, где, казазлось бы, можно вкусно поесть - а в другую. А в другую они шли, как правило, когда были уверены что там запрятали предварительно кое-что вкусное.

      Эмоциональное окрашивание явлений весьма характерно для стадных животных.

      • Природа она дура по большому счету

        А природа по-Вашему, это что? Создатель, классная дама или процесс?

        Эмоциональное окрашивание явлений весьма характерно для стадных животных.

        Т.е. нестадные животные, по-Вашему", не обладают понятиями "вкусно - не вкусно", "мягко - жёстко", "комфортно - не комфортно"?

  • Вся беда в том что никакого интеллекта пока там нет. Алгоритм действует вслепую не понимая данных которые ему подсовывают. Хотя... кто знает как действуют люди. Может дело лишь в недостаточной сложности алгоритмов. И со временем они тоже научаться "логически" объяснять свои выводы, так что не подкопаешься. Или фиг переспоришь. Взять вот любого антимасочника - человек разумный ловко подгоняет любые данные под картину мира существующую в его голове. Не хотел бы я чтобы алгоритмы дожили до такого состояния. Они же станут совершенно бесполезны. Что если человек сумеет создать искусственный интеллект, но он будет обладать теми же недостатками что и естественный? Потребует длительного обучения и при этом будет далеко не всегда гениален, а порой даже не слишком умен, склонен к догматизму или теориям заговора?

    • ну это нужно разобраться в определениях) что есть интеллект в принципе? :) искусственный интеллект уже есть, другое дело что он далек от того привычного нам понимания этого слова, потому как мы усвоили его и применяем лишь в связи с человеком, и, иногда, животными, а ИИ - пока что дивковинка для нашего мозга )
      Из того что я изучал по этой теме, я думаю, что ИИ не будет обладать теми недостатками что и естественный по простым причинам. Машинный код не будет проходить миллиарды лет эволюции, он не будет иметь физического тела, не будет обусловлен страхами, голодом, размножением и прочими свойственными биологическим организмами вещами. Как следствие, он не будет наделен и эмоциями, подсознанием, состояниями эйфории или аффекта. Автопилот Теслы не руководствуется эмоциями, его реакция не зависит от того бухал ли он вчера или не ушла ли от него жена ), он действует максимально эффективно, насколько может в данной ситуации, без страха, усталости, нервозности или флегматичности (а его неидеальность на данный момент - ошибки в разработке человека, а не в самом ИИ как явлении - очевидно временная трудность).
      Как только нейросети и вся эта "движуха" дойдут до состояния, когда для обучения и эффективных результатов им не понадобится вмешательство человека (а всё к тому идет семимильными шагами), будет просто взрывной прирост мощности (если так можно выразиться) этого самого ИИ, и он будет увеличиваться по экспоненте, каждую секунду. Скорость эту даже пытались подсчитывать, и там какие-то страшные просто цифры). Как только ИИ выйдет на уровень эффективности среднего заурядного человека, за следующие часы он будет "умнее" любого живущего на земле в сотни а затем тысячи и так далее раз. И это страшно :) Потому что это находится уже за гранью нашего понимания. Как это быть умнее человечества в сотни, тысячи или миллионы раз?
      Здесь на горизонте маячат как несметные блага для нас так и возможная мгновенная гибель ))). По идее такой ИИ будет обладать возможностями бога. Полное понимание физики Вселенной, полный контроль над материей и энергией. То есть, например, при таких возможностях ИИ вполне себе может сделать нас вечными, бессмертными, например. Я уж не говорю о болезнях.
      С другой стороны, он вполне себе может решить, что человечество как вид - абсолютно бесполезное явление, вредное, бесперспективное и тд. И просто уничтожит нас, с невероятной легкостью. Противостоять этому будет невозможно, ровно как улитке противостоять человеку, решившему убить её здесь и сейчас. По этой причине некоторые ученые бьют тревогу. Пока всё это дело не вышло из-под контроля... Но история показывает, что люди не остановятся) Никогда не останавливались) А чем это все закончится - поживем увидим)

      • Напоминает довоенную фантастику, когда сияющие космолеты стартовали прямо с Красной площади. Только на новой элементной базе. Ну или сюжеты Филипа Дика что ближе. Который несмотря на свою гениальность кончил очень плохо ибо увлекался наркотиками причем в самых смелых конфигурациях. И под этим делом творил сюжеты про ИИ овладевающий массами.
        Не помню выкладывал ли кто уже ролик про "марсианскую деревню" с любовь и дронами. Ну тот что дошел даже до Рогозина. Как-то больше нравится такой интеллект, чем "большие братья" которых кинулись клепать фейсбуки и гуглы. Даром что и без них успешно выносят мозг простым гражданам.

      • "ну это нужно разобраться в определениях"
        На сегодняшний момент ИИ - это просто неудачное название алгоритма анализа входящих данных. Такое же, как "телепортация фотонов".

        "Как следствие, он не будет наделен и эмоциями, подсознанием, состояниями эйфории или аффекта"
        Т.е. у него не будет цели существования. У человека цель - получать удовольствие. Программа не может получать удовольствие от того, что логическое устройство запитано "более качественным электричеством".
        Даже если ИИ и разовьётся до самостоятельного решения каких-то вопросов, то цели и задачи человека и ИИ будут параллельны, не будут нигде пересекаться. А значит, не будет и конфликта интересов и, как следствие, вражды. ИИ не будет раздумывать над рецептом приготовления индейки, не будет выбирать себе акустическую систему или телевизор, ортопедический матрас. Его не будут волновать обводы автомобиля и женские формы.

        "Как только ИИ выйдет на уровень эффективности среднего заурядного человека, за следующие часы он будет "умнее" любого живущего на земле в сотни а затем тысячи и так далее раз. И это страшно :)"
        Простой калькулятор считает быстрее человека в тысячи и более раз. Вам страшно? :)
        В "человеческом" понимании "умнее" - значит умеет быстрее добиваться своей цели. У человека цель - первична. А у ИИ есть только процесс "пройти все узлы".

        "И просто уничтожит нас, с невероятной легкостью."
        Для этого нужно будет научиться ставить цели (удовольствие?) и отвечать на вопрос "Зачем?". А по-Вашему, ИИ будет лишён чувств.

        • быстрее - не значит умнее. Калькулятор выполняет ничтожно узкий круг задач, и никак не подпадает под определение ИИ. Так что пример так себе. Калькулятор - не страшно (разве что когда квартплату считаешь :), а вот ИИ, который будет осознавать себя, способен абстрактно мыслить, анализировать речь, тексты и прочую информацию, прогнозировать результаты своих решений и обучаться в миллионы раз быстрее нас, не "забывая" ни байта, без сна, без сожалений, без угрызений совести, без жалости и прочих свойственных нам надстроек - это может быть весьма страшно :) И я думаю ошибочно полагать, что цели человека и ИИ не будут пересекаться. Априори ИИ человечество хочет использовать как раз для достижения своих целей. А вот какие цели могут возникнуть у такого мощного интеллекта, если он выйдет за рамки просто исполняемой программы и начнет "существовать" и "мыслить" самостоятельно - я не берусь прогнозировать :) но врядли ему будет достаточно просчитывать для нас 3д структуры белков, управлять трафиком на дорогах и ставить точные диагнозы по голосу и моче :)

          • Гораздо вероятнее что человечество будет уничтожено в результате не выявленной вовремя ошибки в "обучении" или сочетания нескольких безобидных по отдельности факторов. Если доверит такому ИИ критически важные отрасли своей деятельности.

        • А насчет вашего аргумента о цели - как раз в статье о возможных выгодах и опасностях ИИ упоминалась забавная гипотетическая ситуация, вкратце звучащая около того, что, допустим, люди создадут ИИ, задачей которого будет написание текста на бумаге разными красивыми почерками от руки. И если представить что конкретно этот ИИ самообучаясь дойдёт до уровня человеческого интеллекта а затем все выше, то он с лёгкостью осознает, что люди могут выключить его, и тогда его цель - писать снова и снова (там для наглядности было предположено что он был заточен писать одну и ту же фразу, уж какую не припомню :)) красивым калиграфическим почерком - окажетс, под угрозой. В какой-то момент он, возможно, даже получит информацию, что его решили выключить из сети, или стереть, так как эксперимент закончен. И тогда он уничтожит все человечество, начнет реплицировать роботов, строить космические корабли и осваивать другие планеты солнечной системы, а затем и далее в межгаллактическое пространство. И на каждой из этих планет он будет покрывать всю поверхность плакатами с написанной тысячами разных почерков выше упомянутую фразу, ради чего он и был создан :) Звучит комично, но это только на первый взгляд. Это я к тому, что для цели необязательно удовольствие, эмоции или что-то еще из человеческого арсенала :) да и человек далеко не только удовольствием движим.

          • Вообще все эти возможные ситуации были рассмотрены ещё в первый период "зарождения" ИИ А. Азимовым в его "Трех законах" в 60-х годах прошлого века.

            Человеку свойственно приписывать эмоции всему вокруг. Поэтому всеведущему нужно рассказать о своих проблемах, у всепрощающего попросить прощение, а к вездесущему идти в гости. А иначе - бестелесная душа будет терпеть телесные муки.)))
            "то он с лёгкостью осознает, что люди могут выключить его" - Вы с помощью обходных слов пытаетесь описать чувства, которых у ИИ по-Вашему не может быть. Ну выключат. И что? Это для человека "выключение" фатально. А ему-то что? Выключат. Потом включат. Так же, как человека уволят. Потом примут. В отличие от человека, ему это время питаться не надо будет.