• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
01.12.2020
Василий Парфенов
11
3 986

Инженеры Google описали ключевой изъян машинного обучения, приводящий к ошибкам ИИ

5.0

Тема искусственного интеллекта в последние годы стала невероятно популярной. Однако, несмотря на все достижения в этой области, ИИ по-прежнему чаще человека ошибается практически в любом классе задач. Специалисты Google сформулировали один из ключевых недостатков важнейшего компонента создания искусственного интеллекта — машинного обучения — и предложили способ его компенсации.

Инженеры Google описали ключевой изъян машинного обучения, приводящий к ошибкам ИИ
Пример того, как начальный набор данных без учета побочных факторов может выдать сильно отличающийся прогноз. Без понимания актуальной детализации в обучении, нельзя сказать, какой из них верный. Точно также невозможно судить, какой из них выдаст алгоритм на реальной выборке в актуальном случае / ©Discovermagazine

Научная работа опубликована на портале arXiv. В ней описано понятие недостаточной детализации (underspecification) в машинном обучении (machine learning). Авторы указывают на то, как в привычном процессе обучения нейросетевых алгоритмов слишком часто возникают неочевидные поначалу аномалии. В результате обученный таким образом алгоритм будет выдавать непредсказуемые или ошибочные выводы.

По мнению команды специалистов из Google, проблема в следующем. Во время обучения алгоритма на некоем наборе данных искусственный интеллект может сделать не совсем то обобщение, которое считают необходимым или эффективным его создатели. И сам по себе этот факт не является чем-то негативным, наоборот — в этом и есть «сила» нейросетей. Но, тренируя алгоритм, программисты не учитывают и далеко не всегда могут знать, что именно он выбрал в качестве дополнительных критериев. В итоге, классифицируя результаты как точные и неточные, человек обучает ИИ не совсем тому, чему хотел.

Результатом подобного обучения могут стать непредсказуемые ошибки. Например, в эпидемиологии есть математическая модель, описывающая течение эпидемии. Она строится на ключевых параметрах: коэффициенте распространения инфекции (R0) и продолжительности времени, пока заболевший заразен (D). Теоретически даже на ранних стадиях пандемии можно проанализировать эти данные по нескольким случаям и предсказать ее ход. Это крайне важно для властей и медиков, которые будут иметь понимание, когда переполнятся больницы и в какой момент и как нужно реагировать на статистику.

Однако на практике обученный по массивам медицинских данных искусственный интеллект может выдавать разные предсказания. И выбор из них реалистичного — нетривиальная задача. Дело в том, что во время обучения алгоритм будет учитывать множество побочных параметров. Так же делают и люди, но они могут объяснить свои решения, а ИИ — нет. Таким образом, необходимо еще на стадии создания алгоритма и его обучения учитывать все больше параметров. В этот момент появляется второе ключевое ограничение.

Подобных второстепенных параметров может быть огромное количество, и далеко не все из них будут так же важны для человека, как для нейросети. Фактически предсказать только по результату (прогнозу) модели, на основании каких второстепенных факторов была достигнута нужная точность, невозможно. И тем более нельзя сходу оценить, как именно изменится работа алгоритма при других масштабах поступающих данных. Свои соображения авторы описываемой работы наглядно и подробно иллюстрируют четырьмя примерами, в которых ИИ либо традиционно считается более точным, чем человек, либо его использование предполагается наиболее перспективным. Речь о компьютерном зрении, распознавании медицинских изображений и речи , а также медицинских предсказаниях на основе статистики.

Однако не все так ужасно. Авторы работы предлагают методику стрессового тестирования искусственного интеллекта. По их мнению, можно ввести в процесс машинного обучения обязательные стресс-тесты на специально подготовленных данных. Они могут быть нарочно выходящими за рамки моделей или хорошо изученными экстремальными примерами из реальной жизни. В любом случае с их помощью будут сразу обнаружены основные аномалии алгоритма.

Несомненно, озвученные сотрудниками Google идеи не являются революционными и зачастую используются на практике. Но они еще не стали стандартом даже в самых критичных для нас областях применения ИИ. И, конечно, для многих профессионалов вышеописанная работа может выглядеть простой и очевидной. Тем не менее в ней от элементарных моделей до сложнейших симуляций показано влияние недостаточной детализации на результат. Кроме того, авторы работы собрали воедино идеи и выводы из колоссального количества публикаций на смежные темы. Это позволяет назвать ее отличным промежуточным итогом в развитии современных наработок в области ИИ.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
26 марта
Мария Азарова

Исследователи из Южной Кореи на примере супружеских пар проверили, как длина и состояние волос женщин отражаются на влечении к ним мужчин и частоте половых контактов.

Сегодня, 11:52
Игорь Байдов

Американская компания JetZero, которая обещает произвести фурор в гражданской авиации, получила сертификат летной годности на испытания уменьшенной копии разрабатываемого ею сверхэффективного реактивного авиалайнера со «смешанным крылом». Предстоящая программа летных испытаний будет направлена на оценку летно-технических характеристик самолета, его устойчивости и управляемости.

Позавчера, 07:27
Полина

Международная команда исследователей проанализировала гены композитора Людвига ван Бетховена. Если оценивать по ним его способности к музыке, они окажутся невыдающимися.

26 марта
Мария Азарова

Исследователи из Южной Кореи на примере супружеских пар проверили, как длина и состояние волос женщин отражаются на влечении к ним мужчин и частоте половых контактов.

Позавчера, 07:27
Полина

Международная команда исследователей проанализировала гены композитора Людвига ван Бетховена. Если оценивать по ним его способности к музыке, они окажутся невыдающимися.

24 марта
Михаил Орлов

Астронавты, прибывшие на Луну в рамках программы «Аполлон», установили на ее поверхности первые внеземные сейсмографы и оценили частоту и силу лунотрясений. Теперь, спустя полвека после сбора данных о сейсмической активности Луны, ученые вновь подвергли их анализу, смогли удалить из них помехи и резко изменили оценки сейсмической активности на Луне. Оказалось, что приборы тогда зафиксировали не 13 тысяч лунотрясений, как считали ранее, а почти в три раза больше. Среди них неожиданно много слабых толчков, которые сосредоточены в северном полушарии Луны.

11 марта
Игорь Байдов

Американская компания Stratolaunch сообщила об успешном завершении летных испытаний прототипа гиперзвукового аппарата Talon-A, оснащенного ракетным двигателем. Во время беспилотного полета планер развил сверхзвуковую скорость.

18 марта
Игорь Байдов

Грузовой самолет будут использовать для перевозки 90-метровых лопастей ветряных турбин, которые невозможно доставить по суше из-за размеров. Предполагается, что этот аппарат произведет революцию в сфере возобновляемых источников энергии.

13 марта
Алиса Гаджиева

Древние переселенцы из Анатолии не только устроили геноцид в Скандинавии, но и одарили выживших новыми болезнями.

[miniorange_social_login]

Комментарии

11 Комментариев

-
0
+
Вся беда в том что никакого интеллекта пока там нет. Алгоритм действует вслепую не понимая данных которые ему подсовывают. Хотя... кто знает как действуют люди. Может дело лишь в недостаточной сложности алгоритмов. И со временем они тоже научаться "логически" объяснять свои выводы, так что не подкопаешься. Или фиг переспоришь. Взять вот любого антимасочника - человек разумный ловко подгоняет любые данные под картину мира существующую в его голове. Не хотел бы я чтобы алгоритмы дожили до такого состояния. Они же станут совершенно бесполезны. Что если человек сумеет создать искусственный интеллект, но он будет обладать теми же недостатками что и естественный? Потребует длительного обучения и при этом будет далеко не всегда гениален, а порой даже не слишком умен, склонен к догматизму или теориям заговора?
    Max
    Max
    04.12.2020
    -
    0
    +
    ну это нужно разобраться в определениях) что есть интеллект в принципе? :) искусственный интеллект уже есть, другое дело что он далек от того привычного нам понимания этого слова, потому как мы усвоили его и применяем лишь в связи с человеком, и, иногда, животными, а ИИ - пока что дивковинка для нашего мозга ) Из того что я изучал по этой теме, я думаю, что ИИ не будет обладать теми недостатками что и естественный по простым причинам. Машинный код не будет проходить миллиарды лет эволюции, он не будет иметь физического тела, не будет обусловлен страхами, голодом, размножением и прочими свойственными биологическим организмами вещами. Как следствие, он не будет наделен и эмоциями, подсознанием, состояниями эйфории или аффекта. Автопилот Теслы не руководствуется эмоциями, его реакция не зависит от того бухал ли он вчера или не ушла ли от него жена ), он действует максимально эффективно, насколько может в данной ситуации, без страха, усталости, нервозности или флегматичности (а его неидеальность на данный момент - ошибки в разработке человека, а не в самом ИИ как явлении - очевидно временная трудность). Как только нейросети и вся эта "движуха" дойдут до состояния, когда для обучения и эффективных результатов им не понадобится вмешательство человека (а всё к тому идет семимильными шагами), будет просто взрывной прирост мощности (если так можно выразиться) этого самого ИИ, и он будет увеличиваться по экспоненте, каждую секунду. Скорость эту даже пытались подсчитывать, и там какие-то страшные просто цифры). Как только ИИ выйдет на уровень эффективности среднего заурядного человека, за следующие часы он будет "умнее" любого живущего на земле в сотни а затем тысячи и так далее раз. И это страшно :) Потому что это находится уже за гранью нашего понимания. Как это быть умнее человечества в сотни, тысячи или миллионы раз? Здесь на горизонте маячат как несметные блага для нас так и возможная мгновенная гибель ))). По идее такой ИИ будет обладать возможностями бога. Полное понимание физики Вселенной, полный контроль над материей и энергией. То есть, например, при таких возможностях ИИ вполне себе может сделать нас вечными, бессмертными, например. Я уж не говорю о болезнях. С другой стороны, он вполне себе может решить, что человечество как вид - абсолютно бесполезное явление, вредное, бесперспективное и тд. И просто уничтожит нас, с невероятной легкостью. Противостоять этому будет невозможно, ровно как улитке противостоять человеку, решившему убить её здесь и сейчас. По этой причине некоторые ученые бьют тревогу. Пока всё это дело не вышло из-под контроля... Но история показывает, что люди не остановятся) Никогда не останавливались) А чем это все закончится - поживем увидим)
    +
      ещё комментарии
      Иван
      04.12.2020
      -
      0
      +
      Напоминает довоенную фантастику, когда сияющие космолеты стартовали прямо с Красной площади. Только на новой элементной базе. Ну или сюжеты Филипа Дика что ближе. Который несмотря на свою гениальность кончил очень плохо ибо увлекался наркотиками причем в самых смелых конфигурациях. И под этим делом творил сюжеты про ИИ овладевающий массами. Не помню выкладывал ли кто уже ролик про "марсианскую деревню" с любовь и дронами. Ну тот что дошел даже до Рогозина. Как-то больше нравится такой интеллект, чем "большие братья" которых кинулись клепать фейсбуки и гуглы. Даром что и без них успешно выносят мозг простым гражданам.
      Evgen
      04.12.2020
      -
      0
      +
      "ну это нужно разобраться в определениях" На сегодняшний момент ИИ - это просто неудачное название алгоритма анализа входящих данных. Такое же, как "телепортация фотонов". "Как следствие, он не будет наделен и эмоциями, подсознанием, состояниями эйфории или аффекта" Т.е. у него не будет цели существования. У человека цель - получать удовольствие. Программа не может получать удовольствие от того, что логическое устройство запитано "более качественным электричеством". Даже если ИИ и разовьётся до самостоятельного решения каких-то вопросов, то цели и задачи человека и ИИ будут параллельны, не будут нигде пересекаться. А значит, не будет и конфликта интересов и, как следствие, вражды. ИИ не будет раздумывать над рецептом приготовления индейки, не будет выбирать себе акустическую систему или телевизор, ортопедический матрас. Его не будут волновать обводы автомобиля и женские формы. "Как только ИИ выйдет на уровень эффективности среднего заурядного человека, за следующие часы он будет "умнее" любого живущего на земле в сотни а затем тысячи и так далее раз. И это страшно :)" Простой калькулятор считает быстрее человека в тысячи и более раз. Вам страшно? :) В "человеческом" понимании "умнее" - значит умеет быстрее добиваться своей цели. У человека цель - первична. А у ИИ есть только процесс "пройти все узлы". "И просто уничтожит нас, с невероятной легкостью." Для этого нужно будет научиться ставить цели (удовольствие?) и отвечать на вопрос "Зачем?". А по-Вашему, ИИ будет лишён чувств.
        Max
        Max
        05.12.2020
        -
        0
        +
        быстрее - не значит умнее. Калькулятор выполняет ничтожно узкий круг задач, и никак не подпадает под определение ИИ. Так что пример так себе. Калькулятор - не страшно (разве что когда квартплату считаешь :), а вот ИИ, который будет осознавать себя, способен абстрактно мыслить, анализировать речь, тексты и прочую информацию, прогнозировать результаты своих решений и обучаться в миллионы раз быстрее нас, не "забывая" ни байта, без сна, без сожалений, без угрызений совести, без жалости и прочих свойственных нам надстроек - это может быть весьма страшно :) И я думаю ошибочно полагать, что цели человека и ИИ не будут пересекаться. Априори ИИ человечество хочет использовать как раз для достижения своих целей. А вот какие цели могут возникнуть у такого мощного интеллекта, если он выйдет за рамки просто исполняемой программы и начнет "существовать" и "мыслить" самостоятельно - я не берусь прогнозировать :) но врядли ему будет достаточно просчитывать для нас 3д структуры белков, управлять трафиком на дорогах и ставить точные диагнозы по голосу и моче :)
          Иван
          05.12.2020
          -
          0
          +
          Гораздо вероятнее что человечество будет уничтожено в результате не выявленной вовремя ошибки в "обучении" или сочетания нескольких безобидных по отдельности факторов. Если доверит такому ИИ критически важные отрасли своей деятельности.
        Max
        Max
        05.12.2020
        -
        0
        +
        А насчет вашего аргумента о цели - как раз в статье о возможных выгодах и опасностях ИИ упоминалась забавная гипотетическая ситуация, вкратце звучащая около того, что, допустим, люди создадут ИИ, задачей которого будет написание текста на бумаге разными красивыми почерками от руки. И если представить что конкретно этот ИИ самообучаясь дойдёт до уровня человеческого интеллекта а затем все выше, то он с лёгкостью осознает, что люди могут выключить его, и тогда его цель - писать снова и снова (там для наглядности было предположено что он был заточен писать одну и ту же фразу, уж какую не припомню :)) красивым калиграфическим почерком - окажетс, под угрозой. В какой-то момент он, возможно, даже получит информацию, что его решили выключить из сети, или стереть, так как эксперимент закончен. И тогда он уничтожит все человечество, начнет реплицировать роботов, строить космические корабли и осваивать другие планеты солнечной системы, а затем и далее в межгаллактическое пространство. И на каждой из этих планет он будет покрывать всю поверхность плакатами с написанной тысячами разных почерков выше упомянутую фразу, ради чего он и был создан :) Звучит комично, но это только на первый взгляд. Это я к тому, что для цели необязательно удовольствие, эмоции или что-то еще из человеческого арсенала :) да и человек далеко не только удовольствием движим.
          Evgen
          05.12.2020
          -
          0
          +
          Вообще все эти возможные ситуации были рассмотрены ещё в первый период "зарождения" ИИ А. Азимовым в его "Трех законах" в 60-х годах прошлого века. Человеку свойственно приписывать эмоции всему вокруг. Поэтому всеведущему нужно рассказать о своих проблемах, у всепрощающего попросить прощение, а к вездесущему идти в гости. А иначе - бестелесная душа будет терпеть телесные муки.))) "то он с лёгкостью осознает, что люди могут выключить его" - Вы с помощью обходных слов пытаетесь описать чувства, которых у ИИ по-Вашему не может быть. Ну выключат. И что? Это для человека "выключение" фатально. А ему-то что? Выключат. Потом включат. Так же, как человека уволят. Потом примут. В отличие от человека, ему это время питаться не надо будет.
Evgen Storm
02.12.2020
-
0
+
Вот именно поэтому природа, наделив человека логическим мышлением, оставила возможность эмоционального принятия решения. Когда решения принимаются быстрее, вопреки всякой логике и оказываются более приемлемыми.
    Семен
    02.12.2020
    -
    0
    +
    Ничем природа специально человека не наделяла. Природа она дура по большому счету и ей на человека плевать слюной (как плевали до исторического материализма). Не будет человека - дельфины приплывут, вороны залетают. Всего и делов-то. Поглядите на пример Чернобыльской зоны - без человека дикая природа просто воспряла. Мышление возникло как побочный продукт эволюции. Просто те обезьяны, которые умели хотя бы немного мыслить, могли успешно предсказывать по поведению своих соседей по стае, какого-такого черта те пошли не в ту сторону, где, казазлось бы, можно вкусно поесть - а в другую. А в другую они шли, как правило, когда были уверены что там запрятали предварительно кое-что вкусное. Эмоциональное окрашивание явлений весьма характерно для стадных животных.
    +
      ещё комментарии
      Evgen
      04.12.2020
      -
      0
      +
      Природа она дура по большому счету
      А природа по-Вашему, это что? Создатель, классная дама или процесс?
      Эмоциональное окрашивание явлений весьма характерно для стадных животных.
      Т.е. нестадные животные, по-Вашему", не обладают понятиями "вкусно - не вкусно", "мягко - жёстко", "комфортно - не комфортно"?

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: