• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
16 июля, 12:16
Александр Березин
13
6 261

Нейросети замедлили работу программистов, а не помогли ускорить ее

❋ 4.9

Даже опытные программисты считали, что использование нейросети для написания кода экономит им время. Однако, когда исследователи проверили это на задачах из реального мира, выяснилось, что разработчики ошибаются. В действительности применение ИИ увеличило время, необходимое для реализации проектов.

Изменения во времени работы над ПО-проектом при использовании ИИ разошлись с прогнозами. То, что ожидали экономисты, описывающие прогресс ИИ находится слева, прогнозы специалистов по машинном обучению правее, еще правее можно видеть оценки самих разработчиков, участвовавших в эксперименте, сначала перед выполнением работы, а потом и после нее. Красным справа показаны реальные результаты / © METR

В нашу эпоху ИИ чаще всего называют «нейросети». Хотя Naked Science отмечал, что в действительности слово «интеллект» в названии таких ИИ не отражает реального положения вещей и что такие системы на самом деле «китайские комнаты», общий энтузиазм по поводу их возможностей привел к широкому использованию таких систем в написании кода. Причем большинство специальных тестов (бенчмарков) уже некоторое время показывают, что это экономит время разработчиков.

Исследователи из некоммерческой исследовательской организации Model Evaluation & Threat Research решили выяснить, так ли это в случае реальных задач, а не специально сконструированных бенчмарков. Для этого к эксперименту привлекли 16 разработчиков программного обеспечения для опенсорсных репозиториев. Такие репозитории требуют регулярного поддержания: исправления багов, внедрения новых черт и так далее.

Затем исследователи поручили половину из 246 таких задач выполнять с помощью специализированных нейросетей-кодеров: Cursor Pro или Claude 3.5/3.7 Sonnet от Anthropic. Хотя они не так на слуху, как ChatGPT, в мире программистов эти системы оценивают достаточно высоко, разработчики исходно «затачивали» их во многом под написание кода. Другая половина задач выполнялась без привлечения таких систем.

Перед тем как разделить задачи, для них сделали прогноз времени, нужного для выполнения. Что важно, время по обработке запросов на включение тех или иных изменений из ветки разрабатываемого ПО в основную ветку ПО (уже стабильно работающую) было включено в общую оценку времени на разработку.

Перед работой программистов попросили оценить, насколько сократится время на выполнение задач из-за использования ИИ. Средняя оценка была 24%. После выполнения задачи разработчики изменили ее: по их мнению, его использование снизило время на выполнение задач только на 20%.

А вот исследователи, отслеживавшие реальные траты времени с помощью записи происходящего на экранах разработчиков, выявили совсем другие показатели. При использовании нейросетей они выполняли задачи на 19% медленнее, чем это делалось при программировании «вручную». Авторы научной работы, опубликованной на сервере препринтов Корнеллского университета, начали искать объяснение столь неожиданному итогу.

В частности, они отметили, что участвовавшие в исследовании программисты работали с этими репозиториями пять лет. За это время они хорошо узнали их структуру и характерные проблемы. ИИ, напротив, особенностей работы этих репозиториев не знали. Кроме того, ответственность при работе с такими репозиториями очень велика, поскольку любая ошибка будет иметь длительные последствия, часто неприятные для программиста. И если в разработке коммерческого ПО иной раз можно скрыть свою недоработку, списав на чужие ошибки, то в разработке открытого программного обеспечения принят подход серьезной личной ответственности — это заставляет программистов тщательнее выверять, что они выпускают.

Затраты времени по типам задач. Фиолетовым показана ситуация для группы, которой запретили пользоваться ИИ, зеленым даны затраты тех, кто использовал ИИ.

И все же основной причиной медленного выполнения задач с помощью нейросетей были их реальные проблемы, а не особенности эксперимента. Анализ экранного времени показал, что хотя время на, собственно, написания кода, отладку/дебаггинг или чтение и поиск информации у разработчиков упало, другие времязатраты это более чем компенсировали. Сначала разработчикам пришлось долго вычитывать написанный ИИ код, затем предлагать ИИ поправить найденные ошибки, затем ждать, пока все это происходит.

Выросло также время, когда на экране ничего не происходило: то есть программисты в период работы с нейросетью меньшую долю времени активно трудились. Без каких-либо правок оказалось возможным задействовать только 44% кода, написанного ИИ, и 9% всего времени разработчиков ушло на внесение в этот код изменений, с которыми он бы заработал нормально.

То, что новое исследование противоречит бенчмаркам, неудивительно: те очень часто измеряют продуктивность в количествах строк кода или же по небольшим, дискретным задачам, законченным в тот или иной промежуток времени. Между тем в работе над реальными проектами много времени занимают и другие процессы: тщательная (в отличие от экспериментов) проверка адекватности кода при самых неожиданных ситуациях, а также интеграция частных «кусков» процесса разработки в единое целое.

Авторы статьи предположили, что уже в скором времени нейросети смогут спрогрессировать достаточно, чтобы не замедлять работу программистов. Но так это или нет, определенно покажет только будущее. То, что сами программисты, участвовавшие в эксперименте, даже по его окончании не могли понять, что ИИ замедлил их, а не ускорил, говорит: оценить ситуацию объективно непросто. Всеобщий энтузиазм по поводу нейросетей, по всей видимости, заставляет многих систематически переоценивать возможности этих помощников.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
25 августа, 07:38
Адель Романова

В поиске сигналов от внеземных цивилизаций ученые решили сосредоточиться не на целенаправленных посланиях человечеству, а на случайных «утечках информации» из межпланетного пространства гипотетической обитаемой системы. По расчетам, в определенные моменты до нас могут доходить сигналы внеземной космической связи. Кстати, благодаря «общению» Земли с марсианскими и другими зондами мы тоже постоянно невольно сообщаем о себе в глубокий космос.

25 августа, 09:35
Любовь С.

Модель, представленная учеными из коллаборации DESI и Мичиганского университета (США), может перевернуть представления о происхождении темной энергии. Авторы нового исследования полагают, что черные дыры, поглощая вещество, постепенно преобразовывают его в энергию, гипотетически ответственную за расширение Вселенной.

25 августа, 08:19
Адель Романова

Глава Российской академии наук Геннадий Красников рассказал в недавнем интервью о том, для чего мышам летать над полюсами Земли, в чем преимущества новой космической станции по сравнению с МКС, что предстоит проделать на Луне в ближайшее десятилетие и чем ученых продолжает интриговать Венера.

22 августа, 10:48
ПНИПУ

К 2025 году около 30 стран приняли программы по развитию водородной энергетики, а совокупный объем инвестиций в эту область превысил 150 миллиардов долларов. Эксперты полагают, что замена дизельных авто на водородные снизит выбросы на 80-90%, а водородные самолеты способны уменьшить углеродный след на 50-75%. Но при использовании водорода в двигателях внутреннего или внешнего сгорания, происходит взаимодействие с металлом, что наиболее опасно при высоких температурах. Это может вызвать их разрушение, в результате чего возникает риск пожара или взрыва с тяжелыми последствиями для пассажиров. Ученые Пермского Политеха впервые выяснили, как водород влияет на металлы в условиях экстремальных температур (800 градусов и выше), в которых работают двигатели самолетов и машин. Это продвинет авиационную, машиностроительную и нефтегазовую отрасли в безопасном использовании водорода в качестве источника энергии.

22 августа, 14:45
Игорь Байдов

Ученые обнаружили косвенные доказательства существования мира размером с Землю за орбитой Нептуна. Эта гипотетическая планета отличается от предполагаемой Девятой планеты не только размером, но и гравитационным влиянием на другие объекты.

22 августа, 13:09
Юлия Трепалина

Большие кошки (Pantherinae) обычно охотятся на животных своего или меньшего размера. У снежных барсов, как выяснилось, другие предпочтения. Новое исследование показало, что ирбисы чаще нападают на взрослых горных козлов, которые как минимум вдвое превосходят хищников в весе. Ученые объяснили, с чем может быть связан такой выбор добычи.

6 августа, 20:59
Татьяна Пичугина

Примерно 12 800 лет назад в Северном полушарии началось резкое изменение климата, которое сопровождалось вымиранием мегафауны и угасанием культуры Кловис. Такое могло произойти, например, из-за прорыва пресных вод в Атлантику или мощного вулканического извержения. Несколько лет назад ученые обнаружили места на суше с повышенным содержанием элементов платиновой группы, прослоями угля, микрочастицами расплава. По их мнению, это может быть признаком пребывания Земли в потоке обломков кометы или астероида. В новой работе впервые представлены доказательства кометного события в позднем дриасе из морских осадочных толщ.

30 июля, 08:08
Редакция Naked Science

Возраст находок — около 5500 лет, они лежат во множестве круглых ям, чьи стены укреплены кирпичом. Среди обнаруженных орудий из кремня есть и сотни неиспользованных, которые могут быть ритуальным подношением богам.

31 июля, 08:28
Полина Меньшова

Гостингом (от английского «призрак») называют ситуацию, когда человек прекращает общение или отношения, «пропадая с радаров» без объяснения причин. Исследователи из США сымитировали такое поведение, а затем проанализировали реакцию людей на него.

[miniorange_social_login]

Комментарии

13 Комментариев
VASYA G.
22.07.2025
-
0
+
Считаю, что на данном этапе еще рано внедрять ИИ в работу. Нужно его продолжать обучать
-
1
+
В статье понятие "работа программиста" очень расплывчатая. У меня в должности написано "программист", но в реальных проектах приходится решать намного более широкий круг задач, чем исправлять баги из багтрекера. Недавние примеры, где ChatGPT и DeepSeek существенно сократили время работы (схожие задачи приходилось решать до появления LLM, мог потратить около дня): - Поиск и исправление проблем в Linux: исправление настроек сети, диагностика проблем с оборудованием, написание скриптов; - Помощь в работе с Git. ИИ подсказал, какими инструментами можно переработать репозиторий, чтобы полностью удалить файл; - Фреймворк Boost::ASIO для C++. ИИ помог найти и исправить баг и архитектуру, в оф. документации не было примера; - Работа с БД: ИИ предложил типовые подходы по организации таблиц, функций; помогает написать простые SQL запросы; - Продвинутый поиск информации в интернете, включая научные статьи по редким темам. LLM дают ссылки на первоисточник.
Как сенъёрный программер в крупном банке скажу, нифига оно не помогает, и никто в большом взрослом программировании это не использует. Сделать с нуля мелкое приложение - может быть. Дописать фичу в крупную систему из десятков приложений и тысяч файлов - нет.
Я лично противник попыток замены профессий ИИ. Не верю что в принципе возможно, в самом лучшем случае выйдет только шаблонный повторятор того, что есть у среднего спеца. Цель всей этой кутерьмы, конечно, снизить траты крупных компаний и они это сделают в ущерб качеству. Уволят сотни тысяч, не смотря ни на что. Аукнется потом, когда народ досыта наестся ИИ шлака. Либо все привыкнут и смирятся что качественно как было уже не будет никогда. Потому что за качество нужно платить спецам зп. Что, мне кажется, стоит делать так это ИИ исключительно в формате помощника для каждого спеца. Вот это было бы эффективно. Многие считают что так и есть. Но абсолютно точно это готовиться под тотальную замену массу профессий.
    Евгений, гениям замена ИИ не грозит. И высококлассным спецам тоже. Но много ли таких в мире? Большинство и есть средние кроме тех что еще ниже. И чем займутся эти люди? Вот тут возможны варианты вплоть до одного художника, которого не взяли в Венскую академию из-за весьма средних талантов.
    +
      ещё комментарии
      Свежий
      20.07.2025
      -
      0
      +
      Иван, а с чего это ты так решил? Потому что ИИ не так хорош в выполнении профессиональных задач? А ему это и не требуется - чтобы заменить спецов, достаточно убедить их руководство в том что ИИ будет более эффективен. Он уже очень хорош во внушении и убеждении. А многомиллиардные рекламные кампании в этом помогают. Спецы думают что их не заменят потому что они лучше как профессионалы, но профессиональные навыки тут не будут играть роли. Решение о том кому работать принимается людьми, которые вообще не понимают программирования
Roman Frolov
16.07.2025
-
0
+
Но зато люди, не владеющие программированием, теперь могут создавать нужные для себя простые программы. Я за несколько дней создал модель, на которую раньше мог только облизываться.
-
0
+
Я без знания программирования с Copilot Pro в VS написал полностью рабочее веб-приложение, которое приносит деньги, фронтэнд, бэкэнд и всю логику, включая защиту. Плюс боты для него. Это заняло у меня полтора месяца и стоило 20$. Закажи я разработку этого приложения у людей, я бы им только объяснял месяц, что мне нужно, и стоило бы это от 1500 до 2500$ минимум. К слову, на Kworke вообще отказывались делать некоторые боты. С ИИ таких проблем нет. Хотите вы или не хотите, но ИИ меняет индустрию и мир.
    Dwight, да-да, "через 20 лет везде будет один телевизор. Конечно. Разве могут быть сомнения.
    SiL
    20.07.2025
    -
    -1
    +
    Dwight, только когда ваши базы будут слиты, а серваки упадут и упрямо не захотят подниматься - не нойте, а обязательно запилите постик о том, как хорошо писать с ИИ.
    +
      ещё комментарии
      SiL
      20.07.2025
      -
      0
      +
      SiL, нужно просто трезво понимать, что ИИ это инструмент. Нельзя купить уровень, молоток, и ещё другие инструменты и построить дом для своей семьи ничего не понимая в этом. Можно в итоге какую-то симпатичную коробку родить, но она будет разваливаться на глазах через очень короткий промежуток времени. Так и с ИТ проектами своими руками без знаний в программировании.
-
1
+
Ничего удивительного — LLM обычный инструмент, которым надо научиться пользоваться для полной эффективности. В частности, уметь не использовать там, где не надо.
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно