Нейросети замедлили работу программистов, а не помогли ускорить ее
Даже опытные программисты считали, что использование нейросети для написания кода экономит им время. Однако, когда исследователи проверили это на задачах из реального мира, выяснилось, что разработчики ошибаются. В действительности применение ИИ увеличило время, необходимое для реализации проектов.
В нашу эпоху ИИ чаще всего называют «нейросети». Хотя Naked Science отмечал, что в действительности слово «интеллект» в названии таких ИИ не отражает реального положения вещей и что такие системы на самом деле «китайские комнаты», общий энтузиазм по поводу их возможностей привел к широкому использованию таких систем в написании кода. Причем большинство специальных тестов (бенчмарков) уже некоторое время показывают, что это экономит время разработчиков.
Исследователи из некоммерческой исследовательской организации Model Evaluation & Threat Research решили выяснить, так ли это в случае реальных задач, а не специально сконструированных бенчмарков. Для этого к эксперименту привлекли 16 разработчиков программного обеспечения для опенсорсных репозиториев. Такие репозитории требуют регулярного поддержания: исправления багов, внедрения новых черт и так далее.
Затем исследователи поручили половину из 246 таких задач выполнять с помощью специализированных нейросетей-кодеров: Cursor Pro или Claude 3.5/3.7 Sonnet от Anthropic. Хотя они не так на слуху, как ChatGPT, в мире программистов эти системы оценивают достаточно высоко, разработчики исходно «затачивали» их во многом под написание кода. Другая половина задач выполнялась без привлечения таких систем.
Перед тем как разделить задачи, для них сделали прогноз времени, нужного для выполнения. Что важно, время по обработке запросов на включение тех или иных изменений из ветки разрабатываемого ПО в основную ветку ПО (уже стабильно работающую) было включено в общую оценку времени на разработку.
Перед работой программистов попросили оценить, насколько сократится время на выполнение задач из-за использования ИИ. Средняя оценка была 24%. После выполнения задачи разработчики изменили ее: по их мнению, его использование снизило время на выполнение задач только на 20%.
А вот исследователи, отслеживавшие реальные траты времени с помощью записи происходящего на экранах разработчиков, выявили совсем другие показатели. При использовании нейросетей они выполняли задачи на 19% медленнее, чем это делалось при программировании «вручную». Авторы научной работы, опубликованной на сервере препринтов Корнеллского университета, начали искать объяснение столь неожиданному итогу.
В частности, они отметили, что участвовавшие в исследовании программисты работали с этими репозиториями пять лет. За это время они хорошо узнали их структуру и характерные проблемы. ИИ, напротив, особенностей работы этих репозиториев не знали. Кроме того, ответственность при работе с такими репозиториями очень велика, поскольку любая ошибка будет иметь длительные последствия, часто неприятные для программиста. И если в разработке коммерческого ПО иной раз можно скрыть свою недоработку, списав на чужие ошибки, то в разработке открытого программного обеспечения принят подход серьезной личной ответственности — это заставляет программистов тщательнее выверять, что они выпускают.
И все же основной причиной медленного выполнения задач с помощью нейросетей были их реальные проблемы, а не особенности эксперимента. Анализ экранного времени показал, что хотя время на, собственно, написания кода, отладку/дебаггинг или чтение и поиск информации у разработчиков упало, другие времязатраты это более чем компенсировали. Сначала разработчикам пришлось долго вычитывать написанный ИИ код, затем предлагать ИИ поправить найденные ошибки, затем ждать, пока все это происходит.
Выросло также время, когда на экране ничего не происходило: то есть программисты в период работы с нейросетью меньшую долю времени активно трудились. Без каких-либо правок оказалось возможным задействовать только 44% кода, написанного ИИ, и 9% всего времени разработчиков ушло на внесение в этот код изменений, с которыми он бы заработал нормально.
То, что новое исследование противоречит бенчмаркам, неудивительно: те очень часто измеряют продуктивность в количествах строк кода или же по небольшим, дискретным задачам, законченным в тот или иной промежуток времени. Между тем в работе над реальными проектами много времени занимают и другие процессы: тщательная (в отличие от экспериментов) проверка адекватности кода при самых неожиданных ситуациях, а также интеграция частных «кусков» процесса разработки в единое целое.
Авторы статьи предположили, что уже в скором времени нейросети смогут спрогрессировать достаточно, чтобы не замедлять работу программистов. Но так это или нет, определенно покажет только будущее. То, что сами программисты, участвовавшие в эксперименте, даже по его окончании не могли понять, что ИИ замедлил их, а не ускорил, говорит: оценить ситуацию объективно непросто. Всеобщий энтузиазм по поводу нейросетей, по всей видимости, заставляет многих систематически переоценивать возможности этих помощников.
Telegram 
Дзен 
VK Исследователи выяснили, что гипотеза о «рептильном мозге», поверх которого во время эволюции якобы наслоились более разумные отделы, оказалась ошибочной. Эволюция не наращивала новые слои нейронов один за другим, а постоянно перераспределяла мозговые ресурсы между двумя разными типами межнейронных связей.
Ученые создали математическую модель, которая показала вероятную гибель древнего спутника Венеры из-за гравитационных сил. Теоретическое исследование предлагает один из сценариев развития Солнечной системы, чтобы понять причины кардинальных различий в эволюции Земли и ее соседки.
Ученые из МФТИ и ИППИ РАН выяснили, что у квантовых полей вблизи черных дыр (или ускоренно расширяющейся Вселенной) есть «порог нагрева». До этого порога чем выше температура, тем быстрее поле «забывает» свое прошлое. А выше порога нагрев уже не помогает: скорость забывания становится постоянной и определяется не температурой, а самой формой пространства (например, размером горизонта).
Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.
Группа российских исследователей, в которую вошли океанологи Санкт-Петербургского университета, выявила существование ранее неизвестных механизмов распространения «волн Россби». В ходе работы им удалось зафиксировать точки, где перенос энергии прекращается, а траектории движения воды претерпевают изменения. Дополнительно ученые обнаружили асимметрию в динамике волновых процессов, зарождающихся у западных и восточных прибрежных течений.
Международная группа физиков зафиксировала под землей в США аномальный всплеск энергии, похожий на прямое столкновение невидимой частицы темной материи с обычным веществом. Подземные датчики поймали сигнал, который не удалось списать ни на один из известных науке видов радиации или фоновых помех.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.
После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии