Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейросети замедлили работу программистов, а не помогли ускорить ее
Даже опытные программисты считали, что использование нейросети для написания кода экономит им время. Однако, когда исследователи проверили это на задачах из реального мира, выяснилось, что разработчики ошибаются. В действительности применение ИИ увеличило время, необходимое для реализации проектов.
В нашу эпоху ИИ чаще всего называют «нейросети». Хотя Naked Science отмечал, что в действительности слово «интеллект» в названии таких ИИ не отражает реального положения вещей и что такие системы на самом деле «китайские комнаты», общий энтузиазм по поводу их возможностей привел к широкому использованию таких систем в написании кода. Причем большинство специальных тестов (бенчмарков) уже некоторое время показывают, что это экономит время разработчиков.
Исследователи из некоммерческой исследовательской организации Model Evaluation & Threat Research решили выяснить, так ли это в случае реальных задач, а не специально сконструированных бенчмарков. Для этого к эксперименту привлекли 16 разработчиков программного обеспечения для опенсорсных репозиториев. Такие репозитории требуют регулярного поддержания: исправления багов, внедрения новых черт и так далее.
Затем исследователи поручили половину из 246 таких задач выполнять с помощью специализированных нейросетей-кодеров: Cursor Pro или Claude 3.5/3.7 Sonnet от Anthropic. Хотя они не так на слуху, как ChatGPT, в мире программистов эти системы оценивают достаточно высоко, разработчики исходно «затачивали» их во многом под написание кода. Другая половина задач выполнялась без привлечения таких систем.
Перед тем как разделить задачи, для них сделали прогноз времени, нужного для выполнения. Что важно, время по обработке запросов на включение тех или иных изменений из ветки разрабатываемого ПО в основную ветку ПО (уже стабильно работающую) было включено в общую оценку времени на разработку.
Перед работой программистов попросили оценить, насколько сократится время на выполнение задач из-за использования ИИ. Средняя оценка была 24%. После выполнения задачи разработчики изменили ее: по их мнению, его использование снизило время на выполнение задач только на 20%.
А вот исследователи, отслеживавшие реальные траты времени с помощью записи происходящего на экранах разработчиков, выявили совсем другие показатели. При использовании нейросетей они выполняли задачи на 19% медленнее, чем это делалось при программировании «вручную». Авторы научной работы, опубликованной на сервере препринтов Корнеллского университета, начали искать объяснение столь неожиданному итогу.
В частности, они отметили, что участвовавшие в исследовании программисты работали с этими репозиториями пять лет. За это время они хорошо узнали их структуру и характерные проблемы. ИИ, напротив, особенностей работы этих репозиториев не знали. Кроме того, ответственность при работе с такими репозиториями очень велика, поскольку любая ошибка будет иметь длительные последствия, часто неприятные для программиста. И если в разработке коммерческого ПО иной раз можно скрыть свою недоработку, списав на чужие ошибки, то в разработке открытого программного обеспечения принят подход серьезной личной ответственности — это заставляет программистов тщательнее выверять, что они выпускают.
И все же основной причиной медленного выполнения задач с помощью нейросетей были их реальные проблемы, а не особенности эксперимента. Анализ экранного времени показал, что хотя время на, собственно, написания кода, отладку/дебаггинг или чтение и поиск информации у разработчиков упало, другие времязатраты это более чем компенсировали. Сначала разработчикам пришлось долго вычитывать написанный ИИ код, затем предлагать ИИ поправить найденные ошибки, затем ждать, пока все это происходит.
Выросло также время, когда на экране ничего не происходило: то есть программисты в период работы с нейросетью меньшую долю времени активно трудились. Без каких-либо правок оказалось возможным задействовать только 44% кода, написанного ИИ, и 9% всего времени разработчиков ушло на внесение в этот код изменений, с которыми он бы заработал нормально.
То, что новое исследование противоречит бенчмаркам, неудивительно: те очень часто измеряют продуктивность в количествах строк кода или же по небольшим, дискретным задачам, законченным в тот или иной промежуток времени. Между тем в работе над реальными проектами много времени занимают и другие процессы: тщательная (в отличие от экспериментов) проверка адекватности кода при самых неожиданных ситуациях, а также интеграция частных «кусков» процесса разработки в единое целое.
Авторы статьи предположили, что уже в скором времени нейросети смогут спрогрессировать достаточно, чтобы не замедлять работу программистов. Но так это или нет, определенно покажет только будущее. То, что сами программисты, участвовавшие в эксперименте, даже по его окончании не могли понять, что ИИ замедлил их, а не ускорил, говорит: оценить ситуацию объективно непросто. Всеобщий энтузиазм по поводу нейросетей, по всей видимости, заставляет многих систематически переоценивать возможности этих помощников.
Telegram 
Дзен 
VK Антропологи попробовали выяснить, насколько пиво и вина связаны со становлением цивилизации. По их мнению, влияние скорее положительное, однако некоторые тезисы в этой же научной работе ставят такую связь под сомнение.
До сих пор считалось, что Земля расположена слишком далеко от «снеговой линии» в Солнечной системе, где вода могла стабильно сохраняться на этапе формирования планет в газопылевом диске. Отсюда предположение, что Мировой океан — результат прибытия множества ледяных небесных тел из дальних окраин системы. Теперь выясняется, что в этой массированной кометной бомбардировке не было необходимости.
Используя образцы, собранные миссией «Чанъэ-5», китайские ученые нашли способ извлекать воду из лунного грунта и перерабатывать выдыхаемый астронавтами углекислый газ. Это делается за счет небольшого устройства, работающего на солнечной энергии. Авторы нового исследования уверены: в будущем их прибор сможет обеспечить лунные поселения водой, кислородом и топливом.
Лето 2025 обещает насыщенную линейку научно-фантастических сериалов на ведущих стриминговых платформах. От адаптаций культовых романов до масштабных космических одиссей — мы отобрали проекты, на которые стоит обратить внимание.
В Институте искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ предложили новый подход, основанный на современных методах машинного обучения, для определения генетического происхождения человека. Графовые нейросети позволяют с высокой точностью различать даже очень близкие популяции.
Международная команда ученых оценила связь между длительностью физической активности, ее интенсивностью, риском смерти от всех причин и вероятностью развития сердечно-сосудистых и онкологических заболеваний.
Группа российских ученых из Института прикладной математики имени М. В. Келдыша РАН и МФТИ провела детальное численное исследование источников шума, генерируемых крылом прототипа сверхзвукового бизнес-джета в режиме посадки. Эта работа, сочетающая передовые методы вычислительной гидродинамики и аэроакустики, впервые позволила с высокой точностью локализовать и охарактеризовать основные зоны шумообразования вблизи полноразмерной геометрии крыла модели прототипа сверхзвукового пассажирского самолета в посадочной конфигурации.
Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.
Лето 2025 обещает насыщенную линейку научно-фантастических сериалов на ведущих стриминговых платформах. От адаптаций культовых романов до масштабных космических одиссей — мы отобрали проекты, на которые стоит обратить внимание.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии