Исследование Microsoft показало, что ИИ пока «так себе» исправляет ошибки в прог...

Исследование Microsoft показало, что ИИ пока «так себе» исправляет ошибки в программном коде

Новое исследование подразделения Microsoft Research выявило, что несмотря на то, что ИИ помогает разработчикам в написании кода, даже передовые модели OpenAI (o1) и Anthropic (Claude 3.7 Sonnet) справляются с исправлением ошибок не более чем в половине случаев.

Тестирование проводилось на базе лучшего бенчмарка SWE-bench, который измеряет умение ИИ-систем создавать программный код. Источник изображения: сгенерировано AI источник

#Microsoft_Research #OpenAI