不靠Agent，4步修复真Bug！蚂蚁CGM登顶SWE-Bench开源榜
不靠Agent，4步修复真Bug！蚂蚁CGM登顶SWE-Bench开源榜Agentless+开源模型，也能高质量完成仓库级代码修复任务，效果媲美业界 SOTA 。
来自主题: AI技术研报
8191 点击 2025-06-27 16:30
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Agentless+开源模型，也能高质量完成仓库级代码修复任务，效果媲美业界 SOTA 。
长期以来主流的代码修复评测基准SWE-bench面临数据过时、覆盖面窄、手动维护成本高等问题，严重制约了AI模型真实能力的展现。
昨天深夜，月之暗面发布了开源代码模型Kimi-Dev-72B。这个模型在软件工程任务基准测试SWE-bench Verified上取得了60.4%的成绩，创下开源模型新纪录，超越了包括DeepSeek在内的多个竞争对手。
深夜，沉寂已久的Kimi突然发布了新模型—— 开源代码模型Kimi-Dev，在SWE-bench Verified上以60.4%的成绩取得开源SOTA。
Test time scaling范式蓬勃发展。推理模型持续快速改进，变得更为高效且价格更为亲民。在评估现实世界软件工程任务（如 SWE-Bench）时，模型以更低的成本取得了更高的分数。以下是显示模型变得更便宜且更优秀的图表。
随着 AI 能力的提升，一个常见的话题便是基准不够用了——一个新出现的基准用不了多久时间就会饱和，比如 Replit CEO Amjad Masad 就预计 2023 年 10 月提出的编程基准 SWE-bench 将在 2027 年饱和。
解决真实GitHub Issue的基准测试，字节家的豆包MarsCode Agent悄悄登顶了。SWE-Bench，一个由普林斯顿大学提出的极具挑战性的Benchmark，近期受到工业界、学术界和创业团队的广泛关注。
一直以来，大模型的编程能力都备受关注，超强 AI 程序员 Devin 的问世更是将「AI 能否替代程序员」这一话题推上了风口浪尖。最近，Devin 也迎来了新对手 —— 初创公司 Cosine 推出的自主 AI 程序员 Genie。该公司表示，Genie 的表现轻松超越了 Devin，在第三方基准测试 SWE-bench 上的得分为 30%，而 Devin 的得分仅为 13.8%。
Strawberry 的所有炒作都结束了。
自从 Devin（首个全自动 AI 软件工程师）提出以来，针对软件工程的 AI Agent 的设计成为研究的焦点，越来越多基于 Agent 的 AI 自动软件工程师被提出，并在 SWE-bench 数据集上取得了不俗的表现、自动修复了许多真实的 GitHub issue。