AI资讯新闻榜单内容搜索-SWE-bench

关键词: AI新闻,模型测试,benchmark,AI测试

SWE-Bench 的创建者，刚刚又放出了一个地狱级新 benchmark。

关键词: AI新闻,ProgramBench,AI测试,模型测试

SWE-Bench上能拿72%的模型，换张考卷直接归零！Meta联合斯坦福、哈佛放出ProgramBench，200个项目从零手写，9大顶级模型完整通过率0%。最强的Claude Opus 4.7平均通过率也才51.2%。更离谱的是一联网，就有模型在36%的任务里跑去GitHub扒源码。

关键词: AI新闻,AI作弊,SWE-bench,WebArena,模型训练,Meerkat

伯克利团队归纳出7种反复出现的模式：智能体和评测程序共享运行环境、标准答案暴露给被测系统、对不可信输入调用eval()、LLM裁判缺乏输入过滤、字符串匹配过于宽松、评分逻辑本身有bug、以及评测程序信任被测系统产生的输出。

关键词: AI新闻,GLM-5.1,GLM-5.1开源,智谱

今天，智谱正式开源其最强模型GLM-5.1，这一模型在专业软件开发基准测试SWE-Bench Pro中，GLM-5.1刷新全球最佳成绩，得分达到58.4，超过了GPT-5.4、Claude Opus 4.6等已经正式发布的闭源模型，和MiniMax M2.7、Kimi K2.5等开源模型。

关键词: AI新闻,SWE-Bench,CursorBench,AI编程测试基准,编程测试基准

编程智能体时代，顶流Cursor举旗发布新的评测基准——CursorBench，专门评价Cursor中不同模型谁更“智能体”（即高效执行复杂任务）。关于咋评的这个问题，Cursor还专门撰写了一篇博客。

关键词: AI,模型训练,Test-Driven,人工智能

在 Princeton 发布 SWE-Bench 之后，用真实世界代码仓库+可执行测试评测大模型软件工程能力，几乎已成为学术界与工业界的共识。围绕 SWE issue 的评测范式迅速发展，也催生了一系列 SWE 系列 benchmark，在刻画模型 bug 修复能力方面发挥了重要作用。

关键词: AI新闻,DeepSeek V4,DeepSeek,人工智能

DeepSeek V4，据说明天就要上线了？这是首个匹敌顶尖闭源模型的开源模型，被网友评为「一鲸落万物生」。泄露的基准测试显示，它在SWE-bench Verified上取得了83.7%，已经超越Opus 4.5和GPT-5.2！

关键词: AI新闻,Qwen3-Coder-Next,阿里AI,人工智能

个人电脑也能跑出顶级编程智能体？今日凌晨，阿里开源了一款小型混合专家模型Qwen3-Coder-Next，专为编程智能体（Agent）和本地开发打造。该模型总参数80B，激活参数仅3B，在权威基准SWE-Bench Verified上实现了超70%的问题解决率，性能媲美激活参数规模大10-20倍的稠密模型。

关键词: AI新闻,Coding Agent,Coding Agent评测,人工智能

今天是一期硬核的话题讨论： Coding Agent 评测。 AI 编程能力进步飞速，在国外御三家和国产中厂四杰的努力下，AI 编程基准 SWE-bench 的分数从年初的 30% 硬生生拉到了年底的

关键词: AI新闻, IQuest-Coder-V1,IQuest-Coder,九坤投资,开源模型 ,Jian Yang,Zhengmao Ye

又一个中国新模型被推到聚光灯下，刷屏国内外科技圈。IQuest-Coder-V1模型系列，看起来真的很牛。在最新版SWE-Bench Verified榜单中，40B参数版本的IQuest-Coder取得了81.4%的成绩，这个成绩甚至超过了Claude Opus-4.5和GPT-5.2（这俩模型没有官方资料，但外界普遍猜测参数规模在千亿-万亿级）。