2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半
9070点击    2026-11-17 10:05

11 月 11 日,AI Engineer Code Summit(AIE CODE 2026)第二天,Google DeepMind 的技术员工(MTS)Philipp Schmid 上台,讲的不是新模型,而是他自己的一个习惯:大约每半年,他把自己的编程 agent 从零重写一遍,每次都问同一个问题:这套东西里,模型现在还需要多少?


今年这一次,他把 16 个工具的编程 agent 删到了只剩一个 Bash,外加一个看图工具;系统提示词加工具定义,从 1.24 万 token 降到 574 token。


结论先说:他拿 350 多个任务(编程、终端、办公类)测了四套 agent 外壳(harness,围在模型外面的那层:工具、规则、提示词),得分在 69.4% 到 74.9% 之间;成本却差得多:Bash 加看图工具那套每个任务 2.33 美元、缓存命中率 89%,另外三套是 3.01 到 5.33 美元、72% 到 84%。 三个要点:


1. 分数看不出差别,账单看得出。 同一个 Gemini 4 Argon,四套外壳每个任务用的 token 从 382 万到 530 万,差 39%。


2. 模型越强,Bash 越划算。 6 个小任务里,Gemini 4 Carbon 只用 Bash 比用默认工具少 1.4 到 3.0 倍 token;半年前的 3.5 Flash 是 0.95 到 1.7 倍。原因是 Carbon 一次 Bash 调用平均串 2.2 到 3.7 条命令,Flash 只有 1.3 到 1.8 条。


3. 开发者该做的事:在模型替你删之前,自己先删。 他的原话:给模型一台电脑,不是一个工具箱。


他是谁


Philipp Schmid,X 上叫 @_philschmid,约 12.7 万粉丝,在德国纽伦堡。简介写的是「Agents & Gemini API,MTS @GoogleDeepMind」,之前是 Hugging Face 的技术负责人、AWS 机器学习英雄。他有自己的博客 philschmid.de,写的几乎都是亲手做过的实验。


这场演讲里他不讲公司,讲的是他个人的一个固定动作:每隔大约六个月,从头写一个编程 agent 外壳,然后问自己,哪些是模型已经不需要的负担。 这次他带来的是做完这个实验的全部过程:工具怎么删、删完的 Bash 工具长什么样、拿什么测、测出什么。


一、先看一个任务:10 轮对 2 轮


他用一个具体任务开场:让模型把函数 charge_customer 的参数 amount 改名为 amount_cents,并更新所有调用方。两条路:


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

同一个改名任务:路径 A 用文件工具走 10 轮,路径 B 只用 Bash 走 2 轮。来源:AIE CODE 2026 直播


• 路径 A,文件工具,10 轮。 先 grep 找到 4 处匹配,再把 billing.py(52 行)、checkout.py(61 行)、retry_payment.py(47 行)逐个读一遍,然后一个文件一次 edit,共 4 次,最后一轮跑 ruff check && pyright && pytest,再一轮给最终回答。每一轮都要把前面的上下文重发一遍,累计约 6 万输入 token。


• 路径 B,Bash,2 轮。 第 1 轮写一段内联 Python:一个字典,键是文件名,值是「旧字符串、新字符串、预期出现次数」;对每个文件先 assert text.count(old) == n,次数对不上就报错退出,对上了才替换写回;脚本后面接着 ruff、pyright、pytest。第 2 轮给最终回答。约 7000 输入 token。


幻灯片上标了这是示意例子,token 数是估算;他的说法是:左边约需 10 轮,右边 2 轮,左边的 token 大约是右边的 10 倍,两边最后做成的是同一件事。


为什么模型会这样选?他讲的是后训练(在基础模型之后继续训练)的流程:一个任务、一个模型、一组工具、一个运行环境、一个打分的验证器。模型自己试着解题、调用各种工具,再按验证器给的分数更新。没人告诉模型该用哪个工具,它只收到分数。 所以你给它的工具越花哨,它越可能是在绕路。


二、他的重写:从 16 个工具、一堆规则,到 1 个工具


起点:2025 年的编程 agent


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

2025 年的编程 agent:16 个工具和系统提示词里的规则。来源:AIE CODE 2026 直播


幻灯片上列出了这 16 个工具:Task、Bash、BashOutput、KillBash、Glob、Grep、LS、Read、Edit、MultiEdit、Write、NotebookEdit、WebFetch、WebSearch、TodoWrite、ExitPlanMode。系统提示词里是一条条「必须」:


• 必须避免用 find 和 grep,改用 Grep、Glob 或 Task 来搜索;


• 必须避免用 cat、head、tail、ls 读文件,改用 Read 和 LS;


• 要非常频繁地使用这些工具来记录任务进度;


• 回答必须简洁,少于 4 行。


他说,这套确实管用。他把自己重写的几个版本也放在了一页上:幻灯片标注 2025 年 2 月是固定 4 步的工作流(查询、搜索、反思、回答,顺序由代码决定);2025 年 10 月是 10 多个工具加 6 个 MCP 服务器,仅工具定义就占 4.7 万 token;2025 年 12 月是约 10 个工具的编程 agent,读、改、搜、跑命令各一个;这一次是 1 个工具,第 0 轮 token 数不到 600。每一次,模型吃掉了一层:固定顺序、规划和待办清单、检索、最后是文件和搜索工具。


终点:只剩一个 Bash


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

只剩一个工具的 agent:提示进来,模型决定下一步,发命令给 Bash,输出回到模型,直到给出答案。来源:AIE CODE 2026 直播


这个工具的完整定义就在幻灯片右边,一共这么多:


• 名字:bash。


• 说明:在当前工作区里执行一条命令;每次调用都是一个干净的子 shell,从工作目录起步;命令跑过 120 秒还没结束,就转到后台继续跑,这次调用返回它的进程号和日志路径;用 tail 看日志,用 kill 停掉;输出只保留前 400 行和后 400 行,完整输出另存成文件。


• 参数:command(要执行的命令)、description(一句话说明,方便界面上给人看模型在做什么)、async_after_ms(默认 120000 毫秒,超过就转后台)。必填的是前两个。


「读、搜、改、测都只是命令」,幻灯片上这样写;沙盒里装着 cat、sed、rg、python、git、pytest、curl,以及其他 agent。


长时间运行的任务怎么处理,他在演讲里说得很具体:命令超过设定的毫秒数,工具调用先返回,模型拿到一个本地文件句柄,之后可以回来查进程是否还在跑;做网页开发时特别有用,日志写进文件,模型自己去读。


子 agent、后台任务、记忆:全是 Bash 加文件


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

三个被删掉的专用工具,各自的替代写法。来源:AIE CODE 2026 直播


被删掉的工具,替代办法就是这三块终端:


• 长时间任务:pnpm build 跑过 120 秒,返回「后台运行,pid 4182,日志 .ga/tasks/bash-6a74.log」,模型之后用 tail -n 20 去读日志。


• 子 agent:他的 agent 本身是命令行程序,所以模型直接用 Bash 调用自己,幻灯片里是 ga run "Review src/auth for race conditions" > notes/review.md,同样转到后台,跑完再 cat notes/review.md 取结果。他的话是:agent 可以调用它自己,没必要再做子 agent 工具。


• 计划和记忆:用 cat >> notes/plan.md 往 Markdown 文件里追加待办(- [x] reproduce the bug、- [ ] fix tax rounding),要看进度就 cat notes/plan.md。模型靠文件系统记自己的活,不需要专门的规划和记忆工具。


系统提示词:从 1.24 万到 574 token


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

每个点约 100 token:系统提示词加工具定义的长度。来源:AIE CODE 2026 直播


他数了几个 agent 在读用户的话之前要先读多少 token(系统提示词加工具定义,用的是公开的提示词和本机安装的版本):


• 2025 年中的编程 agent:工具数:16;token:1.24 万


• 开源编程 agent(2026):工具数:8;token:8,500


• 厂商自家的编程命令行(2026,提示词按自家模型调过):工具数:5;token:3,000


• 极简编程 agent(2026):工具数:4;token:1,000


• 他的单工具 agent:Bash 加看图:工具数:2;token:574


他的问题是:过去需要写进提示词的那些信息,有多少现在已经成了模型自己的一部分?


唯一删不掉的:看图


Bash 读不了图。他的原话是:你没法 cat screenshot.png,它会返回一堆二进制,占满上下文,模型也看不到那张图。所以他补了一个 view_media 工具,把图片以模型看得见的方式交回去。最终这套外壳只有两个工具:bash 和 view_media。


三、怎么量:先看一条轨迹,再看 350 多个任务


删完以后,他要回答的是:删对了吗?他做了两层测试。


第一层:同一个任务,逐次调用对比


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

每一列是一次模型调用,每个方块是一次工具调用或一条串起来的 shell 命令;颜色分读、搜、改、测试/lint/类型检查、待办、其他 shell。来源:AIE CODE 2026 直播


任务来自 DeepSWE 1.1 评测:给开源库 aiomonitor 加功能,需求原文是「aiomonitor 缺少随时间抓取和对比任务状态的能力,给 Monitor 加快照,加一组快照命令行、网页接口和一个 /snapshots 页面」。模型是 Gemini 4 Carbon,思考档位中等,两次都通过。


• 8 个结构化工具(读、改、grep、待办等):47 次模型调用,420 万 token。开头一排蓝色是并行读文件,接着是一长串橙色的编辑,一次改一个文件,中间夹着待办清单的更新(红色),最后是测试和 lint(绿色)。


• 只有 Bash:18 次调用,170 万 token。


他特别指出的细节:读文件阶段,模型会并行去读;一到改代码,它就一轮改一处,一轮又一轮,又慢又贵。


第二层:350 多个任务,四套外壳


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

Gemini 4 Argon,350 多个任务,覆盖编程、终端和办公类工作,得分是三个评测集的平均。来源:AIE CODE 2026 直播


他自己攒了一套评测集,约 350 个任务,覆盖编程、知识工作和终端命令,用 Gemini 4 Argon 跑,对比四套外壳:


• Bash 加看图:工具:bash、view_media;得分:72.7%;每任务 token:382 万;对比基线:1.0 倍(基线);缓存命中率:89%;每任务美元:2.33


• 只有 Bash:工具:bash;得分:74.9%;每任务 token:530 万;对比基线:1.39 倍;缓存命中率:72%;每任务美元:5.33


• 结构化工具 A:工具:8 个文件工具;得分:69.4%;每任务 token:519 万;对比基线:1.36 倍;缓存命中率:76%;每任务美元:4.68


• 结构化工具 B:工具:7 个文件工具;得分:72.7%;每任务 token:501 万;对比基线:1.31 倍;缓存命中率:84%;每任务美元:3.01


得分看着差不多,有一点波动。他自己说,每个任务只跑了一次,这点差距可能只是噪声,要下结论还得每套外壳多跑几次。


token 和美元那几栏画面就变了:以 Bash 加看图为基线,另外三套每个任务贵 1.3 到 2.3 倍,他口头的说法是「几乎便宜两倍」。缓存命中率也是这套最高,89%。后面压轴页把这个差距概括成两个数:同一套只用 Bash 的外壳,Argon 换成 Carbon,每任务 token 少 34%;同一个模型,最重的外壳比最轻的多用 39%。


他由此提醒:如果你只看得分,就看不出来。 现在的模型很强,外壳复杂它也能想办法绕过去把活干完,得分一样,只是多花几轮、多烧 token。


四、更强的模型,一次调用串更多命令


为了让人看见差别,他现场放了录屏。用的是 Pi 这个很容易自定义工具集的 harness,同一段提示,四条并排:3.5 Flash 默认工具、3.5 Flash 只给 Bash、Carbon 默认工具、Carbon 只给 Bash。提示词是改 charge_customer 的参数名并更新所有调用方和测试,调用方要传 order.total_cents 和 job.amount_cents,不要用已弃用的别名,要求 ruff、pyright、pytest 都通过,diff 尽量小,最后用一句话回复。时间太长,他把录屏点了加速。


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

每行是一个任务,箭头左边是默认工具,右边是只用 Bash。来源:AIE CODE 2026 直播


六个任务(改参数名、给 42 篇文档换品牌、二分定位不稳定的测试、统计日志里最多的 5xx、汇总 59 个 CSV、写事故报告)跑下来:


• Carbon:token 少 1.4 到 3.0 倍。改参数名最明显,10 次模型调用降到 6 次,6.53 万 token 降到 2.15 万。


• 3.5 Flash:改参数名 22 次调用对 22 次,11.4 万 token 对 11.3 万,几乎没变;换品牌甚至多了一点(0.95 倍);只有数据类任务能省到 1.7 倍。


• 每次 Bash 调用平均串起的命令数:Carbon 2.2 到 3.7 条,Flash 1.3 到 1.8 条。


命令串对比:同一个任务,两种走法


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

同样只给 Bash:左边 3.5 Flash 22 次模型调用、11.27 万 token;右边 Carbon 7 次模型调用、2.89 万 token。来源:AIE CODE 2026 直播


左边是 3.5 Flash,21 次 Bash 调用,31 条命令,平均每次 1.5 条:


• 先 git status、rg "charge_customer",再 pytest && ruff check && pyright 先跑一遍;


• 然后一个文件一个文件地 cat(billing.py、client.py、checkout.py、retry_payment.py),一次一件事;


• 改文件是每个文件一次 python3 -c,共 4 次(第 10 到 13 次调用);


• 收尾时反复 git diff、find . -name "__pycache__" -exec rm -rf {} +、再跑一遍 pytest && ruff check && pyright,清缓存做了两次,整套检查前后共跑了三次。


右边是 Carbon,6 次 Bash 调用,13 条命令,平均每次 2.2 条:


• 第 1 次:rg "charge_customer" 加 find . -maxdepth 4,一次两条,先摸清范围;


• 第 2 次:head -n 100 一次扫 pyproject.toml 和所有 .py 文件的开头;


• 第 3 次:一段内联 Python,里面定义了一个 replace_in_file(路径, 旧, 新) 函数,函数里 assert old in text,找不到就报错;然后对 4 个文件各调用一次,最后在同一次调用里接着 git diff && ruff check && pyright && pytest,一次 5 条命令;


• 第 4 到 6 次:git status --short、git status && ls -la、ruff check src tests && pyright src tests,收尾检查。


他在演讲里说得更直白:默认工具下 Carbon 已经会并行调用,用更少的调用;换成只给 Bash,它写一段 Python 脚本,一次把所有改动做完。读文件也变聪明了:不再把每个文件读完,而是用 ripgrep 先找到该改的地方,再一次动手。Flash 不一样,它把 Bash 当成「一轮一条命令」用,所以读一次、写一次,有没有专用的读写工具对它没区别。


他的总结:模型越强,越能在一次调用里串起多条命令,Bash 带来的好处就越大。 这也是为什么同样的做法,对半年前的模型没有省多少。


五、他在博客里补上的话


演讲之外,他 9 月 1 日在 X 上发了一句「又一个苦涩的教训要来了」(Another Bitter Lesson is coming),配的博客叫《基础模型怎么在 Bash 上变得超人》。里面有他从轨迹里挑的三个例子:


• 多文件重命名:一段 Python 先数每个要改的片段,数目不对就直接退出、不写;再改 4 个文件,跑 ruff、pyright 和相关测试,最后打印一份精简的 diff。


• 不稳定回归的二分定位:脚本开一个临时 git worktree,不动本地仓库;每个提交跑 5 个随机种子,失败少于 3 次才算好,免得被一次偶发失败带偏。


• 压缩生产日志:Python 把轮转的 gzip 日志流进 SQLite,让数据库做关联、P95 延迟排序和错误分类,最后只有 5 条 JSON 摘要进模型。


他在这篇里也说了一句诚实话:几个月前,他自己还主张用健壮的原子工具,别让模型直接用 cat、sed、echo,因为 shell 会淹没上下文、报错不清楚、引号出错会改坏文件。他说这些限制至今仍然成立,但现在的模型能把小补丁、Git 命令和测试组合得足够好,所以关键变成了:harness 要把原子工具以前提供的保护,换个方式补上,包括输出截断、退出码和超时、路径和网络的限制放在模型之外、长进程的启动和停止。这和上面那个 Bash 工具的定义对得上:输出前后各留 400 行、完整内容存文件、超时转后台,都是在补这些保护。


文末他写的一句话是:目标是更小的接口,更大的行动空间。


六、他押的下一步:半年后再来一次


2026硅谷AIE大会:DeepMind 工程师把 agent 删到只剩 Bash,350 多个任务分数差不到 6 分、成本近乎减半

换更好的模型,每任务 token 少 34%(同一套只用 Bash 的外壳,Argon 到 Carbon);换更重的外壳,多 39%(同一个模型,最重对最轻)。来源:AIE CODE 2026 直播


演讲最后,他没有说「到此为止」,而是给了下一次重写的方向。


• 模型会继续吃掉 harness。 他认为 2027 年会更多地比较「解决一个任务要多少 token」。从 Argon 到 Carbon,更好的模型每个任务用的 token 更少,这对大家都是好事,因为就可以用得更多。


• 要把 token 效率纳入评测。 因为现在的模型太强了,准确率上,外壳看起来都一样;外壳复杂,模型会绕过去,只是多花几轮。


• 下一轮可能是代码模式。 他注意到,社交媒体和业界正在慢慢往一个方向走:不写 Bash 命令,而是直接写 TypeScript 或 Python。他说自己是 MCP 的忠实拥趸,MCP 现在可以返回结构化输出,模型能写出更好的脚本,一次做更多动作;另外 Bash 调用很难看懂,要做安全审查,不如在 TypeScript 这样的抽象层里看每条命令。最后一页幻灯片的写法是:文件和进程继续用 bash,其他一切用 exec(code);工具有输入输出的类型定义,代码才能把结果串起来;密钥和策略留在宿主机上,不放进沙盒。示例是一段 TypeScript:列出所有 Linear 项目,并行取出各项目的工单,筛出没人认领的,并行归档,只有最后一行「归档了 N 个工单」进入模型上下文。他 11 月 1 日的博客标题就是《为什么 agent 很快就只会有一个工具》,11 月 2 日他在 X 上预测 MCP 会在 2027 年重新变强。


最后他给听众的三条话:


1. 在模型替你删之前,自己先删掉自己的代码。


2. 给模型一台电脑,不是一个工具箱。


3. 每次有新模型发布,想得更大胆一点:如果把整套 harness 拿掉,只给一个工具,会怎样?


对读者的意思


Philipp 这个项目没有新算法,也没有大数据,做的是一件很朴素的事:把自己写的东西,一件一件拿掉,再量一次。16 个工具换成一个 Bash 加一个看图工具,提示词从 1.24 万 token 缩到 574,350 多个任务得分差不到 6 分,每任务成本 2.33 美元对 3.01 到 5.33 美元。


对做 agent 的人,这是一个能马上照着做的检查:


• 别只盯得分。 把每个任务的 token 数、调用次数、缓存命中率和美元数放在得分旁边。他的表里,缓存命中率最高的那套也是最便宜的。


• 每次换新模型,就问一次:这个工具,模型还需要吗? 他的做法是每半年从零重写一次,量完再决定留什么。


• 删工具的同时补保护。 输出截断、超时转后台、命令前先断言,这些是 Bash 工具替代专用工具时必须自己带上的。


• 要诚实地看数据。 他自己说每个任务只跑了一次,分数的差别可能是噪声;他的结论是「成本明显更低」,不是「一定更准」。


• 直播回放(从 2:18:55 开始):https://www.youtube.com/watch?v=ZZ19zhYnDKY&t=8335s


• 博客《How Foundational Models Became Superhuman in Bash》(2026-09-01):https://www.philschmid.de/superhuman-bash


• 博客《Why Agents Are Soon Only Going to Have 1 Tool》(2026-11-01):https://www.philschmid.de/code-mode


• 推文:https://x.com/_philschmid/status/2094799789636407564 ;https://x.com/_philschmid/status/2117278154918092817


文章来自于"郎瀚威 Will",作者 "郎瀚威 Will"。

AI转型,免费服务,就找AITNT