Harness，才是Agent时代统管一切的基座｜交大综述解读Memory、Skills、Protocols

2026年再看Agent，一个越来越难回避的事实是：能力正在从模型里流到模型外。真正决定系统上限的，不再只是参数、Prompt和tool calling，而是记忆、技能、协议以及统摄这一切的harness。上海交大这篇综述最有价值的地方，就在于它把这件事从零散经验上升成了一个完整框架：为什么外化会发生，它如何改变任务本身，以及为什么harness正在变成Agent时代真正的基座。

本文将为您深度拆解这篇来自SJTU的重磅论文。我将以层次分明的结构，带您看清Harness是如何作为Agent时代的基座，将强大的模型算力转化为稳定、可控的工程生产力的。

核心理论支撑：认知制品与任务重塑

研究者借用了认知科学家唐纳德·诺曼（Donald A. Norman）提出的“认知制品（Cognitive Artifacts）”概念。外部工具的出现并没有改变人类原有的生理能力，而是直接改变了任务本身的性质。

• 人类文明的映射：正如文字将脆弱的生物记忆外化为物质记录，计算机器将算术劳动外化为可编程的指令。
• 智能体的映射：LLM智能体同样在经历这一过程。外部环境的介入，将困难的“回忆”任务转化为简单的“识别”任务，将“即兴生成”转化为“结构化组合”。

论文用一张总览图把“人类认知外化史”与“LLM智能体外化路径”并置起来，说明能力如何从权重、上下文一路迁移到记忆、技能、协议与harness。

能力重心的三次外移

研究者观察到，LLM智能体的发展经历了一条清晰的能力外移路线：

社区研究重心沿着Weights、Context、Harness三层持续外移，工具生态、协议、技能与多智能体编排逐渐成为新的中心。

• 能力在权重中（Capability in Weights）：在早期，知识、推理习惯和世界观全部压缩在模型的数十亿个参数中。这种方式的结构性短板在于难以进行局部事实的更新，也无法为特定用户进行低成本的个性化定制。
• 能力在上下文中（Capability in Context）：随后，焦点转移到了提示词设计和上下文窗口。通过检索增强生成（RAG）和思维链（CoT），开发者可以在运行时动态注入外部文档和指导。然而，上下文窗口是有限的稀缺资源，且随着会话结束，所有累积的状态都会归零。
• 能力在基础设施中（Capability through Harness）：现阶段的工程重心，转移到了模型外部的持久化基础设施上。智能体的可靠性取决于外部的记忆库、工具注册表、协议定义、沙盒隔离机制以及审批循环。

在这种宏观视角下，研究者将外化系统分为三个核心维度：记忆、技能与协议。我们将为您逐一剖析。

Harness位于中心，记忆、技能和协议围绕其组织，沙盒、可观测性、评估、审批和子智能体编排等运行时机制负责把三类外化模块接成可治理系统。

外化的状态：记忆系统（Memory）

记忆系统解决的是智能体在时间跨度上面临的连续性负担。没有记忆的模型，每一次调用都等同于一次“失忆”后的重新启动。

记忆外化不仅区分工作上下文、情景经验、语义知识和个性化记忆，还展示了从单一上下文到检索存储、分层编排和自适应记忆的架构演进。

记忆外化的四种核心内容

研究者将需要外化的状态信息细分为四个层次：

• 工作上下文（Working Context）：这是当前任务的实时中间状态。包括打开的文件、临时变量、部分完成的计划和执行检查点。它支持智能体在任务被中断后，能够从当前状态精准恢复。
• 情景经验（Episodic Experience）：记录过去实际发生的运行轨迹。涵盖决策点、工具调用过程、失败教训和反思日志。这些记录作为具体的先例，帮助智能体避免重复踩坑。
• 语义知识（Semantic Knowledge）：超越单一事件的抽象规则。包含领域事实、通用启发式规则、项目规范和稳定的世界知识。这通常以知识库或RAG语料库的形式存在。
• 个性化记忆（Personalized Memory）：记录特定用户或环境的稳定信息。涉及用户偏好、使用习惯、反复出现的约束条件等。将其独立出来，是为了让智能体能够跨会话适应用户，同时避免污染全局的通用任务知识。

记忆架构的四个演进阶段

在工程实现上，研究者梳理了记忆系统从简单到复杂的四种架构：

• 单一上下文（Monolithic Context）：将所有历史记录直接塞入提示词中。这种做法容量扩展性极差，模型在携带沉重历史负担的同时，还要消耗算力去解决当前步骤。
• 上下文结合检索存储（Context with Retrieval Storage）：目前工业界最主流的模式。只在上下文中保留近期的工作状态，而将长周期的追踪记录存储在外部，并在需要时进行检索。
• 分层记忆与编排（Hierarchical Memory and Orchestration）：将记忆视为一种受约束的资源。系统开始引入操作系统的设计理念，区分“冷热数据”，在不同层级的存储之间进行交换（Swap），并引入显式的提取、巩固和遗忘机制。
• 自适应记忆系统（Adaptive Memory Systems）：最为前沿的架构。系统架构或路由决策不再依赖固定规则，而是根据经验动态调整。例如通过强化学习更新检索策略，或者定期将碎片化经验蒸馏为轻量级的神经组件。

记忆系统的隐蔽故障模式

在讨论记忆时，我们不能仅仅关注“存了多少”，更要审视它是如何失败的。研究者极其具体地指出了记忆外化的风险陷阱：

• 陈旧失效（Stale Memories）：当外部环境已经改变，但检索出的记忆仍是旧版本时，它会向模型提供一个完全扭曲的“当前问题表征”。
• 过度抽象（Over-abstracted Memories）：为了节省空间而过度压缩的记忆，会丢失关键的操作细节，导致模型在关键决策点失去抓手。
• 记忆投毒（Poisoned/Conflicting Memories）：一旦错误的执行记录或冲突的前提条件被写入持久化存储，它就会在未来的检索中持续污染模型的推理基座。

外化的专业知识：技能系统（Skills）

反复让模型在推理过程中重新发明工作流，必然导致步骤遗漏或工具使用的随机性。因此Memory System为Agent解决了连续性问题，Skills解决的则是执行稳定性的问题。

技能被画成一条完整生命周期：从专家编写、经验蒸馏、环境发现和组合生成进入系统，再经过注册、检索、渐进式披露和执行绑定，最终在运行时落地为可复用程序。

技能的三个组成部分

研究者强调，这里的“技能”并不是指一个简单的工具API，它是一种可复用的专业知识封装。一个完整的技能包含：

• 操作程序（Operational Procedure）：任务的执行骨架。它将复杂工作拆解为具体的步骤、阶段、依赖关系以及明确的终止条件。
• 决策启发式规则（Decision Heuristics）：处理分支和异常的经验法则。当工具报错或观察结果存在噪音时，技能内部编码的默认选择、升级规则或偏好排序，能有效降低模型的决策成本。
• 规范约束（Normative Constraints）：界定行为边界的安全护栏。规定了技能在何种条件下才算被正确执行，例如前置的安全检查、过程中的权限阻断以及必须产生的验证证据。

技能的运行与调度生命周期

一个技能要真正在系统中跑起来，需要一套精密的调度流水线：

• 规范化说明（Specification）：通常以 SKILL.md 或结构化清单的形式存在，像API文档一样声明该技能的功能、适用范围、前置条件和执行约束。
• 发现与匹配（Discovery）：系统不能盲目加载所有技能。必须依靠注册表和检索机制，根据当前任务的目标和环境条件，精准匹配最合适的技能模块。
• 渐进式披露（Progressive Disclosure）：为避免信息过载，系统通常采用分层加载策略。最初只向模型暴露技能名称和简短描述；只有在确认适用时，才进一步加载详细的执行指南和异常处理细则。
• 执行绑定（Execution Binding）：技能本身只是业务逻辑描述，它必须被绑定到具体的底层工具、文件操作或子智能体上，才能产生实际的物理或数字影响。
• 组合机制（Composition）：高级能力往往由低级技能组合而成。串行执行、并行分工或条件路由的组合模式，赋予了智能体处理极高复杂度任务的基础。

技能的获取与进化路径

研究者指出，优秀的技能系统应该是具备生长能力的。技能的来源包括：

• 专家编写（Authored）：人类工程师直接提供的操作SOP文件或指导说明。
• 经验蒸馏（Distilled）：从记忆系统存储的大量交互轨迹中，提取出反复验证有效的工作模式，将其固化为新技能。
• 环境发现（Discovered）：智能体在沙盒或特定环境中自主探索，通过自我验证形成可执行的代码库或技能包。
• 组合生成（Composed）：将经过反复验证的多个现有技能模块，直接打包成一个新的高阶技能实体。

外化的交互：协议层（Protocols）

协议层解决的是智能体与其他实体（工具、人类、其他智能体）之间的协作负担。如果没有明确的契约，模型每一次发起调用都像是在玩猜谜游戏。

协议外化的四个交互维度

研究者认为，协议将模糊的自然语言推理转化为以下四个维度的确定性契约：

• 调用语法（Invocation Grammar）：消除格式猜测。协议规定了参数名称、数据类型和返回结构，模型只需要按照Schema（模式）进行“填空”。
• 生命周期语义（Lifecycle Semantics）：处理多步协同。规定了合法的状态流转、交接机制以及任务完成或失败的判定标准。
• 权限与信任边界（Permission and Trust Boundaries）：落实安全管控。将谁被授权、数据允许流向何处等约束规则转化为机器可执行的检查，不再依赖模型自身的“道德自觉”。
• 发现元数据（Discovery Metadata）：支持动态探测。通过能力卡片或注册端点，让智能体主动查询可用资源，代替了将其硬编码在提示词中的旧做法。

协议外化把自由形式交互改写成标准化契约。一方面交互形态从孤立调用走向协议化网络，另一方面harness通过 Interact、Perceive、Collaborate 三个表面管理对外互动。

主流协议生态巡礼

按照交互对象的不同，研究者对当前活跃的协议家族进行了分类：

• 智能体-工具协议（Agent-Tool Protocols）：代表性方案如Anthropic提出的MCP（模型上下文协议）。它提供了一种标准化的方式，让智能体能够跨越异构的服务发现并调用工具，解耦了特定模型与特定工具之间的绑定。
• 智能体-智能体协议（Agent-Agent Protocols）：如Google的A2A或IBM的ACP。它们标准化了智能体之间的能力发现、任务委派、进度流传输和协商机制，是构建大规模多智能体网络的基石。
• 智能体-用户协议（Agent-User Protocols）：如A2UI和AG-UI。它们专门处理智能体如何向前端用户呈现执行状态、输出UI结构以及流式事件，使得交互过程完全脱离了随意的HTML文本拼接。

统管一切的基座：Harness Engineering

如果只有记忆、技能和协议，它们依然只是一堆零散的零件。研究者提出了“运行环境工程（Harness Engineering）”的概念，这是将外化的认知模块编织成连贯代理行为的治理层。

论文把harness看作智能体的“认知环境”，其核心不是单个模块，而是记忆、技能、协议与权限、控制、可观测性六个维度的协同闭环。

运行环境设计的六个核心维度

研究者抽象出了区分一个优秀Harness架构的六个分析维度：

• 智能体循环与控制流（Agent Loop and Control Flow）：构建“感知-检索-规划-行动-观察”的时间主轴。更为关键的是，它必须实施严格的边界控制：设置最大步数、限制递归深度、设定单步成本上限和超时干预，以防止模型陷入无休止的资源消耗。
• 沙盒与执行隔离（Sandboxing and Execution Isolation）：为了控制物理和数字世界的副作用，Harness必须为智能体提供隔离的工作区。这包括独立的文件系统快照、受限的网络访问以及严格的资源配额。这既是安全防线，也是为模型排除干扰状态的认知边界。
• 人类监督与审批门控（Human Oversight and Approval Gates）：在真实业务中，完全的自治几乎不被接受。系统需要在高危动作（如修改代码、转移资金）之前设置拦截点，等待人类操作员的检查、修改或授权确认。
• 可观测性与结构化反馈（Observability and Structured Feedback）：没有痕迹的执行是无法调试的。Harness会结构化地记录每一次模型调用、工具使用和决策分支。这不仅满足了人类的安全审计需求，更是系统进行自我闭环修正的数据源泉。
• 配置、权限与策略编码（Configuration, Permissions, and Policy）：将业务的治理规则外化。系统按照用户级、项目级、组织级三个层次叠加权限策略。相同的底层智能体，在不同的策略配置下将展现出完全不同的行为边界限制。
• 上下文预算管理（Context Budget Management）：Token是系统中最稀缺的资源。Harness必须像操作系统的内存调度器一样，动态决定多少上下文留给历史总结，多少留给技能详情，多少留给接口描述。这种管理基于当前任务的阶段进行实时动态优先级驱逐。

跨模块的共生互动与未来展望

各个外化模块并不是孤立运作的。研究者在论文的后半部分，详尽阐述了模块之间相互强化的系统级动态。

模块间的闭环流动

• 从记忆到技能（经验蒸馏）：大量成功的执行轨迹（存储在记忆中）经过系统抽象，转化为可被重复加载的结构化指导（技能）。
• 从技能到记忆（执行记录）：每一次技能的执行过程、遭遇的挫折以及微调结果，都会被写入外部状态，从而让技能系统具备基于历史事实进行自我纠错的能力。
• 从技能到协议（能力调用）：技能中规划的业务逻辑，必须通过协议层的校验、解析和权限判定，才能最终转化为对物理或数字世界的真实干预。
• 从记忆到协议（策略选择）：当存在多种交互路径时，记忆系统提供的历史成功率和用户偏好，将直接影响系统路由逻辑的选择。

跨模块耦合图总结了六条关键流动路径：记忆为技能形成和协议路由提供证据，技能把经验固化为程序，协议则约束执行并把标准化结果写回记忆。

智能体演进的五大前沿趋势

随着外化逻辑的不断深入，研究者为我们描绘了智能体技术未来的发展图景：

• 向具身智能（Embodied AI）延伸：在机器人领域，这套逻辑正在重演。高层的大型语言模型充当“大脑（Cerebrum）”，负责任务分解和状态维持；而底层的视觉-语言-动作模型（VLA）则被降维成一个个外部“技能模块（小脑，Cerebellum）”，专门负责低延迟的物理抓取和位移控制。
• 自进化运行环境（Self-Evolving Harnesses）：目前很多脚手架还需要人工调优。未来，系统可以通过强化学习或程序合成技术，根据执行日志自动修复调度漏洞、调整检索粒度甚至重构执行管道。
• 收益与风险的深刻权衡：外部结构越庞大，“认知开销”就越高。过度检索会引发信息淹没，庞杂的技能库会导致模型迷失全局目标。同时，诸如记忆投毒、恶意技能注入和协议伪造等安全威胁，将随着攻击面的扩大而日益严重。
• 从私有脚手架迈向共享基础设施（Shared Infrastructure）：当多个智能体开始协作，记忆、技能和协议就不再是单个智能体的私有财产。我们将看到共享的记忆库、开源的技能包以及跨平台互通的标准协议。这引发了生态级别的学习扩散，同时也带来了更复杂的系统级治理挑战。
• 评估体系的彻底重构：传统的基准测试往往只衡量模型输出的准确率，完全忽视了外部基础设施的贡献。研究者呼吁建立新的评估维度，专门测量外化架构的可维护性、上下文效率、故障恢复稳健性以及治理透明度。

结语

在这场深刻的技术演进中，您所面对的不再仅仅是参数量日益庞大的数学模型。研究者通过极其严谨的推演向我们证明：打造可靠的智能体，本质上是一场精密的系统工程。通过将记忆、技能和协议有机地外化，并在严谨的运行环境中加以约束，我们正在为人工智能构建一个稳定、透明且具备自我进化能力的认知底座。未来的竞争，不仅仅是模型智商的角逐，更是构建这种“认知基础设施”能力的全面比拼。

文章来自于"AI修猫Prompt"，作者 "AI修猫Prompt"。