Microsoft Mechanics 文章题图

题图来源:Microsoft Mechanics Blog

agent 要在公司数据、应用和资源上干活,信任问题最后都落在 harness 上。Microsoft Mechanics 这期视频请来了 Microsoft Foundry 的 Jeff Hollan,把这条线从头到尾演示了一遍:一个全托管的 prompt agent 怎么升级到 Microsoft Copilot harness,怎么自带 harness(比如 Claude Agent SDK)跑成 hosted agent,以及 toolbox 加 tool search 怎么把 token 用量压下来。我把演示里的关键点整理成这篇笔记,视频链接在下一节,原文链接在文末。

观看完整视频

视频约 14 分钟,英文,本站无法直接嵌入播放,请点下面的链接打开:

https://www.youtube.com/watch?v=4vCbQMUVV-I&WT.mc_id=AI-MVP-5003172

harness 到底包了什么

harness 是包在模型和 agent 外面的那层运行环境。五件事是标配:

  • agent loop:每一步推理、执行、观察结果,循环往复,直到撞上你设的上限,或者它对结果满意为止
  • 上下文管理:上下文变大时做压缩、排优先级,把最相关的信息留在工作上下文里
  • skills 和 tools:告诉 agent 任务怎么做,并给它真正动手的能力,读写文件、调 MCP server、跑命令、执行代码
  • subagents:把大问题拆出去并行跑,最后把结果收回来
  • memory:跨轮次、必要时跨会话保持状态

Copilot harness 是模型无关的,针对企业任务完成做了优化,GitHub 和 Microsoft 365 背后跑的就是它。放进 Foundry 之后,它会尊重你已有的权限和数据保护控制,每个 agent 实例跑在独立沙箱里。

Jeff 打了个比方:harness 有点像强化学习环境。自由度给少了 agent 没用,给多了它会去做你从来不想要它做的事。这个平衡不好拿捏,也是后面所有控制机制存在的理由。

没有 harness,复杂任务一步都走不动

演示的场景是团队天天在问的财务问题:收入、支出、预测。起步版是 Foundry Responses API 上的 prompt agent,配了模型、instructions 和 Fabric IQ 工具,不用部署任何代码和基础设施。

问「九月的按类目支出」,它能查数,也能做简单计算。换成「预测下季度支出、跟前几个季度对比、再出一份给管理层的 PDF 报告」,它就直接停了,还给出一些替代建议,甚至没开始就放弃了。

原因都指向 harness 的缺失:没有真正的 agent loop,没有持久化,一次尝试就收手,也没有 skills 和 subagents 可以搬救兵。

同一个 agent,换上 Copilot harness

agent 定义完全不变,托管运行时也不变,只把 harness 换成 Microsoft Copilot harness。同一个问题再问一次,它先做规划,然后取数、跑分析,缺数据时回头调 skills 补,需要时拉 subagent,中途碰上的问题也能自己绕过去。最后交付的东西完全不是一个量级:附件里有一份 PDF 报告和单独的 forecast 文件,PDF 里是逐年对比的预测支出,还附了变化细节的说明。

全程跑在安全沙箱里。

同一个 agent 换上 Copilot harness 后自己规划、取数并产出报告

能力放开之前,先把闸门装上

官方没有回避这个 agent 太能干的问题。演示里专门放了一段 trace:agent 尝试访问一个未授权的 web endpoint,请求还没到目标就被拦下了。多数时候 agent 不是故意使坏,它只是在变通,但控制必须留在我手里。

整理下来是三件事:

  1. 它是谁:Entra Agent ID,agent 一部署就有自己的企业身份
  2. 它能做什么:显式声明。比如给这个 agent 加 egress 规则,除了允许的路径一律不许出网
  3. 它做过什么:每一次决策都进 trace 日志,你和安全团队可以事后追查

要规模化看这件事,可以用 Agent 365 的 registry 汇总所有 agent,不管它们在哪里构建;配合 Microsoft Security stack,还能识别和响应安全事件。

想自己写循环?hosted agents 等着你

让平台跑 loop 是一种选择,另一种是自己写。演示里的同一个财务 agent 这次是照着 Claude Agent SDK 手写的,loop、tools、middleware 都在自己手里,用 Foundry 的 Visual Studio Code Toolkit 部署托管。

代码是我的,托管是 Foundry 的:每个会话拿到独立的 VM 隔离沙箱,有持久文件系统,启动快,自动扩缩,没人用的时候零闲置成本。SDK 变成了可选项,Claude、Hermes、OpenClaw 或者完全自定义的 harness,都能以一等公民身份被托管,拿到同样的 Entra 身份、遥测、guardrails 和伸缩行为。

最近给 hosted agents 补的企业治理能力值得单独记一笔:

  • 自带 VNet,可以完全关掉公网出口,agent 只能到达你批准并配好路由的 endpoint。就算它拿到了恶意代码或 skill,也出不了你画的圈
  • 区域扩到 North Central US、East US、Japan East、Southeast Asia 和 Sweden Central,agent 可以搬到数据旁边
  • 容器镜像可以用自己的 registry,你的基础镜像审批和扫描管线都能接进来
  • 单个 agent 的并发会话上限提高,能撑住更大规模的用量

hosted agents 支持自带 harness,并保留企业控制

工具一多,token 先爆

真实部署里工具可能是几百个,每个团队接线方式还都不一样。同一个工具出现好几个版本、带着不同的安全模型,是常态,重复的集成工作也是。

Foundry 的 toolbox 就是对着这个问题来的:工具只配置一次,挂到一个 toolbox 上,全部工具收在统一的托管 MCP 兼容 endpoint 后面,认证、版本、治理都是集中管。演示里的财务 toolbox 接了知识源,Fabric IQ、报表、web、Work IQ 这些 Microsoft 365 工作负载,都走同一个 endpoint 调用。

token 的问题交给 tool search:不再每一轮把几千条工具描述全塞给模型,只按当前任务检索出相关的描述。官方引用了最近发布的 ToolRet 评测数字:50 个工具时 token 用量降 60% 以上,1000 个工具时降 97% 以上,对比的是把完整工具目录一次性发给 agent 的做法。

有个细节官方特意说在明面上:这些节省来自 tool search,不是光把工具收进 toolbox 就能拿到。

tool search 按任务取工具,上下文保持精简

部署完才是活儿的开始

上线只是起跑线。Jeff 在 Foundry 里演示了一套持续改进的流程,起点是拿自己的真实任务建私有 benchmark,而不是对着通用榜单调。

benchmark 不用从零写:平台给出不少现成测量,内置评估器有 latency、relevance、intent resolution、task adherence,也可以带上自己的样例 prompt 测特定场景。每次评估结果都链回产生它的那条 trace,看到差分,点一下就到那次运行的现场。

Agent Optimizer 拿这些证据做自动调参:生成一批候选(改 instructions、换 skills、改工具描述、换模型),拿候选跑你的私有数据集,然后排序。演示里基准分数涨了几点,优化目标可以选质量、延迟,也可以选 token 减少。点开候选详情能看到它改了什么,选分数最好的那个部署就行,不用手工拧每个 prompt 和旋钮。

我的几点观察

  • 演示里最有说服力的不是 agent 多能干,而是那次被拦截的未授权访问。能力演示谁都会做,把「agent 会变通出界」这件事主动摆出来,才说明控制链路是真的
  • tool search 那 60% 和 97% 是官方评测口径,跟自己业务的工具集合、任务分布未必对得上,值不值得上还是得拿自己的数据测
  • Agent Optimizer 和私有 benchmark 是一对:没有反映真实任务的 benchmark,自动调参优化的是别人的目标
  • 区域扩张和自带 registry 这两件事放在一起看,指向的是数据驻留和合规场景,agent 平台开始认真对待「数据在哪,agent 就在哪」

这期内容适合谁

构建生产级 agent 的开发者和 AI 工程师、设计 agent 平台的架构师,以及负责 agent 身份、访问和出网管控的 IT 与安全团队。

视频章节

  • 00:00 为什么 harness 决定 agent 的可信度
  • 00:59 harness 到底做什么
  • 01:22 每个 harness 都有的五个组件
  • 02:15 Copilot harness 与 Foundry 控制的结合
  • 03:28 prompt agent 在哪里掉链子
  • 04:57 同一个 agent 换上 Copilot harness
  • 06:10 guardrails 拦下越权的 agent 操作
  • 07:29 Entra Agent ID 与 egress 规则
  • 08:05 自带 harness 跑成 hosted agent
  • 09:06 私有网络、区域与自己的 registry
  • 10:13 用 Foundry toolbox 一次性治理工具
  • 11:13 tool search 让上下文保持精简
  • 11:54 用真实任务给 agent 定 benchmark
  • 12:54 用 Agent Optimizer 自动调优
  • 13:53 到 Foundry 开始构建

相关链接