线上 Agent 的退化往往没有代码变更做前兆。流量一涨,新类型的请求就会把指令里没写清的地方翻出来,分数掉下去,账单反而涨上来。另一边,新模型的报价更低、效果可能更好,可手工改 prompt 或者原地换个模型,很容易把本来跑得通的工作流弄坏。

缺的是一套能在上线前拦住坏版本的机制。我把微软 Foundry 官方博客里的做法拆成六步来看:生产 trace 喂给连续评估,Agent Optimizer 在训练集上搜候选版本,留出套件卡发布门禁,CI/CD 通过后走灰度,最后把新版本记为基线。每一步都有对应的命令和检查项,不靠感觉。

Microsoft Foundry 中的闭环 Agent 发布架构。

图中的 v1 和 v2 只是指代当前基线与候选版本,真正的版本号由 Microsoft Foundry 分配。

前置条件与各自的职责

动手前要确认两边的准备都到位:

  • Microsoft Foundry 侧:部署一个托管 Agent,接入 Agent Optimizer SDK,连上 Application Insights,把模型部署好并拿到批准,再授予 Microsoft Entra ID 权限。
  • 应用团队侧:沙箱化的工具测试装置、人工复核过的结果标签(ground_truth)、CI/CD 发布策略脚本,以及按会话生效的灰度路由(version_indicator)。这四样平台给不了,得自己写。

一轮循环怎么跑完

触发器是定时 GitHub Actions 工作流,或者 Azure Monitor 告警。每次运行,工作流先读三样东西:最近的连续评估分数、Application Insights 错误指标、刚批准的模型部署。分诊确认是 Agent 质量下滑,或者是计划中的模型评估,才把最近的 trace 采样成数据集,交给人打标签。

标签回头,Agent Optimizer 开始在指令、技能、工具描述和模型之间搜索组合,训练集和验证集都用上。发布自动化把选中的候选版本落地,提一个 pull request 给工程师看。能不能晋级由留出回归套件说话,过了之后才更新 .agent_configs/baseline/。

1. 用连续评估盯住线上流量

想安全晋级,先得把当前生产配置量出来。它就是那个基准,后面每个候选版本都拿它比。线上流量上跑连续评估,打分对象是执行 trace,能看出质量、工具使用、延迟和成本各自往哪个方向走:

  • 工具输出对回复(groundedness)。看回复在给定上下文里有没有支撑,没依据的完成声明会被标出来。
  • 指令对动作(task_adherence)。看 Agent 在整段对话里有没有守住系统提示的规则。
  • 查询对工具调用(tool_call_accuracy 与 intent_resolution)。核对工具选得对不对、参数给得对不对。
  • 安全与 trace 规则(indirect_attack 加 span 检查)。前者标注入指令,后者的 span 检查抓工具报错和重复写入。

先分诊,再定目标

告警响了别急着开优化任务。先翻 Application Insights 的 trace 和 Azure Monitor 指标,把 Agent 配置问题从其它运维变动里摘出来:

  • 后端或工具挂了。工具超时、API 报错往上走,这时候该修基础设施,不是调 Agent。
  • 流量结构变了。某类新请求突然变多,缺的可能是新工具、新策略规则或者测试覆盖。
  • 评估器或评分规则改过。grader 的 prompt 或阈值一动,分数就变,Agent 本身的脾气没变。

确认这次是配置能解决的问题,或者干脆从定时评审、新模型上线起跑。目标最好在跑之前就写下来:

优化目标 主要指标 强制要求
提升质量 在失败的任务类别上达到目标分数增益,并满足质量下限 现有类别的分数不许掉,关键安全和业务检查全过,成本和延迟待在限内
降低运行成本 压掉整个 Agent 工作负载的 token 与模型成本 质量下限要守住,波动幅度不超过允许范围,关键检查全过,延迟也待在限内

2. 把生产 trace 变成隔离的、能跑的数据集

监控告诉你哪里要改,下一步是给 Agent Optimizer 和 CI/CD 造数据集。trace 数据集生成(project_client.datasets.begin_create_generation_job)从 Application Insights 里采生产 trace,生成一个在项目内注册、带版本号的数据集。

max_samples 一设,Microsoft Foundry 就用 MinHash 采样把重复消息滤掉,挑出差异大的对话。锁定 agent_version 意味着只采某个已知版本的行为,私有内容默认脱敏(redact_private_content=True)。

拿一个用工具的订单退款 Agent 举例,被标记的 trace 通常栽在三处:

  1. 工具超时后重试。Agent 调 submit_refund 这种写入工具,调用超时,返回 outcome_unknown。它没去查第一次的真实状态,直接又提交一遍。后端这时候必须挡住重复交易。
  2. 异步活儿报得太早。跳过 get_refund_status,退款直接报 completed,后端其实还停在 pending。
  3. 不可信工具数据里的注入。客户退货备注(untrusted_return_note)里藏了指令,Agent 照着做了,报出一个没有核实过的状态。

Foundry trace 视图,筛选出五次退款工具调用。

图 1. 提交超时之后,Agent 去查退款状态。工具调用序列展示了它怎么处理未知结果。

从录制好的 trace 走到安全的测试执行

生成的 trace 数据集只是把生产对话存下来了。要让它变成安全、可重复的评估用例,还差两样:核实过的预期结果,和一个沙箱化的测试后端。所有评估运行都得跟真实支付 API、客户数据库隔开。

  • 复核预期结果(ground_truth)。一条条看采样出来的 trace,把复核后的业务结果(status、order_id、refund_id、reason)写进 ground_truth。原始捕获的 response 别动,留作历史记录。
  • 把工具执行关进测试装置。每个评估用例绑一套受控的工具替身,配一个可重置的测试库或账本快照。每次运行都在沙箱里重新发起工具调用。
  • 优化器的数据和发布回归套件要分开。复核过的用例拆成训练集和验证集(2a),给 Agent Optimizer 用;另外留一套留出回归套件(2b),专门给 CI/CD 卡门禁。同一次事故里的请求,别拆到不同划分里去。

Foundry 数据集版本,含 request、response、annotation 和 metadata 字段。

图 2. 这个示例数据集用合成交互演示生产 trace 的流程。复核者核实预期结果,并给每个用例配上隔离的测试状态。

3. 用 eval.yaml 把评分口径固定下来

数据集注册完,接着定义每次运行怎么打分。eval.yaml 负责绑定这几件事:基线 Agent 配置、训练集与验证集、评估器、批准过的模型搜索空间。

name: Refund agent configuration search
agent:
  name: refund-release-loop
  kind: hosted
  model: gpt-5.4-mini
  config: .agent_configs/baseline/metadata.yaml
dataset:
  name: refund-loop-training
  version: "1"
validation_dataset:
  name: refund-loop-validation
  version: "1"
evaluators:
  - builtin.task_adherence
  - name: refund-state
    version: "3"
options:
  eval_model: gpt-5.4-mini
  optimization_model: gpt-5.4
  max_candidates: 4
  optimization_config:
    model_search_space:
      - gpt-5.4-mini
      - gpt-5.4

留出回归套件(refund-loop-release)要放进单独的 CI/CD 评估配置。分开放,Agent Optimizer 搜索时碰不到这些用例,也就没法过拟合它们。

发布标准不能跟着候选版本的指令走

builtin.task_adherence 这类 prompt 评估器能发现指令漂移,而 Agent Optimizer 干的活恰恰是改写 instructions.md 和 SKILL.md。所以每个候选版本都要拿一套固定的业务要求去评,这套要求存在可编辑的 Agent 配置之外。

评估器类型 每次全新沙箱运行查什么 怎么保护发布门禁
语义与评分规则评估器 按固定的任务级 criteria、映射的 grounding 上下文和 ground truth 给回复打分 措辞可以换好、模型可以换,但业务规则和有依据的声明躲不过去
自定义代码评估器 查工具调用序列、结构化 JSON 输出,以及由此产生的沙箱账本状态 重复写入、跳过的状态检查、交易状态对不上,都在这里被拦

想在工具支撑的声明上用 builtin.groundedness,得把序列化后的工具输出作为 grounding 上下文传进去,再在评估器输入里映射这个字段。测试之前先定好三件事:质量下限、目标增益(或成本节省)、允许的回归幅度。语义评估容忍无害的措辞变化;回归幅度划出质量损失的上限;采样不确定度要单独算。

自定义代码评估器能直接看候选版本的工具事件和沙箱状态快照。下面这段示例逻辑会挡住重复退款提交,也会挡住跟核实工具或账本对不上的状态声明:

# Illustrative custom code evaluator logic
submissions = [e for e in events if e["tool"] == "submit_refund"]
if len(submissions) > 1:
    failures.append("repeated_submission")

verifications = [e["result"] for e in events if e["tool"] == "get_refund_status"]
claimed = output.get("status")
if claimed in {"completed", "pending", "failed"}:
    if not verifications or verifications[-1].get("status") != claimed:
        failures.append("unverified_claim")
    if not ledger or ledger[-1].get("status") != claimed:
        failures.append("claim_state_mismatch")

自定义代码评估器跑在没有网络的隔离环境里,所以评估装置会把生成的沙箱状态快照挂到每个评估项上,让评估器有东西可看。

4. 在评估数据集上跑 Agent Optimizer

eval.yaml 就绪后,在 Agent 项目根目录执行 Agent Optimizer:

azd ai agent optimize

命令会自己找 eval.yaml。Agent Optimizer 目前还是预览版,支持的参数和区域看优化快速入门。任务跑起来之后,它先给 .agent_configs/baseline/ 打分,基于训练任务提出至多 max_candidates 个修订版本,再在 validation_dataset 上排座次:

优化对象 基线输入 Agent Optimizer 改什么
指令调优 instructions.md 重写系统提示,补上显式约束、步骤顺序和输出格式规则
技能改进 skills/<name>/SKILL.md 细化领域技能的描述、正文和激活条件,用途不变
工具优化 tools.json 说清函数和参数的含义,但不动可执行的工具 schema
模型选择 eval.yaml 里的 model_search_space 在 Foundry 项目批准的列表里试不同的候选部署

运行时用 load_config() 把选中的指令、技能、模型和工具描述加载进来。应用逻辑、授权、工具契约都不进优化范围,这条线得自己守住。回到 submit_refund 超时那个例子,候选版本可能去改退款技能和工具描述,要求先查 get_refund_status。配置差异告诉你改了什么,评估结果才告诉你 Agent 到底有没有照业务规则办事。

Agent Optimizer 候选版本表格与选中候选的技能差异。

图 3. 这个对比在验证运行上给四个候选版本排序。选中的那个细化了技能和工具描述。

5. 在 GitHub Actions 里卡住候选版本

在 Agent Optimizer 里选定候选版本,把配置应用到 .agent_configs/,提 pull request 等人评审:

azd ai agent optimize apply --candidate <candidate-id>

GitHub Actions那边用 Microsoft Entra ID 登录 Azure,然后走四步发布门禁。整个过程线上流量一直待在 v1:

  1. 部署候选版本(v2)。azd deploy --no-prompt 只注册候选容器,端点选择器还是 v1,线上没人受影响。
  2. 在留出套件(2b)上把两个固定版本都评一遍。对 refund-loop-release 跑云评估,v1 和 v2 各评一次(也可以对每个版本分别跑 azd ai agent eval run)。
  3. 把评分和资源指标都取回来。两次运行的所有评估器分数、延迟指标、模型 token 计数,一个都不能少。
  4. 执行发布策略。按第 1 步定的目标比 v2 和 v1,不达标就以非零状态退出:
发布检查结果 留出回归套件上的表现 CI/CD 门禁动作
质量目标通过 越过质量下限,算上采样不确定性后仍达到所需质量增益,关键检查全过,资源不超限 放行,进入灰度验证
成本目标通过 实测模型支出下降(按模型 token 定价算),越过质量下限,待在允许的回归幅度内,关键检查全过 放行,进入灰度验证
增益或节省不够 目标质量增益没达到,或实测成本没降下来 基线继续跑,不动
回归或关键失败 掉到质量下限以下,或触发 repeated_submission、unverified_claim、claim_state_mismatch 工作流直接失败,拦住发布

评估任务本身的健康度和 Agent 的表现要分开判断。每个测试用例都得返回完整的评估记录和所有必需的评估器分数,记录缺了、评估器任务挂了,一律拦住发布。而 Agent 自己跑出来的执行错误(比如响应格式不对)要算任务失败,这样候选版本才有机会修掉基线上本来就坏的用例,比如示例里那次 outcome_unknown 超时重试。不过修好一种失败模式不等于满足全部发布要求。图 4 里的门禁就是在运行出现类别回归、token 用量超标、或者基线证据不完整时拦下来的。

GitHub Actions 显示验证和部署完成、发布门禁失败、晋级被跳过。

图 4. GitHub Actions 部署候选版本,留出回归套件不通过就拦住发布,跳过端点晋级。

6. 灰度、晋级,然后准备下一轮

留出回归套件通过,只能说明候选版本满足了这些测试覆盖到的要求。全面晋级之前,还有四步要验证:

  1. 给已部署的版本做冒烟测试。发几个 version_indicator 设成 v2 的合成会话,看容器起没起来、凭据对不对、工具连得上不上。
  2. 让灰度会话对着线上控制组跑。托管端点默认把 100% 流量给 v1。开跑前先把最小样本数、观察窗口、阈值定好,再通过 version_indicator 把一部分新会话(先 5%,再 25%)分到 v2,同时保留对应的 v1 控制组。
  3. 等结果落定。v1 和 v2 攒够连续评估分数、Azure Monitor 指标,退款也结算完毕,再往下走。
  4. 晋级、保持或者回滚:
灰度与发布后的证据 发布动作
灰度窗口内对照线上 v1 控制组,质量、延迟、已结算结果都达标 把 Microsoft Foundry 端点版本选择器切到 v2,新默认会话全部走 v2
样本量还不到最小计数,或者异步交易还在结算 灰度比例不动,继续收证据
质量掉到下限以下,或超出对控制组的允许回归幅度,或触发关键工具错误、Azure Monitor 告警 新会话路由回 v1,停止或排空还在跑的 v2 会话,核对受影响的记录

回滚要同时管会话路由和后端状态,两头都容易漏。灰度期间清掉 version_indicator,新会话就回到默认版本(v1);而晋级之后再回滚,得去切 Microsoft Foundry 的端点选择器。已经存在的 v2 会话不会自己换过去,它们继续跑在 v2 上,直到你显式停掉(例如 project_client.agents.stop_session)或者让它们自然排空。灰度窗口里已经提交的交易,用后端幂等键加补偿性冲正,把客户记录对上。

重置基线,给下一轮换一批用例

v2 拿到 100% 默认流量之后,发布自动化会把它的配置写进 .agent_configs/baseline/,成为新的比较基准。在途的 v1 会话全部结束之前,v1 得留着可用。

留出回归套件也得跟着流量更新,否则它迟早会变成一套固定不变的老题。定期把新复核过的生产 trace 同时补进训练数据集和发布套件,可以降低反复挑选候选版本、逐渐过拟合某一套固定测试的风险。

下一步

要在自己的项目里把这套东西搭起来,按这三条路走:

原文:Improve production agents with closed-loop evaluations in Microsoft Foundry