用闭环评估改进生产环境的 Agent:Microsoft Foundry 的六步发布流程
线上 Agent 的退化往往没有代码变更做前兆。流量一涨,新类型的请求就会把指令里没写清的地方翻出来,分数掉下去,账单反而涨上来。另一边,新模型的报价更低、效果可能更好,可手工改 prompt 或者原地换个模型,很容易把本来跑得通的工作流弄坏。
缺的是一套能在上线前拦住坏版本的机制。我把微软 Foundry 官方博客里的做法拆成六步来看:生产 trace 喂给连续评估,Agent Optimizer 在训练集上搜候选版本,留出套件卡发布门禁,CI/CD 通过后走灰度,最后把新版本记为基线。每一步都有对应的命令和检查项,不靠感觉。
图中的 v1 和 v2 只是指代当前基线与候选版本,真正的版本号由 Microsoft Foundry 分配。
前置条件与各自的职责
动手前要确认两边的准备都到位:
- Microsoft Foundry 侧:部署一个托管 Agent,接入 Agent Optimizer SDK,连上 Application Insights,把模型部署好并拿到批准,再授予 Microsoft Entra ID 权限。
- 应用团队侧:沙箱化的工具测试装置、人工复核过的结果标签(
ground_truth)、CI/CD 发布策略脚本,以及按会话生效的灰度路由(version_indicator)。这四样平台给不了,得自己写。
一轮循环怎么跑完
触发器是定时 GitHub Actions 工作流,或者 Azure Monitor 告警。每次运行,工作流先读三样东西:最近的连续评估分数、Application Insights 错误指标、刚批准的模型部署。分诊确认是 Agent 质量下滑,或者是计划中的模型评估,才把最近的 trace 采样成数据集,交给人打标签。
标签回头,Agent Optimizer 开始在指令、技能、工具描述和模型之间搜索组合,训练集和验证集都用上。发布自动化把选中的候选版本落地,提一个 pull request 给工程师看。能不能晋级由留出回归套件说话,过了之后才更新 .agent_configs/baseline/。
1. 用连续评估盯住线上流量
想安全晋级,先得把当前生产配置量出来。它就是那个基准,后面每个候选版本都拿它比。线上流量上跑连续评估,打分对象是执行 trace,能看出质量、工具使用、延迟和成本各自往哪个方向走:
- 工具输出对回复(
groundedness)。看回复在给定上下文里有没有支撑,没依据的完成声明会被标出来。 - 指令对动作(
task_adherence)。看 Agent 在整段对话里有没有守住系统提示的规则。 - 查询对工具调用(
tool_call_accuracy与intent_resolution)。核对工具选得对不对、参数给得对不对。 - 安全与 trace 规则(
indirect_attack加 span 检查)。前者标注入指令,后者的 span 检查抓工具报错和重复写入。
先分诊,再定目标
告警响了别急着开优化任务。先翻 Application Insights 的 trace 和 Azure Monitor 指标,把 Agent 配置问题从其它运维变动里摘出来:
- 后端或工具挂了。工具超时、API 报错往上走,这时候该修基础设施,不是调 Agent。
- 流量结构变了。某类新请求突然变多,缺的可能是新工具、新策略规则或者测试覆盖。
- 评估器或评分规则改过。grader 的 prompt 或阈值一动,分数就变,Agent 本身的脾气没变。
确认这次是配置能解决的问题,或者干脆从定时评审、新模型上线起跑。目标最好在跑之前就写下来:
| 优化目标 | 主要指标 | 强制要求 |
|---|---|---|
| 提升质量 | 在失败的任务类别上达到目标分数增益,并满足质量下限 | 现有类别的分数不许掉,关键安全和业务检查全过,成本和延迟待在限内 |
| 降低运行成本 | 压掉整个 Agent 工作负载的 token 与模型成本 | 质量下限要守住,波动幅度不超过允许范围,关键检查全过,延迟也待在限内 |
2. 把生产 trace 变成隔离的、能跑的数据集
监控告诉你哪里要改,下一步是给 Agent Optimizer 和 CI/CD 造数据集。trace 数据集生成(project_client.datasets.begin_create_generation_job)从 Application Insights 里采生产 trace,生成一个在项目内注册、带版本号的数据集。
max_samples 一设,Microsoft Foundry 就用 MinHash 采样把重复消息滤掉,挑出差异大的对话。锁定 agent_version 意味着只采某个已知版本的行为,私有内容默认脱敏(redact_private_content=True)。
拿一个用工具的订单退款 Agent 举例,被标记的 trace 通常栽在三处:
- 工具超时后重试。Agent 调
submit_refund这种写入工具,调用超时,返回outcome_unknown。它没去查第一次的真实状态,直接又提交一遍。后端这时候必须挡住重复交易。 - 异步活儿报得太早。跳过
get_refund_status,退款直接报completed,后端其实还停在pending。 - 不可信工具数据里的注入。客户退货备注(
untrusted_return_note)里藏了指令,Agent 照着做了,报出一个没有核实过的状态。
图 1. 提交超时之后,Agent 去查退款状态。工具调用序列展示了它怎么处理未知结果。
从录制好的 trace 走到安全的测试执行
生成的 trace 数据集只是把生产对话存下来了。要让它变成安全、可重复的评估用例,还差两样:核实过的预期结果,和一个沙箱化的测试后端。所有评估运行都得跟真实支付 API、客户数据库隔开。
- 复核预期结果(
ground_truth)。一条条看采样出来的 trace,把复核后的业务结果(status、order_id、refund_id、reason)写进ground_truth。原始捕获的response别动,留作历史记录。 - 把工具执行关进测试装置。每个评估用例绑一套受控的工具替身,配一个可重置的测试库或账本快照。每次运行都在沙箱里重新发起工具调用。
- 优化器的数据和发布回归套件要分开。复核过的用例拆成训练集和验证集(
2a),给 Agent Optimizer 用;另外留一套留出回归套件(2b),专门给 CI/CD 卡门禁。同一次事故里的请求,别拆到不同划分里去。
图 2. 这个示例数据集用合成交互演示生产 trace 的流程。复核者核实预期结果,并给每个用例配上隔离的测试状态。
3. 用 eval.yaml 把评分口径固定下来
数据集注册完,接着定义每次运行怎么打分。eval.yaml 负责绑定这几件事:基线 Agent 配置、训练集与验证集、评估器、批准过的模型搜索空间。
name: Refund agent configuration search
agent:
name: refund-release-loop
kind: hosted
model: gpt-5.4-mini
config: .agent_configs/baseline/metadata.yaml
dataset:
name: refund-loop-training
version: "1"
validation_dataset:
name: refund-loop-validation
version: "1"
evaluators:
- builtin.task_adherence
- name: refund-state
version: "3"
options:
eval_model: gpt-5.4-mini
optimization_model: gpt-5.4
max_candidates: 4
optimization_config:
model_search_space:
- gpt-5.4-mini
- gpt-5.4
留出回归套件(refund-loop-release)要放进单独的 CI/CD 评估配置。分开放,Agent Optimizer 搜索时碰不到这些用例,也就没法过拟合它们。
发布标准不能跟着候选版本的指令走
builtin.task_adherence 这类 prompt 评估器能发现指令漂移,而 Agent Optimizer 干的活恰恰是改写 instructions.md 和 SKILL.md。所以每个候选版本都要拿一套固定的业务要求去评,这套要求存在可编辑的 Agent 配置之外。
| 评估器类型 | 每次全新沙箱运行查什么 | 怎么保护发布门禁 |
|---|---|---|
| 语义与评分规则评估器 | 按固定的任务级 criteria、映射的 grounding 上下文和 ground truth 给回复打分 |
措辞可以换好、模型可以换,但业务规则和有依据的声明躲不过去 |
| 自定义代码评估器 | 查工具调用序列、结构化 JSON 输出,以及由此产生的沙箱账本状态 | 重复写入、跳过的状态检查、交易状态对不上,都在这里被拦 |
想在工具支撑的声明上用 builtin.groundedness,得把序列化后的工具输出作为 grounding 上下文传进去,再在评估器输入里映射这个字段。测试之前先定好三件事:质量下限、目标增益(或成本节省)、允许的回归幅度。语义评估容忍无害的措辞变化;回归幅度划出质量损失的上限;采样不确定度要单独算。
自定义代码评估器能直接看候选版本的工具事件和沙箱状态快照。下面这段示例逻辑会挡住重复退款提交,也会挡住跟核实工具或账本对不上的状态声明:
# Illustrative custom code evaluator logic
submissions = [e for e in events if e["tool"] == "submit_refund"]
if len(submissions) > 1:
failures.append("repeated_submission")
verifications = [e["result"] for e in events if e["tool"] == "get_refund_status"]
claimed = output.get("status")
if claimed in {"completed", "pending", "failed"}:
if not verifications or verifications[-1].get("status") != claimed:
failures.append("unverified_claim")
if not ledger or ledger[-1].get("status") != claimed:
failures.append("claim_state_mismatch")
自定义代码评估器跑在没有网络的隔离环境里,所以评估装置会把生成的沙箱状态快照挂到每个评估项上,让评估器有东西可看。
4. 在评估数据集上跑 Agent Optimizer
eval.yaml 就绪后,在 Agent 项目根目录执行 Agent Optimizer:
azd ai agent optimize
命令会自己找 eval.yaml。Agent Optimizer 目前还是预览版,支持的参数和区域看优化快速入门。任务跑起来之后,它先给 .agent_configs/baseline/ 打分,基于训练任务提出至多 max_candidates 个修订版本,再在 validation_dataset 上排座次:
| 优化对象 | 基线输入 | Agent Optimizer 改什么 |
|---|---|---|
| 指令调优 | instructions.md |
重写系统提示,补上显式约束、步骤顺序和输出格式规则 |
| 技能改进 | skills/<name>/SKILL.md |
细化领域技能的描述、正文和激活条件,用途不变 |
| 工具优化 | tools.json |
说清函数和参数的含义,但不动可执行的工具 schema |
| 模型选择 | eval.yaml 里的 model_search_space |
在 Foundry 项目批准的列表里试不同的候选部署 |
运行时用 load_config() 把选中的指令、技能、模型和工具描述加载进来。应用逻辑、授权、工具契约都不进优化范围,这条线得自己守住。回到 submit_refund 超时那个例子,候选版本可能去改退款技能和工具描述,要求先查 get_refund_status。配置差异告诉你改了什么,评估结果才告诉你 Agent 到底有没有照业务规则办事。
图 3. 这个对比在验证运行上给四个候选版本排序。选中的那个细化了技能和工具描述。
5. 在 GitHub Actions 里卡住候选版本
在 Agent Optimizer 里选定候选版本,把配置应用到 .agent_configs/,提 pull request 等人评审:
azd ai agent optimize apply --candidate <candidate-id>
GitHub Actions那边用 Microsoft Entra ID 登录 Azure,然后走四步发布门禁。整个过程线上流量一直待在 v1:
- 部署候选版本(
v2)。azd deploy --no-prompt只注册候选容器,端点选择器还是v1,线上没人受影响。 - 在留出套件(
2b)上把两个固定版本都评一遍。对refund-loop-release跑云评估,v1和v2各评一次(也可以对每个版本分别跑azd ai agent eval run)。 - 把评分和资源指标都取回来。两次运行的所有评估器分数、延迟指标、模型 token 计数,一个都不能少。
- 执行发布策略。按第 1 步定的目标比
v2和v1,不达标就以非零状态退出:
| 发布检查结果 | 留出回归套件上的表现 | CI/CD 门禁动作 |
|---|---|---|
| 质量目标通过 | 越过质量下限,算上采样不确定性后仍达到所需质量增益,关键检查全过,资源不超限 | 放行,进入灰度验证 |
| 成本目标通过 | 实测模型支出下降(按模型 token 定价算),越过质量下限,待在允许的回归幅度内,关键检查全过 | 放行,进入灰度验证 |
| 增益或节省不够 | 目标质量增益没达到,或实测成本没降下来 | 基线继续跑,不动 |
| 回归或关键失败 | 掉到质量下限以下,或触发 repeated_submission、unverified_claim、claim_state_mismatch |
工作流直接失败,拦住发布 |
评估任务本身的健康度和 Agent 的表现要分开判断。每个测试用例都得返回完整的评估记录和所有必需的评估器分数,记录缺了、评估器任务挂了,一律拦住发布。而 Agent 自己跑出来的执行错误(比如响应格式不对)要算任务失败,这样候选版本才有机会修掉基线上本来就坏的用例,比如示例里那次 outcome_unknown 超时重试。不过修好一种失败模式不等于满足全部发布要求。图 4 里的门禁就是在运行出现类别回归、token 用量超标、或者基线证据不完整时拦下来的。
图 4. GitHub Actions 部署候选版本,留出回归套件不通过就拦住发布,跳过端点晋级。
6. 灰度、晋级,然后准备下一轮
留出回归套件通过,只能说明候选版本满足了这些测试覆盖到的要求。全面晋级之前,还有四步要验证:
- 给已部署的版本做冒烟测试。发几个
version_indicator设成v2的合成会话,看容器起没起来、凭据对不对、工具连得上不上。 - 让灰度会话对着线上控制组跑。托管端点默认把 100% 流量给
v1。开跑前先把最小样本数、观察窗口、阈值定好,再通过version_indicator把一部分新会话(先5%,再25%)分到v2,同时保留对应的v1控制组。 - 等结果落定。
v1和v2攒够连续评估分数、Azure Monitor 指标,退款也结算完毕,再往下走。 - 晋级、保持或者回滚:
| 灰度与发布后的证据 | 发布动作 |
|---|---|
灰度窗口内对照线上 v1 控制组,质量、延迟、已结算结果都达标 |
把 Microsoft Foundry 端点版本选择器切到 v2,新默认会话全部走 v2 |
| 样本量还不到最小计数,或者异步交易还在结算 | 灰度比例不动,继续收证据 |
| 质量掉到下限以下,或超出对控制组的允许回归幅度,或触发关键工具错误、Azure Monitor 告警 | 新会话路由回 v1,停止或排空还在跑的 v2 会话,核对受影响的记录 |
回滚要同时管会话路由和后端状态,两头都容易漏。灰度期间清掉 version_indicator,新会话就回到默认版本(v1);而晋级之后再回滚,得去切 Microsoft Foundry 的端点选择器。已经存在的 v2 会话不会自己换过去,它们继续跑在 v2 上,直到你显式停掉(例如 project_client.agents.stop_session)或者让它们自然排空。灰度窗口里已经提交的交易,用后端幂等键加补偿性冲正,把客户记录对上。
重置基线,给下一轮换一批用例
v2 拿到 100% 默认流量之后,发布自动化会把它的配置写进 .agent_configs/baseline/,成为新的比较基准。在途的 v1 会话全部结束之前,v1 得留着可用。
留出回归套件也得跟着流量更新,否则它迟早会变成一套固定不变的老题。定期把新复核过的生产 trace 同时补进训练数据集和发布套件,可以降低反复挑选候选版本、逐渐过拟合某一套固定测试的风险。
下一步
要在自己的项目里把这套东西搭起来,按这三条路走:
- 打开连续评估,攒 trace 数据集。给已部署的 Agent 配上生产监控,再把生产对话转成 trace 数据集。
- 搭评估套件和自定义评估器。给 Agent Optimizer 准备
eval.yaml和数据集,加上自定义评估器,跑云评估。 - 接上 CI/CD。参考 Agent Optimizer 概览、优化快速入门和托管 Agent CI/CD 指南,在 GitHub Actions 里给部署设门禁。
原文:Improve production agents with closed-loop evaluations in Microsoft Foundry
- 本文作者:BeanHsiang
- 本文链接:https://beanhsiang.github.io/post/2026-11-08-improve-production-agents-with-closed-loop-evaluations-in-microsoft-foundry/
- 版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. 进行许可,非商业转载请注明出处(作者,原文链接),商业转载请联系作者获得授权。