评测闭环

评测把「开发 → 部署 → 评测 → 调优」的闭环补齐：用一份固定的评测集与一个或多个评估器，对已部署的运行时打分，再依据量化结果迭代。本页以一个问答智能体为例，走通从初始化项目到看到评测结果的完整流程。各命令的详细用法见查看评测后端、管理评测集、管理评估器、管理评测目标、运行评测实验与查看实验与结果。

开始前请确认已配置火山引擎 AK/SK，或已通过 agentkit login 获取有效的短期 STS 凭证。评测能力当前处于 Preview 阶段，CLI 会先解析当前账号使用的 Coze 或 TEA 评测后端；可用 agentkit eval backend 查看解析结果。

上传用例会将输入与参考答案存入评测平台，正式实验会调用目标智能体和评判模型，并可能产生费用。使用允许上传的评测数据；--dry-run 只核对配置，仍会连接后端解析资源，但不会提交实验或自动发布评测集版本

端到端流程

初始化并部署智能体

按高代码智能体完成项目初始化、模型配置和部署，并将应用命名为 qa-agent；也可使用已有的可调用 Runtime。以下命令确认目标和评测后端

agentkit runtime show qa-agent
agentkit invoke run "你好" --runtime-id "<qa-agent runtime ID>"
agentkit eval backend

替换实际 Runtime ID。本文后续示例按 TEA 后端展示；Coze 与 TEA 的可用模板和版本要求不同，应以当前账号返回结果为准

创建评测集并添加用例

评测集是实验的数据来源。先用 input 与 reference_output 两个字段创建评测集，再逐条或批量添加用例：

agentkit eval dataset create --name qa-set --schema "input,reference_output"

# 逐条添加
agentkit eval dataset add qa-set \
  --field "input=法国的首都是？" \
  --field "reference_output=巴黎"

# 或从 JSON 文件批量添加
agentkit eval dataset add qa-set --file cases.json

cases.json 为一个由 {字段: 值} 组成的数组：

cases.json

[
  { "input": "法国的首都是？", "reference_output": "巴黎" },
  { "input": "水的化学式是？", "reference_output": "H2O" }
]

添加后用 agentkit eval dataset show qa-set 核对用例。

创建评估器

评估器是负责打分的评判模型。从预置模板派生，并指定自己的方舟模型端点：

# 查看预置模板
agentkit eval evaluator template list

# 从「相关性」模板派生，换成自己的模型端点
agentkit eval evaluator create \
  --name 相关性 \
  --from-template "<template name from list>" \
  --model ep-xxxxxxxx

TEA 后端提交实验时需要指定评估器版本。将模板占位符替换为列表返回的实际名称；创建或更新草稿后，提交版本。Coze 用户跳过此步骤，并从后续命令中移除 --evaluator-version 0.0.1：

agentkit eval evaluator version submit 0.0.1 --evaluator 相关性

运行实验

将评测集、评估器与目标运行时提交为一次实验。首次运行建议先加 --dry-run，确认解析出的评测集版本、评估器版本、目标与字段映射无误：

# 先核对
agentkit eval run --dataset qa-set --evaluator 相关性 --evaluator-version 0.0.1 --target qa-agent --dry-run

# 正式提交
agentkit eval run --dataset qa-set --evaluator 相关性 --evaluator-version 0.0.1 --target qa-agent
# → 返回实验 ID，例如 75901...

在 Coze 后端上可以省略 --evaluator-version；在 TEA 后端上必须为每个 --evaluator 传入一个对应的 --evaluator-version。如需确认可用目标版本，先运行 agentkit eval target version-list --source-target-id <source-target-id>。

查看结果

用返回的实验 ID 查看汇总分数与逐条结果：

# 状态与加权总分、各评估器平均分
agentkit eval experiment show 75901xxxxxxxxxxxxx

# 逐条结果：每条用例、目标输出与各评估器的分数和理由
agentkit eval experiment results 75901xxxxxxxxxxxxx

迭代

根据结果改进智能体的提示词、工具或模型，重新部署后，以相同的评测集与评估器再次运行实验，对比两次的汇总分与逐条结果，判断改动是提升还是回退：

agentkit launch
agentkit eval run --dataset qa-set --evaluator 相关性 --evaluator-version 0.0.1 --target qa-agent

纳入持续集成

评测命令无需浏览器登录，且均支持 --json，可直接编排进 CI 流水线：eval run 返回的 experimentId 可传给 eval experiment show 或 results。

# 一个可放入 CI 的最小闭环示例
set -euo pipefail
experiment_id=$(agentkit eval run --dataset qa-set --evaluator 相关性 --evaluator-version 0.0.1 --target qa-agent --json | jq -er .experimentId)
agentkit eval experiment show "$experiment_id" --json

上面的 CI 示例只提交实验并读取一次状态，不等待所有用例完成，也没有设置质量门槛。需要阻断发布时，应继续查询至终态，再依据实际分数和用例失败情况决定流水线结果；不要将拿到实验 ID 当作评测通过

实践建议

固定评测集：以同一份评测集贯穿多次迭代，结果才可横向对比。评测集稳定后再改动智能体。
只放稳定的输入与参考答案：评测集一般只需 input 与 reference_output。模型的实际输出由被评测的目标在实验中产生，不应写入评测集。
优先从预置模板派生评估器：evaluator template list 提供了成熟的评分标准，克隆后换成自己的评判模型即可，无需从零编写。
评判模型要足够强：以 --model 指定一个能力足够的方舟端点，能力偏弱的模型打分噪声较大。
多评估器加权：一次 eval run 可传入多个 --evaluator，从相关性、完整性等多个维度打分。
确认目标运行时在线：--target 必须指向一个已部署且可响应的运行时，否则用例会执行失败。当结果中用例失败却无实验级错误时，通常是目标运行时未正常响应，而非评测配置问题。

开始使用

AI-Friendly

命令参考

端到端流程

纳入持续集成

实践建议

​端到端流程

​纳入持续集成

​实践建议

端到端流程

纳入持续集成

实践建议