管理评估器

eval evaluator 命令组用于管理评估器：浏览内置模板、列出和查看已有评估器、创建评估器、更新 TEA 草稿、提交 TEA 版本，以及删除评估器。评估器通常是一段带评分标准的提示词，配合评判模型，接收若干输入字段后给出分数或分布。

--project 只用于 Coze 评测后端；TEA 后端会忽略该参数。TEA 版本相关命令仅在 TEA 评测后端可用。

evaluator template list

列出内置评估器模板。evaluator templates 是兼容入口，等价于 evaluator template list。

标志/参数	说明	默认值
`--type <type>`	TEA 内置模板类型；可传 `prompt` 或数字类型。	`prompt`
`--locale <locale>`	TEA 模板语言；`cn` 或 `zh-CN` 会追加中文 locale。	`zh-CN`
`-p, --project <name>`	Coze 项目名称；TEA 后端忽略。	`default`
`--json`	输出原始 JSON。	`false`

agentkit eval evaluator template list
agentkit eval evaluator templates --type prompt

evaluator template show

查看内置评估器模板详情，包括提示词和输入字段。

标志/参数	说明	默认值
`<key>`	TEA 模板 key，或 Coze 模板 ID / 名称。	必填
`--type <type>`	TEA 内置模板类型；可传 `prompt` 或数字类型。	`prompt`
`--language <type>`	TEA 代码模板的 `language_type`。	—
`--locale <locale>`	TEA 模板语言；`cn` 或 `zh-CN` 会追加中文 locale。	`zh-CN`
`-p, --project <name>`	Coze 项目名称；TEA 后端忽略。	`default`
`--json`	输出原始 JSON。	`false`

agentkit eval evaluator template show relevance

evaluator list

列出当前项目或工作区下的评估器。

标志/参数	说明	默认值
`-p, --project <name>`	Coze 项目名称；TEA 后端忽略。	`default`
`--json`	输出原始 JSON。	`false`

agentkit eval evaluator list

evaluator show

查看某个评估器的详情：评分标准提示词、模型配置与输入字段。TEA 后端可指定要查看的评估器版本。

标志/参数	说明	默认值
`<id\|name>`	评估器 ID 或精确名称。	必填
`--evaluator-version <id\|name>`	TEA 评估器版本 ID 或版本号，例如 `0.0.1`。	—
`-p, --project <name>`	Coze 项目名称；TEA 后端忽略。	`default`
`--json`	输出原始 JSON。	`false`

agentkit eval evaluator show 相关性

agentkit eval evaluator show 相关性 --evaluator-version 0.0.1

evaluator create

创建评估器。可以从内置模板克隆评分标准与输入 schema，也可以用自定义提示词文件定义评估器。

标志/参数	说明	默认值
`--name <name>`	评估器名称。	必填
`--from-template <key\|id\|name>`	从内置模板克隆评分标准与 schema。TEA 使用模板 key；Coze 使用模板 ID 或名称。	—
`--model <name\|id>`	评判模型。TEA 可用 `Doubao 2.0 Lite`、`Doubao 2.0 Pro`、`Doubao 2.0 Mini` 或模型 ID `1`、`2`、`3`；Coze 使用方舟端点 ID。	—
`--prompt-file <path>`	自定义评分标准文本文件。	—
`--description <text>`	评估器描述。	—
`--input-schemas <keys>`	逗号分隔的输入字段 key；仅 TEA 后端使用。	—
`-p, --project <name>`	Coze 项目名称；TEA 后端忽略。	`default`
`--json`	输出原始 JSON。	`false`

Coze 后端需至少提供 --from-template 或 --prompt-file 之一。TEA 后端可以从模板创建，也可以使用自定义提示词和输入字段创建。

agentkit eval evaluator create \
  --name 相关性 \
  --from-template relevance \
  --model "Doubao 2.0 Pro"

在执行自定义评估器示例前，创建 rubric.txt：

rubric.txt

问题：{{input}}
参考答案：{{reference_output}}
实际回答：{{output}}
判断实际回答是否正确回答问题并与参考答案一致
正确且完整记为 1，否则记为 0，并简要说明评分原因

agentkit eval evaluator create \
  --name 自定义评分 \
  --prompt-file ./rubric.txt \
  --input-schemas input,output,reference_output \
  --model 2

提示词中用、、这样的占位符引用输入字段；这些字段名即评估器的输入 schema，会在 eval run 中被自动映射。

evaluator update-draft

更新 TEA 评估器草稿。传入 --evaluator-content-file 时，该 JSON 文件会作为完整评估器内容使用，并覆盖 --prompt-file、--model 与 --input-schemas-json。

evaluator update-draft 仅支持 TEA 评测后端。

标志/参数	说明	默认值
`<id>`	评估器 ID。	必填
`--prompt-file <path>`	自定义评分标准文本文件。	—
`--model <name\|id>`	评判模型：`Doubao 2.0 Lite`、`Doubao 2.0 Pro`、`Doubao 2.0 Mini` 或模型 ID `1`、`2`、`3`。	—
`--input-schemas-json <json>`	输入字段 schema 的 JSON 数组。	—
`--evaluator-content-file <path>`	完整 `evaluator_content` JSON 文件。	—
`--evaluator-type <type>`	评估器类型；未传时保持不变。	保持不变
`--json`	输出原始 JSON。	`false`

agentkit eval evaluator update-draft <evaluator-id> \
  --prompt-file ./rubric.txt \
  --input-schemas-json '[{"key":"input"},{"key":"output"},{"key":"reference_output"}]'

evaluator version list

列出 TEA 评估器版本。

标志/参数	说明	默认值
`--evaluator <id\|name>`	评估器 ID 或精确名称。	必填
`-r, --region <region>`	Volcengine 区域。	环境变量
`--json`	输出原始 JSON。	`false`

agentkit eval evaluator version list --evaluator 相关性

evaluator version submit

提交 TEA 评估器草稿为一个版本。

标志/参数	说明	默认值
`<version>`	版本号，例如 `0.0.2`。	必填
`--evaluator <id\|name>`	评估器 ID 或精确名称。	必填
`--description <text>`	版本描述。	—
`--desc <text>`	`--description` 的别名。	—
`-r, --region <region>`	Volcengine 区域。	环境变量
`--json`	输出原始 JSON。	`false`

agentkit eval evaluator version submit 0.0.2 --evaluator 相关性 --description "更新评分标准"

evaluator delete

删除一个评估器。（别名：rm）

该命令会删除评估器。执行前核对目标；省略 --yes 时 CLI 会要求确认。

标志/参数	说明	默认值
`<id\|name>`	评估器 ID 或精确名称。	必填
`-p, --project <name>`	Coze 项目名称；TEA 后端忽略。	`default`
`-y, --yes`	跳过确认提示。	`false`

agentkit eval evaluator delete 相关性 -y

创建后使用 evaluator show 检查模型、提示词和输入字段。TEA 草稿需提交版本后才能作为明确版本用于实验；更改草稿后再次提交新版本，不要把草稿修改当作已有版本已更新

agentkit eval evaluator show 相关性
agentkit eval evaluator version submit 0.0.1 --evaluator 相关性
agentkit eval evaluator version list --evaluator 相关性

示例中的模板 key 和模型必须在当前后端可用。Coze 的模型参数使用账号可调用的方舟端点 ID，不能直接使用 TEA 的数字模型 ID

开始使用

AI-Friendly

命令参考

evaluator template list

evaluator template show

evaluator list

evaluator show

evaluator create

evaluator update-draft

evaluator version list

evaluator version submit

evaluator delete

​evaluator template list

​evaluator template show

​evaluator list

​evaluator show

​evaluator create

​evaluator update-draft

​evaluator version list

​evaluator version submit

​evaluator delete

evaluator template list

evaluator template show

evaluator list

evaluator show

evaluator create

evaluator update-draft

evaluator version list

evaluator version submit

evaluator delete