> ## Documentation Index
> Fetch the complete documentation index at: https://docs.veadk.xyz/llms.txt
> Use this file to discover all available pages before exploring further.

# 管理评估器

`eval evaluator` 命令组用于管理评估器：浏览内置模板、列出和查看已有评估器、创建评估器、更新 TEA 草稿、提交 TEA 版本，以及删除评估器。评估器通常是一段带评分标准的提示词，配合评判模型，接收若干输入字段后给出分数或分布。

<Note>
  `--project` 只用于 Coze 评测后端；TEA 后端会忽略该参数。TEA 版本相关命令仅在 TEA 评测后端可用。
</Note>

## evaluator template list

列出内置评估器模板。`evaluator templates` 是兼容入口，等价于 `evaluator template list`。

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `--type <type>` | TEA 内置模板类型；可传 `prompt` 或数字类型。 | `prompt` |
| `--locale <locale>` | TEA 模板语言；`cn` 或 `zh-CN` 会追加中文 locale。 | `zh-CN` |
| `-p, --project <name>` | Coze 项目名称；TEA 后端忽略。 | `default` |
| `--json` | 输出原始 JSON。 | `false` |

```bash lines theme={null}
agentkit eval evaluator template list
agentkit eval evaluator templates --type prompt
```

## evaluator template show

查看内置评估器模板详情，包括提示词和输入字段。

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `<key>` | TEA 模板 key，或 Coze 模板 ID / 名称。 | 必填 |
| `--type <type>` | TEA 内置模板类型；可传 `prompt` 或数字类型。 | `prompt` |
| `--language <type>` | TEA 代码模板的 `language_type`。 | — |
| `--locale <locale>` | TEA 模板语言；`cn` 或 `zh-CN` 会追加中文 locale。 | `zh-CN` |
| `-p, --project <name>` | Coze 项目名称；TEA 后端忽略。 | `default` |
| `--json` | 输出原始 JSON。 | `false` |

```bash lines theme={null}
agentkit eval evaluator template show relevance
```

<span id="evaluator-template-list-2" />

## evaluator list

列出当前项目或工作区下的评估器。

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `-p, --project <name>` | Coze 项目名称；TEA 后端忽略。 | `default` |
| `--json` | 输出原始 JSON。 | `false` |

```bash lines theme={null}
agentkit eval evaluator list
```

## evaluator show

查看某个评估器的详情：评分标准提示词、模型配置与输入字段。TEA 后端可指定要查看的评估器版本。

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `<id\|name>` | 评估器 ID 或精确名称。 | 必填 |
| `--evaluator-version <id\|name>` | TEA 评估器版本 ID 或版本号，例如 `0.0.1`。 | — |
| `-p, --project <name>` | Coze 项目名称；TEA 后端忽略。 | `default` |
| `--json` | 输出原始 JSON。 | `false` |

```bash lines theme={null}
agentkit eval evaluator show 相关性

agentkit eval evaluator show 相关性 --evaluator-version 0.0.1
```

## evaluator create

创建评估器。可以从内置模板克隆评分标准与输入 schema，也可以用自定义提示词文件定义评估器。

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `--name <name>` | 评估器名称。 | 必填 |
| `--from-template <key\|id\|name>` | 从内置模板克隆评分标准与 schema。TEA 使用模板 key；Coze 使用模板 ID 或名称。 | — |
| `--model <name\|id>` | 评判模型。TEA 可用 `Doubao 2.0 Lite`、`Doubao 2.0 Pro`、`Doubao 2.0 Mini` 或模型 ID `1`、`2`、`3`；Coze 使用方舟端点 ID。 | — |
| `--prompt-file <path>` | 自定义评分标准文本文件。 | — |
| `--description <text>` | 评估器描述。 | — |
| `--input-schemas <keys>` | 逗号分隔的输入字段 key；仅 TEA 后端使用。 | — |
| `-p, --project <name>` | Coze 项目名称；TEA 后端忽略。 | `default` |
| `--json` | 输出原始 JSON。 | `false` |

Coze 后端需至少提供 `--from-template` 或 `--prompt-file` 之一。TEA 后端可以从模板创建，也可以使用自定义提示词和输入字段创建。

```bash lines theme={null}
agentkit eval evaluator create \
  --name 相关性 \
  --from-template relevance \
  --model "Doubao 2.0 Pro"
```

在执行自定义评估器示例前，创建 `rubric.txt`：

```text title="rubric.txt" lines theme={null}
问题：{{input}}
参考答案：{{reference_output}}
实际回答：{{output}}
判断实际回答是否正确回答问题并与参考答案一致
正确且完整记为 1，否则记为 0，并简要说明评分原因
```

```bash lines theme={null}
agentkit eval evaluator create \
  --name 自定义评分 \
  --prompt-file ./rubric.txt \
  --input-schemas input,output,reference_output \
  --model 2
```

<Tip>
  提示词中用 <code>{'{{input}}'}</code>、<code>{'{{output}}'}</code>、<code>{'{{reference_output}}'}</code> 这样的占位符引用输入字段；这些字段名即评估器的输入 schema，会在 [`eval run`](/productions/agentkit-cli/preview/zh/commands/eval/run) 中被自动映射。
</Tip>

## evaluator update-draft

更新 TEA 评估器草稿。传入 `--evaluator-content-file` 时，该 JSON 文件会作为完整评估器内容使用，并覆盖 `--prompt-file`、`--model` 与 `--input-schemas-json`。

<Note>
  `evaluator update-draft` 仅支持 TEA 评测后端。
</Note>

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `<id>` | 评估器 ID。 | 必填 |
| `--prompt-file <path>` | 自定义评分标准文本文件。 | — |
| `--model <name\|id>` | 评判模型：`Doubao 2.0 Lite`、`Doubao 2.0 Pro`、`Doubao 2.0 Mini` 或模型 ID `1`、`2`、`3`。 | — |
| `--input-schemas-json <json>` | 输入字段 schema 的 JSON 数组。 | — |
| `--evaluator-content-file <path>` | 完整 `evaluator_content` JSON 文件。 | — |
| `--evaluator-type <type>` | 评估器类型；未传时保持不变。 | 保持不变 |
| `--json` | 输出原始 JSON。 | `false` |

```bash lines theme={null}
agentkit eval evaluator update-draft <evaluator-id> \
  --prompt-file ./rubric.txt \
  --input-schemas-json '[{"key":"input"},{"key":"output"},{"key":"reference_output"}]'
```

## evaluator version list

列出 TEA 评估器版本。

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `--evaluator <id\|name>` | 评估器 ID 或精确名称。 | 必填 |
| `-r, --region <region>` | Volcengine 区域。 | 环境变量 |
| `--json` | 输出原始 JSON。 | `false` |

```bash lines theme={null}
agentkit eval evaluator version list --evaluator 相关性
```

## evaluator version submit

提交 TEA 评估器草稿为一个版本。

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `<version>` | 版本号，例如 `0.0.2`。 | 必填 |
| `--evaluator <id\|name>` | 评估器 ID 或精确名称。 | 必填 |
| `--description <text>` | 版本描述。 | — |
| `--desc <text>` | `--description` 的别名。 | — |
| `-r, --region <region>` | Volcengine 区域。 | 环境变量 |
| `--json` | 输出原始 JSON。 | `false` |

```bash lines theme={null}
agentkit eval evaluator version submit 0.0.2 --evaluator 相关性 --description "更新评分标准"
```

## evaluator delete

删除一个评估器。（别名：`rm`）

<Warning>
  该命令会删除评估器。执行前核对目标；省略 `--yes` 时 CLI 会要求确认。
</Warning>

| 标志/参数 | 说明 | 默认值 |
| - | - | - |
| `<id\|name>` | 评估器 ID 或精确名称。 | 必填 |
| `-p, --project <name>` | Coze 项目名称；TEA 后端忽略。 | `default` |
| `-y, --yes` | 跳过确认提示。 | `false` |

```bash lines theme={null}
agentkit eval evaluator delete 相关性 -y
```

创建后使用 `evaluator show` 检查模型、提示词和输入字段。TEA 草稿需提交版本后才能作为明确版本用于实验；更改草稿后再次提交新版本，不要把草稿修改当作已有版本已更新

```bash lines theme={null}
agentkit eval evaluator show 相关性
agentkit eval evaluator version submit 0.0.1 --evaluator 相关性
agentkit eval evaluator version list --evaluator 相关性
```

示例中的模板 key 和模型必须在当前后端可用。Coze 的模型参数使用账号可调用的方舟端点 ID，不能直接使用 TEA 的数字模型 ID