eval evaluator 命令组用于管理评估器(负责打分的评判模型):浏览预置模板、列出与查看已有评估器、从模板派生新评估器、删除评估器。评估器通常是一段带评分标准的提示词,配合一个大模型端点,接收若干输入字段(如 input、output、reference_output)后给出分数。
所有子命令共享
-p, --project <name>(项目名称,默认 default)与 --json(输出原始 JSON)。evaluator templates
浏览平台预置的评估器模板,作为创建自己评估器的起点。evaluator list
列出你在当前项目下的评估器。evaluator show
查看某个评估器的详情:评分标准提示词、模型配置与输入字段。evaluator create
创建一个评估器。最简单的方式是从预置模板克隆评分标准与输入 schema,再指定自己的模型端点。
需至少提供
--from-template 或 --prompt-file 之一。
evaluator delete
删除一个评估器。(别名:rm)