评测 - AgentKit Documents

评测集保存用于检验智能体行为的用例，评测运行会重新执行这些用例并记录指标结果。本页索引 Agent API Server 的开发评测接口这些 /dev/... 接口需要启用开发界面，并安装评测依赖，见 Agent API Server 概述。Harness 部署使用对应评测接口

评测可能调用模型和工具，产生费用或执行外部操作。准备样本时应检查用户数据、工具权限和指标配置

评测工作流

先创建评测集，从已有会话添加用例，再选择指标运行评测。用例可以单独读取、替换或删除；运行后根据逐用例状态与指标结果判断是否通过

方法	路径	接口
POST	`/dev/apps/{app_name}/eval-sets`	创建评测集
GET	`/dev/apps/{app_name}/eval-sets`	列出评测集
POST	`/dev/apps/{app_name}/eval-sets/{eval_set_id}/add-session`	从会话添加评测用例
GET	`/dev/apps/{app_name}/eval_sets/{eval_set_id}/evals`	列出评测用例
GET	`/dev/apps/{app_name}/eval-sets/{eval_set_id}/eval-cases/{eval_case_id}`	获取评测用例
PUT	`/dev/apps/{app_name}/eval-sets/{eval_set_id}/eval-cases/{eval_case_id}`	更新评测用例
DELETE	`/dev/apps/{app_name}/eval-sets/{eval_set_id}/eval-cases/{eval_case_id}`	删除评测用例
GET	`/dev/apps/{app_name}/metrics-info`	列出评测指标
POST	`/dev/apps/{app_name}/eval-sets/{eval_set_id}/run`	运行评测
GET	`/dev/apps/{app_name}/eval-results`	列出评测结果
GET	`/dev/apps/{app_name}/eval-results/{eval_result_id}`	获取评测结果

以下接口供已有调用方继续使用。迁移时需检查各页的请求和响应差异，不能只替换 URL；列出评测用例目前仅提供上表中的下划线路径

方法	路径	接口
PUT	`/dev/apps/{app_name}/eval_sets/{eval_set_id}/evals/{eval_case_id}`	更新评测用例兼容接口
POST	`/dev/apps/{app_name}/eval_sets/{eval_set_id}/run_eval`	运行评测兼容接口
GET	`/dev/apps/{app_name}/eval_results`	列出评测结果兼容接口
POST	`/dev/apps/{app_name}/eval_sets/{eval_set_id}/add_session`	添加评测用例兼容接口
DELETE	`/dev/apps/{app_name}/eval_sets/{eval_set_id}/evals/{eval_case_id}`	删除评测用例兼容接口
GET	`/dev/apps/{app_name}/eval_sets/{eval_set_id}/evals/{eval_case_id}`	获取评测用例兼容接口
GET	`/dev/apps/{app_name}/eval_results/{eval_result_id}`	获取评测结果兼容接口
POST	`/dev/apps/{app_name}/eval_sets/{eval_set_id}`	创建评测集兼容接口
GET	`/dev/apps/{app_name}/eval_sets`	列出评测集兼容接口