FDE01前线交付
实践手册 12

上线前,分别检查五件事

整体得分提高,也可能有任务不能上线。

本页内容本章内容思考与讨论对应练习参考资料

本章内容

请熟悉业务的人描述样例哪里出了错,把错误归类后再选指标。保留评价分歧和复查结果,找出执行过程最早在哪里出错,不只看最终回答。

分别检查任务结果、系统行为、人的使用体验、风险和运行支持。按任务或用户分组查看结果,也就是评估“切片”。高后果错误不能被其他组的好成绩抵消。

对智能体,还要查看多轮执行过程、最终业务状态,以及重复测试是否稳定。写清允许的任务、排除项、监控、停止负责人和重测条件;资料不足时先缩小范围。

试用前分别检查五件事
试用前分别检查五件事逐项检查,不能用总体好成绩抵消重大问题。按任务和用户分组查看结果,让有权限的负责人决定能否试用。任务结果系统行为用户体验风险运行支持继续试点 / 限制范围 / 停止
逐项检查,不能用总体好成绩抵消重大问题。按任务和用户分组查看结果,让有权限的负责人决定能否试用。左右滑动查看完整图表。

思考与讨论

总体得分提高时,哪些任务或用户组可能反而表现变差?

对应练习

继续阅读下方链接的课程,完成其中的练习。用对应模板写下你的判断、依据和待确认的问题,再按检查清单修改。有同伴时,互相看看哪些地方还不清楚。

参考资料

Anthropic / Demystifying evals for AI agents