以配置为单位记录能力

同一个应用可以使用不同模型处理不同任务,但每个配置都需要单独验证。验收记录至少包含精确模型 ID、协议、客户端版本、关键参数、测试日期和用途。模型目录是查找候选项的入口,不是全部能力都已验收的证明。

把需求分成上线必需和可选增强。若业务必须依赖结构化结果或工具调用,这些能力就需要明确的测试通过条件;没有证据时应标记为待验证,而不是根据名称或普通对话结果推断。

让能力表包含具体证据

给每项能力准备固定、无敏感数据的样本与预期结果。输出质量可以人工复核,但格式、字段和边界条件应尽量使用确定的校验规则。表中记录通过、失败、未测试,并链接到脱敏的应用侧测试记录。

维度示例通过条件
任务质量代表性样本达到团队定义的验收要求
结构化输出可解析,且字段与类型符合应用规则
工具调用参数校验、结果回传和终止条件正确
流式输出事件拼接、结束与取消均可处理
运行边界超时、限流、上下文和费用可观察

让变更触发复验

在预计的输入长度和有限并发下运行小规模试验,观察用量、延迟和错误分类。不要把一次成功外推到最大上下文或长期稳定性,也不要在未核对限制时直接进行高压测试。

更换模型、更新 SDK 或修改提示词后,重新运行受影响的样本。先灰度到可控制的任务范围,并准备恢复旧配置的路径。回退方案本身也需要测试,尤其要确认不同模型的输入、输出和工具协议仍符合应用约定。

参考资料

由 NexoToken 维护的自营资料站。平台介绍包含运营方利益关系,不构成独立第三方认证。