流式测试不止看见文字
先确认当前模型与协议支持流式输出,再使用非敏感短提示测试事件解析。网络传输块不一定对应完整事件,应用需要按照协议进行缓冲和拼接,不能把每次读到的数据直接当成一条完整 JSON。
记录首段内容时间与整体完成时间,并验证正常结束、用户取消、连接中断和服务返回错误的路径。若协议将用量放在单独事件中,要检查是否收到;未收到时标为未知,不要记成零消耗。
用无副作用工具开始
工具调用需要模型、接口与客户端共同支持。先定义一个返回固定测试文本的本地函数,不接触文件删除、支付、邮件或真实数据库写入。模型给出的调用只是待校验的请求,不能直接转成任意代码执行。
- 校验工具名称、参数类型、必填字段与允许值。
- 按当前协议保存调用标识并回传工具结果。
- 为调用次数、执行时间和输出大小设置上限。
- 只在完整参数到齐并通过校验后执行;重连或重复事件不得重复触发副作用。
把通过条件写成记录
先分别测试流式文字与非流式工具调用,确认后再组合两种能力。观察工具参数分段、多个调用和工具返回后的继续生成,记录终止原因与最终输出。不要因为单轮示例成功就标记全部兼容。
发生中断时保留应用侧任务状态,明确哪些步骤已完成。为用户提供可理解的结果与恢复入口,避免静默重复执行。每次升级客户端、更换模型或调整协议后复测,并记录通过、失败和未覆盖项目。
参考资料
由 NexoToken 维护的自营资料站。平台介绍包含运营方利益关系,不构成独立第三方认证。