提交前必读(请勿删除本节)
您当前的 newapi 版本
v1.0.0-rc.23-nexus.2
提交确认
功能描述
当前渠道页面的“响应”列只展示一个 response_time。该值实际表示渠道测试从发起到完整结束的总耗时,无法区分上游的首 Token 响应速度和后续生成耗时;同一个总耗时可能来自 TTFT 很高,也可能来自首 Token 很快但生成内容较长。
建议每次渠道测试记录并展示两个值:
- TTFT:从测试请求发起到收到第一个有效输出内容事件的耗时。SSE keep-alive、仅角色增量、usage-only chunk 等不应视为有效首 Token。
- 总耗时:从测试请求发起到完整响应读取、解析和校验结束的耗时,保持当前
response_time 的统计口径。
页面可在现有“响应”单元格内分两行紧凑展示,例如 TTFT 820 ms、总耗时 3.4 s;移动端渠道卡片同步展示。TTFT 与现有“TTFT 超时率”是不同指标,不应互相替代。
接口建议保持向后兼容:继续以 response_time 表示总耗时,新增独立的毫秒字段(例如 ttft),不要把 response_time 改为对象或改变其原有语义。手动单渠道测试和定时/批量渠道测试应更新同一组数据。非流式测试或未取得可靠首 Token 时间时,TTFT 显示 -,总耗时仍正常显示。
本需求只扩展现有渠道列表的最近一次测试结果,不依赖 #39 的渠道历史监控与百分位指标。
验收条件:
应用场景
管理员在渠道页面比较和排查上游质量时,需要快速判断“慢”发生在哪个阶段:TTFT 高通常意味着排队、网络或上游首响应慢;TTFT 低但总耗时高则可能只是模型生成较慢或测试输出较长。仅显示总耗时会混淆这两类情况,容易误判渠道质量和优先级配置。
提交前必读(请勿删除本节)
您当前的 newapi 版本
v1.0.0-rc.23-nexus.2提交确认
功能描述
当前渠道页面的“响应”列只展示一个
response_time。该值实际表示渠道测试从发起到完整结束的总耗时,无法区分上游的首 Token 响应速度和后续生成耗时;同一个总耗时可能来自 TTFT 很高,也可能来自首 Token 很快但生成内容较长。建议每次渠道测试记录并展示两个值:
response_time的统计口径。页面可在现有“响应”单元格内分两行紧凑展示,例如
TTFT 820 ms、总耗时 3.4 s;移动端渠道卡片同步展示。TTFT 与现有“TTFT 超时率”是不同指标,不应互相替代。接口建议保持向后兼容:继续以
response_time表示总耗时,新增独立的毫秒字段(例如ttft),不要把response_time改为对象或改变其原有语义。手动单渠道测试和定时/批量渠道测试应更新同一组数据。非流式测试或未取得可靠首 Token 时间时,TTFT 显示-,总耗时仍正常显示。本需求只扩展现有渠道列表的最近一次测试结果,不依赖 #39 的渠道历史监控与百分位指标。
验收条件:
response_time继续表示总耗时,已有接口消费者和按响应时间排序行为不被破坏。-,不伪造为0 ms。应用场景
管理员在渠道页面比较和排查上游质量时,需要快速判断“慢”发生在哪个阶段:TTFT 高通常意味着排队、网络或上游首响应慢;TTFT 低但总耗时高则可能只是模型生成较慢或测试输出较长。仅显示总耗时会混淆这两类情况,容易误判渠道质量和优先级配置。