例行检查 / Checklist
- [ x ] 我已确认目前没有类似 issue (I have checked for similar issues)
- [ x ] 我已确认当前主版本线的最新补丁版本仍无法满足需求 (I have confirmed the latest patch release in my current major line does not meet this need)
- [ x ] 我已查看对应版本线的 README 和发布说明 (I have read the README and release notes for my release line)
- [ x ] 我不会在 issue 中提交任何凭据或令牌 (I will not include credentials or tokens in this issue)
- [ x ] 我理解并愿意跟进此 issue,协助测试和提供反馈 (I am willing to follow up on this issue, assist with testing, and provide feedback)
目标版本线 / Target Release Line
v2.0.0-rc.2
功能描述 / Feature Description
同一渠道存在聚合了多个渠道的模型,由于上游未聚合使用了不同模型id,实质是相同的模型。如下图中别名 deepseek-v4-flash-0731,实际上游提供了4个。如果沿用不同名称,就没有实现 GPT-LOAD 的 负载均衡
(多上游支持、权重配置、健康检查,智能路由到可用节点)效果。
若是采用不同的分组(渠道),感觉配置起来会过多不便于管理,渠道变动则要调整别名模型的相关分组,会过于繁琐。
应用场景 / Use Case
实现同一分组(渠道)内模型的负载均衡。
期望方案 / Desired Behavior
在同一分组(渠道)内放开别名重名做负载均衡或者以模型别名映射至虚拟分组等形式方便模型管理,实现对于下游客户端无用调整适配不同模型id的负载均衡。
兼容性、数据与安全影响 / Compatibility, Data, and Security Impact
不影响
备选方案 / Alternatives Considered
将同一渠道重复添加多个分组,每个分组添加一个模型做别名,缺点管理和后期改动复杂。
例行检查 / Checklist
目标版本线 / Target Release Line
v2.0.0-rc.2
功能描述 / Feature Description
同一渠道存在聚合了多个渠道的模型,由于上游未聚合使用了不同模型id,实质是相同的模型。如下图中别名 deepseek-v4-flash-0731,实际上游提供了4个。如果沿用不同名称,就没有实现 GPT-LOAD 的 负载均衡
(多上游支持、权重配置、健康检查,智能路由到可用节点)效果。
若是采用不同的分组(渠道),感觉配置起来会过多不便于管理,渠道变动则要调整别名模型的相关分组,会过于繁琐。
应用场景 / Use Case
实现同一分组(渠道)内模型的负载均衡。
期望方案 / Desired Behavior
在同一分组(渠道)内放开别名重名做负载均衡或者以模型别名映射至虚拟分组等形式方便模型管理,实现对于下游客户端无用调整适配不同模型id的负载均衡。
兼容性、数据与安全影响 / Compatibility, Data, and Security Impact
不影响
备选方案 / Alternatives Considered
将同一渠道重复添加多个分组,每个分组添加一个模型做别名,缺点管理和后期改动复杂。