Skip to content

同分组内支持同别名模型的负载均衡 #520

Description

@ysmintor

例行检查 / Checklist

  • [ x ] 我已确认目前没有类似 issue (I have checked for similar issues)
  • [ x ] 我已确认当前主版本线的最新补丁版本仍无法满足需求 (I have confirmed the latest patch release in my current major line does not meet this need)
  • [ x ] 我已查看对应版本线的 README 和发布说明 (I have read the README and release notes for my release line)
  • [ x ] 我不会在 issue 中提交任何凭据或令牌 (I will not include credentials or tokens in this issue)
  • [ x ] 我理解并愿意跟进此 issue,协助测试和提供反馈 (I am willing to follow up on this issue, assist with testing, and provide feedback)

目标版本线 / Target Release Line

v2.0.0-rc.2

功能描述 / Feature Description

同一渠道存在聚合了多个渠道的模型,由于上游未聚合使用了不同模型id,实质是相同的模型。如下图中别名 deepseek-v4-flash-0731,实际上游提供了4个。如果沿用不同名称,就没有实现 GPT-LOAD 的 负载均衡
(多上游支持、权重配置、健康检查,智能路由到可用节点)效果。

若是采用不同的分组(渠道),感觉配置起来会过多不便于管理,渠道变动则要调整别名模型的相关分组,会过于繁琐。

Image

应用场景 / Use Case

实现同一分组(渠道)内模型的负载均衡。

期望方案 / Desired Behavior

在同一分组(渠道)内放开别名重名做负载均衡或者以模型别名映射至虚拟分组等形式方便模型管理,实现对于下游客户端无用调整适配不同模型id的负载均衡。

兼容性、数据与安全影响 / Compatibility, Data, and Security Impact

不影响

备选方案 / Alternatives Considered

将同一渠道重复添加多个分组,每个分组添加一个模型做别名,缺点管理和后期改动复杂。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions