Skip to content

feat: 代理模式应自动将可用模型列表写入配置,避免因默认模型不可用导致代理失败 #43

Description

@cycle2zhou

问题描述

当提供商配置了多个模型(如 3 个)且未设置默认模型时,代理模式会默认使用第一个模型。但如果第一个模型当前不可用,会导致整个代理不可用。

场景复现

  1. 某提供商配置了 3 个模型:A、B、C
  2. 未设置默认模型
  3. 代理模式运行时,默认使用第一个模型(模型 A)
  4. 模型 A 当前不可用
  5. 结果:代理请求全部失败,即使模型 B 和 C 是可用的

建议优化方案

在使用代理模式时,将对应可用的模型列表一并写入配置文件,例如:

  • 自动检测可用的模型
  • 将可用模型列表写入配置
  • 当默认模型不可用时,自动切换到可用模型

预期效果

  • 避免因单个模型不可用导致代理整体不可用
  • 提升代理模式的鲁棒性
  • 用户无需手动配置默认模型

可能方案

代理模式初始化时,自动拉取提供商可用模型列表并写入配置文件,作为可选模型池;当默认模型请求失败时,自动 fallback 到其他可用模型。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions