问题描述
当提供商配置了多个模型(如 3 个)且未设置默认模型时,代理模式会默认使用第一个模型。但如果第一个模型当前不可用,会导致整个代理不可用。
场景复现
- 某提供商配置了 3 个模型:A、B、C
- 未设置默认模型
- 代理模式运行时,默认使用第一个模型(模型 A)
- 模型 A 当前不可用
- 结果:代理请求全部失败,即使模型 B 和 C 是可用的
建议优化方案
在使用代理模式时,将对应可用的模型列表一并写入配置文件,例如:
- 自动检测可用的模型
- 将可用模型列表写入配置
- 当默认模型不可用时,自动切换到可用模型
预期效果
- 避免因单个模型不可用导致代理整体不可用
- 提升代理模式的鲁棒性
- 用户无需手动配置默认模型
可能方案
代理模式初始化时,自动拉取提供商可用模型列表并写入配置文件,作为可选模型池;当默认模型请求失败时,自动 fallback 到其他可用模型。
问题描述
当提供商配置了多个模型(如 3 个)且未设置默认模型时,代理模式会默认使用第一个模型。但如果第一个模型当前不可用,会导致整个代理不可用。
场景复现
建议优化方案
在使用代理模式时,将对应可用的模型列表一并写入配置文件,例如:
预期效果
可能方案
代理模式初始化时,自动拉取提供商可用模型列表并写入配置文件,作为可选模型池;当默认模型请求失败时,自动 fallback 到其他可用模型。