Skip to content

建议官方原生适配 Modellix.ai 多媒体中转服务(包含异步任务轮询及解耦优化) #31

Description

@numgpt

随着目前大媒体视频/图片生成模型(如 Wan2.7, Cling 3.0 等)的普及,官方原生 API (如 DashScope 等) 的算力与测试成本较高。Modellix.ai 作为高性价比的多媒体大模型中转平台,整合了海量低廉的多媒体 API 资源。为了能够让 VideoClaw 支持通过类似 Modellix.ai 这样的平台降低整体测试与生产成本,在此希望能官方适配。

经过本地的开发试验,我们已经成功搭建了一套可行的二开集成验证,希望官方可以参考并融入到主干代码中。

🛠️ 需要适配的核心技术痛点

视频与图片生成“异步任务(Asynchronous Pipeline)”机制的适配

VideoClaw 原有的图片与视频生成逻辑大多更偏向于同步阻塞。而 Modellix 全面采用了异步取餐小票机制,即 POST 请求只能立刻拿到 task_id。

建议方案:后端在 backend/models/ 下独立抽象出诸如 video_modellix.py 和 ModellixImageClient 的独立客户端,专门用来向接口发送请求并执行后台任务的非阻塞轮询机制(由 PROCESSING 轮询检查至 SUCCESS),直到成片后全自动拉取。

LLM/VLM 与多媒体模型的架构解耦(核心路由修正)

Modellix 官方模型池中不提供 chat 或 text-generation 类型(无文本大脑)。因此需要系统底层支持将 文本大模型(继续走原有的 DeepSeek/Qwen/OpenAI 等) 与 多媒体模型(走 Modellix 服务) 进行真正的逻辑分离与并行跨提供商(Provider)混调。

同时,需要对路由进行精细化分流。例如原有的代码可能会把含有 alibaba/... 命名的模型默认硬塞给 DashScope,需要支持根据具体的 Provider 建立分流判断。

文生图 (t2i) 与图生图 (edit) 的模型规则隔离

在第二阶段冷启动角色设计时,部分多媒体服务需要明确区分 text-to-image(文生图)与 image-to-image(图生图编辑模型),例如 alibaba/wan2.7-image-pro 与 -edit 模型的调用逻辑。避免前端由于默认规则误选 edit 类型的模型,导致请求缺少 images 字段而直接报错。

针对高延迟多媒体模型的并发与评审流调优

鉴于这类多媒体模型有明显的排队和轮询高延迟,建议在调用此类供应商时,可以考虑放开单并发限制(锁死为1会引起严重的多场景更串行等待)。

同时建议针对此类模型可以提供跳过 VLM 多轮交叉复评审判以及将默认 3 个参考图版数降低为 1 的轻量级性能/重试策略。

🚀 预期改进建议

后端在 models/config_model.py 中,能动态或硬编码的方式,将 Modellix 发现的多媒体模型(如 happyhorse 等)塞进整个系统的生产模型池(api/models 接口)中,并贴上对应的 image 或 video 标签,让前端下拉菜单正式建立 Modellix 的独立分组。

修复和理顺各提供商在多通道转发中的 api_key 覆写及 JSON 编解码(避免带 BOM 后重启无法加载)等边缘体验 Bug。

Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions