Skip to content

Fork 申请:MinerU 云 API v4 集成方案 #160

Description

@feiyu169

Fork 申请:MinerU 云 API 集成

你好!我是 feiyu169,已经 fork 了 dayu-agent 仓库,并在 feat/mineru-integration 分支上完成了 MinerU 云 API v4 的集成工作。

集成概述

在 dayu-agent 中集成了 MinerU 作为 PDF 解析优先后端,Docling 作为终极兜底,实现五层回退链:

  1. MinerU 云 API v4 单次(≤200 页)
  2. MinerU 云 API v4 分批(>200 页,page_ranges 服务端分页)
  3. MinerU 本地 CLI
  4. MinerU 本地 Python API
  5. Docling

新增文件

文件 行数 职责
dayu/document_protocol.py 359 统一中间格式 ConvertedDocument + bbox 版本探测
dayu/mineru_runtime.py 884 MinerU 云 API v4 集成(腾讯云 COS + 并发轮询 + zip 结果解析)
dayu/quota_tracker.py 179 配额跟踪器(持久化)
dayu/cos_helper.py 164 腾讯云 COS 上传/删除辅助
dayu/config/pdf_backend.py 112 MinerU 配置模块
tests/test_mineru_basic.py 306 30 个基础测试
tests/test_mineru_runtime.py 458 26 个运行时测试

测试结果

  • 56 测试全过(30 basic + 26 runtime)
  • 快手 2025 年报 374 页端到端解析:73.6 秒,2398 sections,202 tables,113 images,345KB markdown

关键设计决策

  1. MinerU 云 API v4POST /api/v4/extract/task(JSON body + URL,不支持直传文件)
  2. page_ranges 服务端分页:替代客户端 pikepdf 拆分
  3. 腾讯云 COS 临时托管:PDF 上传获取公开 URL,解析后自动清理
  4. zip 结果下载:v4 API 通过 full_zip_url 返回 zip 包,内含 full.md + content_list_v2.json

Fork 仓库

如有兴趣合并或需要讨论设计方案,请随时联系。谢谢!


此 issue 由 Hermes Agent 自动创建

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions