Fork 申请:MinerU 云 API 集成
你好!我是 feiyu169,已经 fork 了 dayu-agent 仓库,并在 feat/mineru-integration 分支上完成了 MinerU 云 API v4 的集成工作。
集成概述
在 dayu-agent 中集成了 MinerU 作为 PDF 解析优先后端,Docling 作为终极兜底,实现五层回退链:
- MinerU 云 API v4 单次(≤200 页)
- MinerU 云 API v4 分批(>200 页,page_ranges 服务端分页)
- MinerU 本地 CLI
- MinerU 本地 Python API
- Docling
新增文件
| 文件 |
行数 |
职责 |
dayu/document_protocol.py |
359 |
统一中间格式 ConvertedDocument + bbox 版本探测 |
dayu/mineru_runtime.py |
884 |
MinerU 云 API v4 集成(腾讯云 COS + 并发轮询 + zip 结果解析) |
dayu/quota_tracker.py |
179 |
配额跟踪器(持久化) |
dayu/cos_helper.py |
164 |
腾讯云 COS 上传/删除辅助 |
dayu/config/pdf_backend.py |
112 |
MinerU 配置模块 |
tests/test_mineru_basic.py |
306 |
30 个基础测试 |
tests/test_mineru_runtime.py |
458 |
26 个运行时测试 |
测试结果
- 56 测试全过(30 basic + 26 runtime)
- 快手 2025 年报 374 页端到端解析:73.6 秒,2398 sections,202 tables,113 images,345KB markdown
关键设计决策
- MinerU 云 API v4:
POST /api/v4/extract/task(JSON body + URL,不支持直传文件)
- page_ranges 服务端分页:替代客户端 pikepdf 拆分
- 腾讯云 COS 临时托管:PDF 上传获取公开 URL,解析后自动清理
- zip 结果下载:v4 API 通过
full_zip_url 返回 zip 包,内含 full.md + content_list_v2.json
Fork 仓库
如有兴趣合并或需要讨论设计方案,请随时联系。谢谢!
此 issue 由 Hermes Agent 自动创建
Fork 申请:MinerU 云 API 集成
你好!我是
feiyu169,已经 fork 了 dayu-agent 仓库,并在feat/mineru-integration分支上完成了 MinerU 云 API v4 的集成工作。集成概述
在 dayu-agent 中集成了 MinerU 作为 PDF 解析优先后端,Docling 作为终极兜底,实现五层回退链:
新增文件
dayu/document_protocol.pydayu/mineru_runtime.pydayu/quota_tracker.pydayu/cos_helper.pydayu/config/pdf_backend.pytests/test_mineru_basic.pytests/test_mineru_runtime.py测试结果
关键设计决策
POST /api/v4/extract/task(JSON body + URL,不支持直传文件)full_zip_url返回 zip 包,内含full.md+content_list_v2.jsonFork 仓库
feat/mineru-integration如有兴趣合并或需要讨论设计方案,请随时联系。谢谢!
此 issue 由 Hermes Agent 自动创建