跨平台的自动化JavDB爬虫工具，支持在Docker、PC、Android 移动端运行。本项目实现了在手机上手动过盾、后台静默爬取、WebUI 远程控制的闭环体验，能批量抓取指定目录，并根据自定义规则（中文字幕、无码、高清等）自动挑选出质量最高的磁力链接。
- Android 原生支持：基于 Chaquopy 框架，在手机内运行完整的 FastAPI + Uvicorn 后端。
- Android 端：利用原生 WebView 手动登录，Cookie 自动无缝同步。
- PC/Docker 端：采用
curl_cffi模拟 TLS 指纹，稳定穿透防护。 - Web 控制台：适配移动＆桌面屏幕尺寸，支持实时日志查看与任务管理。
- 自动选择磁力：按
中字无码 > 无码 > 中字 > 高清优先级自动筛选。 - 断点续传系统：支持任务挂起与救援，Cookie 失效后补充即可接力。
- Docker 化部署
- 下载安装：前往 [Releases] 下载最新的 APK 文件。
- 三步走启动：
- 第一步：点击
1. 手动登录过盾。在弹出的网页中完成 JavDB 登录并过掉 CF 验证，找到需要爬取的目标页面后点击 「复制当前链接」，最后点击关闭（Cookie 将自动接管）。 - 第二步：点击
2. 启动爬虫引擎。按提示授予通知权限与悬浮窗权限。 - 第三步：点击
3. 打开 WebUI。系统将跳转至浏览器访问127.0.0.1:8000，即可开始配置爬取任务。
- 第一步：点击
docker run -d \
--name=javdb-spider \
-p 8090:8000 \
-v /你的路径/appdata/javdb_spider/data:/app/data \
--restart=unless-stopped \
ghcr.io/你的用户名/javdb_spider:latest访问地址：http://NAS_IP:8090
# 1. 安装依赖
pip install -r requirements.txt
# 2. 进入核心目录并启动
cd spider_core
python -m uvicorn main:app --host 0.0.0.0 --port 8000- 起始页面 URL：进入老师主页，筛选好想要抓取的 Tag（如“单体”、“高清”），复制浏览器地址栏链接（支持在WebUI中动态获取过滤标签）。
- Android 端：建议直接在“手动登录过盾”的内置浏览器中浏览，并点击「复制当前链接」，然后直接在 WebUI 中粘贴，全程无需切换外部浏览器以防 Cookie 失效。
- Cookie & UA：
- Android 端：自动接管，无需手动填写（注意不要留空，随便填，避免触发前台检测）。
- PC/Docker 端：按
F5刷新页面，在开发者工具Network选项卡的第一个请求头中获取。
为了防止安卓系统在息屏后杀掉爬虫进程，请进行以下设置：
- 开启悬浮窗权限（核心要求）。
- 在“系统设置” -> “应用管理”中，将本 App 的电池策略设为无限制。
- 在多任务界面为 App 加锁。
├── app/ # Android 原生 Java 代码与资源
├── spider_core/ # 核心 Python 逻辑 (三端共享)
│ ├── frontend/ # WebUI 静态资源
│ ├── main.py # FastAPI 路由入口
│ └── spider_engine.py # 爬虫核心引擎
├── Dockerfile # Docker 构建脚本
├── build.gradle # 安卓构建配置
└── requirements.txt # Python 依赖清单
| 维度 | 要求 |
|---|---|
| Android | Android 8.0+ (推荐 11+), arm64-v8a 架构 |
| Docker | 支持 linux/amd64, linux/arm64 (支持树莓派) |
| Python | 推荐 3.12.x |
- 仅供学习：本项目仅用于 Python 爬虫技术研究与 Chaquopy 框架实践，请勿用于非法用途。
- 合规使用：请遵守目标网站的
robots.txt协议，合理控制爬取频率。 - 隐私安全：本项目为开源软件，不收集任何用户 Cookie 信息。用户需妥善保管个人凭据。