ForkProbe：AI Skill 选型与试跑工具

别猜哪个 AI Skill 有用，直接并排看结果。

发布页 · English README · 下载 skill zip

ForkProbe 是一个 AI Skill 选型与试跑工具。它会把同一个任务交给模型本身和多个候选 skill，并排试跑，生成本地 HTML report，让你看到真实输出之后再选择 winner。

v0.6 新增视频剪辑成品对比： ForkProbe 会先把任务识别为产品宣传片、动效视频或口播粗剪，推荐同场景候选并等待确认，再并行生成或剪辑 MP4。Report 可以直接播放每一路成片，比较时长、分辨率、音轨、字幕、脚本/分镜或剪辑清单、FFmpeg 媒体 QA、耗时、token 和 AI 评审。v0.5 的网页成品对比以及此前的写作、PPTX、科研绘图和调研报告能力继续支持。

当网络上的 skill 越来越多时，问题不再是“有没有 skill”，而是“当前任务到底该用哪个 skill”。ForkProbe 的目标很直接：先把结果摊开，再让 Agent 沿着你选中的路径继续工作。

什么时候该用 ForkProbe

• 你不确定当前任务该用哪个 skill，想先看真实输出再决定。
• 你想比较 baseline 和多个 skill，而不是只相信 skill 的描述。
• 你的交付物是 PPTX、科研 figure package、调研报告、可运行网页或视频成片，需要看文件、预览和 QA。
• 你想引入 GitHub 或本地自带的 BYO skill，但希望先做一次小规模试跑。
• 不适合简单确定性任务：如果答案或工具路径已经很明确，直接执行会更快。

它怎么工作

flowchart LR
  A["你的任务"] --> B["候选 skills / pipelines"]
  B --> C["并行试跑"]
  C --> D["本地 report"]
  D --> E["AI 评审建议"]
  E --> F["你选择 winner"]
  F --> G["Continuation handoff"]

Loading

ForkProbe 把 skill 选择变成一个可观察的流程：

1. 根据当前任务推荐少量候选 skill 或 artifact pipeline。
2. 用同一份输入跑 baseline 和多个候选。
3. 展示每一路完整输出、耗时、token 估算、文件预览和 AI 评审建议。
4. 由你选择 winner。
5. 生成 continuation handoff，让 Agent 继续执行正式任务。

一句话触发

你不需要记命令。直接对 Agent 说：

先帮我比较几个 skill，看看哪个更适合当前任务。

或者更明确一点：

请用 forkprobe 推荐候选，等我确认后再并排执行并生成 report，让我选择 winner。

英文触发：

Compare a few skills first and see which one fits the current task better.

能力矩阵与候选推荐

候选推荐严格跟当前 README 能力矩阵对齐。baseline 表示不使用额外 skill 的参照组；+ presentations、+ Python/SVG renderer 表示策略 skill 需要搭配生成器形成完整成品 pipeline。外部 GitHub 候选进入执行前仍建议检查 license、依赖和最终产物路径。

场景	状态	Report 里看到什么	推荐候选
学术润色与 SCI 写作	已支持	多版本文本、AI 评审、winner 选择	baseline, research-paper-writing-skills, paper-writer-skill, nature-polishing, humanizer, academic-humanizer
自然化与风格改写 / 去 AI 味写作	已支持	不同风格稿件并排比较	baseline, writing-anti-ai, Humanizer-zh, humanizer, stop-slop, avoid-ai-writing, remove-ai-flavor-writing-skill
审稿回复与投稿材料	已支持	回复草稿、结构、语气对比	baseline, nature-response, paper-writer-skill, writing-anti-ai, research-paper-writing-skills
PPTX 成品生成	已支持	可打开的 PPTX、预览图、候选说明	baseline + presentations, nature-paper2ppt + presentations, academic-pptx-skill + presentations, ppt-master, md-slides
论文作图 / 科研绘图	已支持	PNG 预览、SVG/PDF/TIFF、代码、caption、QA	baseline-python-figure, scientific-visualization + Python/SVG renderer, nature-figure + Python/SVG renderer, plot-code-python, schematic-svg, graphical-abstract-svg
调研报告 / Research report	已支持	报告预览、sources.json、evidence table、claim checks、limitations、AI 评审	baseline-research-report, source-first-research, analyst-style-report, evidence-table-report, company-research-report, user-research-cookiy + report package
图片生成 / 生图比较	规划中	图片预览、文件链接、候选说明	暂不放固定候选；未来支持 image-generation pipelines
网页 / HTML 制作比较	已支持	可运行页面链接、桌面/移动端截图、QA、源码、AI 评审	baseline-web, Anthropic frontend-design, Hallmark, web-artifacts-builder, ui-ux-pro-max, web-design-engineer, baoyu-design
产品宣传片成品比较	已支持	MP4 播放、封面、字幕、脚本、分镜、源码、媒体 QA、AI 评审	baseline-remotion-agent, HyperFrames product-launch-video, video-shotcraft
动效视频成品比较	已支持	MP4 播放、动效规格、源码、时长/分辨率、媒体 QA、AI 评审	baseline-remotion-motion, HyperFrames motion-graphics, Remotion Bits
口播粗剪比较	已支持	粗剪 MP4、字幕、转写稿、剪辑清单/时间线、压缩时长、媒体 QA	auto-editor, video-editing-skill, video-use cut-only, chengfeng-videocut（实验）

六种工作模式

1. Text comparison

适合学术润色、自然化改写、审稿回复、投稿材料、PPT 方案/大纲等文本产物。

python3 scripts/compare.py \
  --input /tmp/forkprobe-input.txt \
  --skill baseline \
  --skill writing-anti-ai \
  --skill humanizer-zh \
  --skill remove-ai-flavor-writing-skill \
  --judge \
  --output /tmp/forkprobe-report.html

2. PPTX artifact comparison

如果用户目标是“做一个 PPT”或“生成 PPTX”，ForkProbe 会倾向比较成品生成 pipeline，而不是只比较文字大纲。策略 skill 必须搭配 presentations 或 pptx 这类生成器，完整 pipeline 才进入成品对比。

典型 shortlist：

• baseline + presentations
• academic-pptx-skill + presentations
• nature-paper2ppt + presentations
• ppt-master
• md-slides

生成每条 pipeline 的 PPTX 后，用 artifact report 展示文件链接、关键页预览和 AI 评审：

python3 scripts/render_artifact_report.py \
  --manifest /tmp/forkprobe-ppt-artifacts.json \
  --output /tmp/forkprobe-ppt-report.html

3. Figure artifact comparison

如果目标是论文作图、科研绘图、机制图、数据图或 graphical abstract，ForkProbe 会比较 figure 生成 pipeline。每条候选路径会生成一个 figure package，用 report 展示预览、源文件、caption 和 QA。

python3 scripts/figure_artifact.py \
  --input /tmp/forkprobe-figure-task.txt \
  --pipeline baseline-python-figure \
  --pipeline nature-figure-python \
  --pipeline plot-code-python \
  --skill-source 'https://github.com/K-Dense-AI/scientific-agent-skills#skills/scientific-visualization' \
  --run \
  --judge \
  --render-report \
  --report-output /tmp/forkprobe-figure-report.html

推荐产物包括 preview.png、figure.svg、figure.pdf 或 figure.tiff、源代码或矢量源文件、caption.md 和 qa.md。

4. Research report artifact comparison

如果目标是市场调研、公司调研、竞品分析、用户研究、文献综述或投研报告，ForkProbe 会比较 research report pipeline。每条候选路径会生成一个 research package，用 report 展示报告预览、来源、证据表、claim checks、limitations 和 AI 评审。

第一步必须先推荐候选，并等待用户确认：

python3 scripts/recommend.py --input /tmp/forkprobe-research-task.txt

确认候选后再运行 research artifact pipeline：

python3 scripts/research_artifact.py \
  --input /tmp/forkprobe-research-task.txt \
  --pipeline baseline-research-report \
  --pipeline source-first-research \
  --pipeline analyst-style-report \
  --pipeline evidence-table-report \
  --confirmed \
  --run \
  --judge \
  --render-report \
  --report-output /tmp/forkprobe-research-report.html

推荐产物包括 candidate-report.md、candidate-report.html、sources.json、evidence-table.md、claim-checks.md、limitations.md 和 summary.md。

5. Web artifact comparison

如果目标是 Landing Page、官网、Dashboard、Web App、报告页或 HTML 成品，ForkProbe 会先推荐网页生成候选，等待确认后再并行生成完整可运行页面。所有候选统一使用 1440x1000 和 390x844 视口截图，并执行本地资源、响应式、交互与基础可访问性 QA。环境中安装 Python Playwright 时，还会用真实浏览器测量移动端横向溢出；不可用时 qa.json 会明确记录该项未测量，而不会伪报通过。

第一步先推荐候选：

python3 scripts/recommend.py --input /tmp/forkprobe-web-task.txt

确认后运行网页成品对比：

python3 scripts/web_artifact.py \
  --input /tmp/forkprobe-web-task.txt \
  --pipeline baseline-web \
  --pipeline anthropic-frontend-design \
  --pipeline hallmark-web \
  --pipeline baoyu-design-web \
  --confirmed \
  --run \
  --judge \
  --render-report \
  --report-output /tmp/forkprobe-web-report.html

每条候选输出 site/index.html、desktop.png、mobile.png、qa.json、source.zip 和候选说明。Report 可切换桌面/移动端预览并直接打开成品页面。

6. Video artifact comparison

视频模式严格按场景分组，不会把产品宣传片、动效视频和口播粗剪混在同一轮评分。第一步先推荐候选并等待确认：

python3 scripts/recommend.py --input /tmp/forkprobe-video-task.txt

产品宣传片或动效视频确认后直接运行对应候选。口播粗剪必须使用 --asset 给所有候选提供同一个原始视频：

python3 scripts/video_artifact.py \
  --input /tmp/forkprobe-video-task.txt \
  --asset /path/to/source-video.mp4 \
  --pipeline auto-editor \
  --pipeline maxazure-video-editing \
  --pipeline video-use-cut-only \
  --pipeline chengfeng-cut-talking-head \
  --confirmed \
  --run \
  --judge \
  --render-report \
  --report-output /tmp/forkprobe-video-report.html

每条候选必须生成 video.mp4。ForkProbe 会用 ffprobe 检查时长、分辨率、编码和音轨，用 ffmpeg 生成统一封面，并根据场景检查字幕、脚本/分镜、动效规格或转写稿/剪辑清单。Report 内可直接播放成片。

支持的 Agent 工作流

• Claude Code / Claude 风格 skill 会话
• Codex 原生执行路径，并在失败时 fallback 到 OpenAI API
• OpenClaw、WorkBuddy、OpenCode 等自然语言 Agent 工作流
• “做一个 PPT”、“生成论文 figure”、“生成调研报告”、“制作网页成品”和“比较视频成片”这类 artifact comparison

安装

将本项目复制到你的 Agent skill 目录即可。

Claude Code：

cp -r forkprobe ~/.claude/skills/

Codex / 本地 Agent skill 目录：

cp -r forkprobe ~/.agents/skills/

安装核心依赖：

pip3 install jinja2

视频模式另外需要本机安装 FFmpeg，用于媒体探测、封面和统一 QA：

brew install ffmpeg

Codex App / Codex CLI 路径会优先使用本地 codex exec，继承你的 Codex 登录和模型配置，不需要 OPENAI_API_KEY。

如果要走 Claude SDK 或 API fallback，可选安装：

pip3 install claude-agent-sdk
pip3 install anthropic openai

其中 openai SDK 和 OPENAI_API_KEY 只用于 Codex native CLI 不可用或被关闭时的 OpenAI API fallback。

快速开始

创建输入文件：

echo "请润色这段文字，并保留原意。" > /tmp/forkprobe-input.txt

先让 ForkProbe 推荐候选：

python3 scripts/recommend.py --input /tmp/forkprobe-input.txt

确认候选后运行一次本地文本对比：

python3 scripts/compare.py \
  --input /tmp/forkprobe-input.txt \
  --skill baseline \
  --skill writing-anti-ai \
  --skill humanizer-zh \
  --skill remove-ai-flavor-writing-skill \
  --judge \
  --output /tmp/forkprobe-report.html

打开 report：

open /tmp/forkprobe-report.html

BYO、GitHub discovery 与 local-only

在正式对比前，scripts/recommend.py 可以先推荐候选。默认情况下，它会合并本地 curated 候选和 GitHub / 网络发现结果。网络搜索只使用经过清洗的任务信号，不会直接拿你的原始文档做搜索词。

python3 scripts/recommend.py --input /tmp/forkprobe-input.txt

如果只想使用本地候选：

python3 scripts/recommend.py --input /tmp/forkprobe-input.txt --local-only

BYO skill 支持本地路径、GitHub URL、repo#subdir 和 raw SKILL.md URL，例如：

https://github.com/Yuan1z0825/nature-skills#skills/nature-polishing

Report、winner 与 handoff

ForkProbe 的核心产物是本地 HTML report。文本模式展示每一路完整输出、耗时、token 估算和 AI 评审；artifact 模式展示 PPTX、figure package、research package、网页或视频成品的文件链接、预览/播放、候选说明、QA 和评审建议。

当用户在 report 中选择 winner 后，ForkProbe 会记录本地 verdict，并生成 continuation handoff。当前 Agent 可以沿用 winner 的风格、结构或文件产物继续完成正式任务。

如果目标是市场调研、公司调研、竞品分析、用户研究、文献综述或投研报告，forkprobe 会比较 research report pipeline。注意：这里必须先用推荐器展示候选并等待用户确认，不能直接运行 research_artifact.py --run。

python3 scripts/recommend.py --input /tmp/forkprobe-research-task.txt

确认候选后，每条候选路径会生成一个 research package，用 report 展示报告预览、来源、证据表、claim checks、limitations 和 AI 评审：

python3 scripts/research_artifact.py \
  --input /tmp/forkprobe-research-task.txt \
  --pipeline baseline-research-report \
  --pipeline source-first-research \
  --pipeline analyst-style-report \
  --pipeline evidence-table-report \
  --confirmed \
  --run \
  --judge \
  --render-report \
  --report-output /tmp/forkprobe-research-report.html

推荐产物包括 candidate-report.md、candidate-report.html、sources.json、evidence-table.md、claim-checks.md、limitations.md 和 summary.md。

隐私

• 任务内容保留在本地 report 和本地日志里。
• GitHub / 网络发现只使用清洗后的任务信号，不直接使用原始文档。
• 本地 verdict 日志只记录 winner、可选理由、report 路径和 continuation handoff。
• 如果不想联网，可以使用 --local-only，或明确说“只要本地候选”。
• 如果不想启动本地 verdict-capture server，可以使用 --no-server。
• 本地回写 token、CORS、远程 fetch 和命令执行说明见 SECURITY.md。

测试

Smoke tests：

python3 tests/test_smoke.py

Integration tests 需要真实模型/API 访问：

FORKPROBE_RUN_INTEGRATION=1 python3 tests/test_integration.py

项目结构

docs/       GitHub Pages 发布页和截图
scripts/    对比、推荐、报告和 verdict 工具
templates/  HTML report 模板
catalog/    curated skill 与 artifact pipeline catalog
tests/      smoke / integration tests
SKILL.md    Agent skill 指令

License

MIT，见 LICENSE。