网络小说打分器

面向中文网文场景的本地单用户评测工具。当前正式结果固定为 overall + axes + optional typeAssessment，内部主线为 input_screening -> type_classification -> rubric_evaluation -> type_lens_evaluation -> consistency_check -> aggregation -> final_projection。

当前范围

• 官方运行口径：Windows + PowerShell
• 运行形态：apps/api 提供 API 并在进程内执行用户任务，apps/web 提供页面，apps/worker 只负责 eval / batch
• 代码真源：apps/api/src/api/routes.py、packages/application/、packages/schemas/、packages/runtime/、packages/prompt-runtime/、packages/provider-adapters/、prompts/、evals/
• 默认存储：SQLite，默认路径 var/novel-evaluation.sqlite3
• 上传格式：TXT / MD / DOCX
• 分析模式：long_opening_outline 用于长篇开篇正文 + 大纲，completed_fulltext 用于已完成全文；两者显式选择，不按材料缺口自动切换
• Playwright 默认基线：deterministic provider；真实 DeepSeek 只作为可选验收路径
• 真实模型默认：deepseek-v4-pro，思考模式 enabled，reasoning_effort=high

快速开始

前置依赖：Python 3.13、uv、Node.js 20+、pnpm。

.\scripts\setup.ps1
.\scripts\run-api.ps1
.\scripts\run-web.ps1

打开 http://127.0.0.1:3000/。默认可不配置 NOVEL_EVAL_DEEPSEEK_API_KEY 启动 API 和 Web，此时可以浏览历史与结果，但不能创建新任务。需要创建任务时，二选一：

1. 启动前通过 .env 或环境变量设置 NOVEL_EVAL_DEEPSEEK_API_KEY
2. API 启动时不带 key，然后在 /tasks/new 页录入一次性 runtime key

默认真实模型可在 .env 里通过 NOVEL_EVAL_DEEPSEEK_MODEL_ID 调整，当前支持直接改为 deepseek-v4-flash 走降本路径；NOVEL_EVAL_DEEPSEEK_THINKING 与 NOVEL_EVAL_DEEPSEEK_REASONING_EFFORT 控制 V4 思考模式。

上传大小和日志级别可通过 NOVEL_EVAL_UPLOAD_MAX_BYTES、NOVEL_EVAL_LOG_LEVEL 调整；完整环境变量见 .env.example。

本地 SQLite 可在关闭 API 后直接清空：删除 var/novel-evaluation.sqlite3，下次启动会重建空库。

文档入口

• 使用者：docs/runbook.md
• 维护者总览：docs/architecture.md
• 契约说明：docs/contracts.md
• 主链请求与 Prompt：docs/request-flow.md
• Prompt 与评测：docs/prompts-and-evals.md
• 总导航：docs/README.md

常用验证

uv run --project apps/api pytest apps/api/tests evals/tests
pnpm --dir apps/web test
pnpm --dir apps/web build
pnpm --dir apps/web test:e2e

真实 DeepSeek E2E 为可选补充：

$env:NOVEL_EVAL_DEEPSEEK_API_KEY = "<redacted-local-key>"
$env:NOVEL_EVAL_DEEPSEEK_THINKING = "disabled"
$env:NOVEL_EVAL_E2E_PROVIDER_MODE = "startup_key"
$env:NOVEL_EVAL_E2E_REAL_SCOPE = "auth_smoke"
pnpm --dir apps/web test:e2e -- e2e/provider-auth-smoke.spec.ts

$env:NOVEL_EVAL_E2E_REAL_SCOPE = "full_pipeline"
pnpm --dir apps/web test:e2e -- e2e/provider-full-pipeline-real.spec.ts

非目标

• 生产部署、多租户、鉴权、SSE、WebSocket
• 跨语言契约代码生成
• 多 provider 生产级编排

License / Contributing

本仓库按 Apache License 2.0 开源。提交改动前请先阅读 CONTRIBUTING.md。