Skip to content

PsyLens v1.1:多代理校准与内容体验统一 - #7

Merged
sherlock0717 merged 23 commits into
mainfrom
phase2/agent-calibration-and-copy
Jul 21, 2026
Merged

PsyLens v1.1:多代理校准与内容体验统一#7
sherlock0717 merged 23 commits into
mainfrom
phase2/agent-calibration-and-copy

Conversation

@sherlock0717

@sherlock0717 sherlock0717 commented Jul 21, 2026

Copy link
Copy Markdown
Owner

本次改动

  • 建立公开盲测样本与私有映射分离的校准数据结构;
  • 增加三个独立 reviewer Prompt、真实 OpenAI-compatible provider 与本地固定示例模式;
  • 增加共识、争议、重测稳定性和标签转移分析工具;
  • 增加公开文案检查器与 P1 发布门槛;
  • 简化 README、Pages 和方法文档中的术语与限制式表达;
  • 增加 Ubuntu/Windows 校准流水线 smoke 与公开安全检查;
  • 增加 --resume 运行身份校验,阻止不同模型、Prompt、温度或随机种子的结果混用。

数据与结果定位

  • data/public/** 的现有标签保持不变;
  • data/calibration/calibration_sample.csv 只包含盲测编号、脱敏文本、可选上下文和长度信息;
  • 来源、平台、原标签和重测关系保存在 gitignore 的私有映射中;
  • mock 结果统一标记为 mock_pipeline_self_test,只用于验证工具链;
  • 本 PR 未提交真实模型校准结果,也未将代理共识写成人工金标准;
  • 公开脱敏文本按原貌保留,方法声明仅指结构化来源字段未提供给代理。

验证结果

  • compileall:通过;
  • Ruff:通过;
  • pytest:86 passed;
  • 文案 P1 gate:通过;
  • mock 流水线:抽样、三路复检、共识、争议分析与续跑身份检查均通过;
  • Ubuntu CI:通过;
  • Windows CI:通过;
  • data/publicdocs/files 未改动。

审核结论

  • 公开盲测字段与重测关系已隔离;
  • 真实 provider 输出契约和恢复逻辑已补齐;
  • mock 数值未进入公开结果;
  • PR 文件范围符合 PsyLens v1.1 目标。

关联 Issue #6

Copy link
Copy Markdown
Owner Author

在线复核状态

Ubuntu 与 Windows 的 Public Release CI 均已完整通过:Ruff、70 项测试、文案 P1 gate、校准 mock smoke、公开字段安全检查、项目说明与 Demo 均为绿色。

当前 PR 继续保持 Draft,合并前补一项真实运行安全检查:

--resume 必须校验 run_id

agent_reviews_<reviewer>.jsonl 的文件名不含模型或参数信息。当前 --resume 只读取已完成的 blinded_item_id。若使用者更换 model、prompt、temperature 或 seed 后复用同一输出目录,程序会跳过旧项目并把旧结果当作本次运行结果。

修正要求:

  1. --resume 读取已有 JSONL 中的 run_id
  2. 仅当已有记录的 run_id 与当前 run_id 完全一致时允许续跑;
  3. 不一致时返回 resume_run_id_mismatch,提示使用新的输出目录;
  4. 新增测试:先用 seed A 写入,再用 seed B + --resume,必须被拒绝;
  5. AGENT_CALIBRATION_WORKFLOW.md 说明:续跑只适用于同一模型、Prompt 和参数组合。

该问题不影响本次 mock CI 结果,但关系到后续真实模型结果是否会被不同运行混合,因此在转为 Ready 前处理。

Copy link
Copy Markdown
Owner Author

补充一项表述校正:当前盲测实现隐藏的是平台字段、来源编号和重测关系,并未改写证据正文。正文可能自然包含“楼主、UP、评论区”等平台语境线索,因此文档和 Prompt 不宜表述为“看不到平台名称”或“完全平台盲化”。

建议统一改为:

代理不获得平台字段、来源编号、当前标签和重测关系;公开脱敏文本按原貌保留。

verify_mock_outputs.py 的成功提示也建议改为“无结构化来源与重测字段泄漏”,不要写成笼统的“无泄漏线索”。该调整不要求改写证据原文。

@sherlock0717
sherlock0717 marked this pull request as ready for review July 21, 2026 12:07
@sherlock0717
sherlock0717 merged commit 9823906 into main Jul 21, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant