Part of #85
Question
定产出质量的评估方法:抽样人工评 / LLM-as-judge 自动评 / 量化指标,或组合。要在方法票里回答:
- 评什么维度(结果回写结构完整度、任务达标度、review 有效性)
- 用什么评(judge prompt 谁写、人工抽样的比例与触发)
- 评出来记在哪、怎么被改进决策消费
素材口径(2026-08-18 用户裁决):方法开发与校准可用历史样本(#230 导入)+ 归档器现有样本;但正式评估对象是 dogfood 新样本(#132 线),方法定稿时要对新样本格式验证过。
Part of #85
Question
定产出质量的评估方法:抽样人工评 / LLM-as-judge 自动评 / 量化指标,或组合。要在方法票里回答:
素材口径(2026-08-18 用户裁决):方法开发与校准可用历史样本(#230 导入)+ 归档器现有样本;但正式评估对象是 dogfood 新样本(#132 线),方法定稿时要对新样本格式验证过。