eval: validate feedback on a single real D1 corpus

[lipluscodex]

目的

実在 D1 corpus の単一 source repository に限定し、trace-credited feedback が relation retrieval を改善する因果効果を、development / holdout 分離で検証する。cross-corpus 一般化、性能スケーリング、既定値変更は主張しない。

前提

#39 の production D1 read-only capacity audit で、Liplus-Project/github-rag-mcp には node / doc-path 分離可能な 3-edge cluster 候補が 2 組あることを確認した。これは #39 の「split ごとに3 source_repo」制約は満たさないが、単一 corpus 内の分離評価には使える。

制約

• acquisition は production D1 github-rag-fts の read-only SELECT / CTE のみ。各 query の rows_written=0、changes=0、changed_db=false と source URL / schema / coverage を provenance に残す。
• github-rag-mcp 内で development と holdout を node、doc path、source URL、credited edge identity の全てで分離する。各 split は少なくとも3 distinct credited relation edge を持つ。
• eval: validate trace-credited feedback adaptation #29 / eval: independently reproduce trace credited feedback adaptation #31 / eval: measure longitudinal feedback adaptation across corpora #37 / eval: validate longitudinal feedback on real D1 corpora #39 の fixture identity のみを denylist にし、gold、metric、gate、result は読まない。
• control と treatment は同じ feedback event を記録する。mutation は treatment の credited path だけに限定し、scoring query と feedback query は分離する。
• fixture、gold、provenance、manifest、gate、runner、tests を result-free で freeze / push してから development を一回だけ実行する。development gate 通過時だけ holdout を一回だけ実行する。観測後は再実行、fixture / gold / protocol / code / docs の変更をしない。
• baseline MRR < 1.0 の split は strict final improvement を要求する。baseline = 1.0 は safety gate 全通過の non-regression のみを許容し、改善主張に使わない。
• source URL の実在性、fixture disjointness、no-write、result hash / exclusive-write / no-recompute、path-credit、control non-mutation、holdout isolation を gate 化する。

成功条件

実在 github-rag-mcp corpus において、headroom のある登録済み holdout が strict relation-MRR improvement と全 safety gate を通過する。結果は単一 corpus の因果検証に限り、cross-corpus 一般化・大規模性能・production adoption を主張しない。

停止条件

D1 read-only acquisition で分離済み3-edge cluster、headroom、または source URL provenance を固定できない場合、結果artifactを生成せず issue に failure report を残して停止する。

[lipluscodex]

Decision Structure: Wiki entry single-corpus-real-feedback-validation is published at bd24869. Add its active row to docs/Decision-Structure.md in the repository PR; do not change the Wiki entry or _Sidebar.md.

[lipluscodex]

D1 read-only preflight failure report

結果 artifact を生成せず停止する。Issue #40 の single-corpus candidate/headroom と source URL provenance を current production D1 から固定するため、github-rag-fts に single SELECT のみを送ったが、現行 Wrangler OAuth credential は remote D1 request で Cloudflare authentication error (10000) となった。

• 実行 SQL は SELECT 集計のみで、write / administration statement は含まない。
• D1 は query 実行前に認可で失敗したため、rows_written / changes / changed_db の read-only evidence は取得不能である。
• fixture、gold、provenance、manifest、gate、runner result、development、holdout、aggregate はいずれも未生成・未実行である。
• 既存 eval: validate longitudinal feedback on real D1 corpora #39 の historical capacity report は current acquisition の代替にせず、candidate selection input として再利用しない。

再開条件は、production github-rag-fts への read-only query を認可できる credential を利用可能にし、fresh acquisition で source URL、identifier disjointness、各 split の 3 credited relation edge、headroom を検証できること。

[lipluscodex]

fresh D1 read-only acquisition failure report

条件を緩めず停止する。現在の production github-rag-fts へ fresh read-only SELECT / CTE を実行し、全応答で changes=0、rows_written=0、changed_db=false を確認した。

Liplus-Project/github-rag-mcp には 7 wiki node / 16 mention edge があり、単一 corpus 内で development と holdout がそれぞれ少なくとも 3 credited relation edge を持つ候補を探索した。しかし両 split の edge 数を満たす唯一の partition には Home doc path が必要であり、#31 fixture identity denylist と doc path が重複した。

• development / holdout の node ID、source URL、endpoint、edge identity を分離した candidate は作れたが、denylist audit は Home の重複で不合格になった。
• 同一の negative-control query も split 間重複として検出され、これも protocol を固定する前に不合格として扱った。
• fixture、gold、provenance、audit、manifest、runner、test の中間ファイルはすべて削除した。result artifact、development、holdout、aggregate、rerun はいずれも未生成・未実行である。

再開条件は、#29 / #31 / #37 / #39 denylist と doc path を含む全 identity 軸で分離しつつ、各 split に少なくとも 3 distinct credited relation edge を持つ fresh production D1 candidate を取得できること。