eval: validate longitudinal feedback on real D1 corpora

[lipluscodex]

目的

実在 D1 corpus の複数 repository / graph cluster で、trace-credited feedback の長期適応を検証する。#37 の constructed multi-cluster artifact は mechanism observation として保持するが、cross-corpus evidence に使わない。

前提

• eval: measure longitudinal feedback adaptation across corpora #37 / PR eval: add longitudinal feedback adaptation experiment #38 は6 cluster すべてが in-repository constructed fixture であり、observed artifact は immutable・未マージのまま残す。
• 新実験は eval: validate trace-credited feedback adaptation #29 / eval: independently reproduce trace credited feedback adaptation #31 / eval: measure longitudinal feedback adaptation across corpora #37 の fixture identifier、gold、result を selection input にせず、識別子だけを denylist audit に使う。

実データ取得条件

• development / holdout は各3以上の mutually-disjoint D1 cluster を持つ。
• 各 split は少なくとも3つの異なる source_repo を含む。source URL は実在する GitHub repository file / Wiki page でなければならない。
• acquisition は D1 に対する read-only SELECT / WITH だけを許可し、schema fingerprint、query、row count、zero-write evidence、source repository、取得時刻、known gaps を provenance に保存する。
• development / holdout / prior fixture 間で doc path、node ID、source URL、normalized query、expected endpoint / edge type を重複させない。
• corpus または disjoint 3-edge cluster を確保できなければ、結果を生成せず failure report を残して停止する。

固定長期プロトコル

• 各 cluster は少なくとも3本の distinct credited relation edge を持つ。h=1,2,3 で異なる edge に対する success feedback を順に記録する。
• control / treatment は corpus、config、query、limit、timestamp、feedback schedule を共有する。control は mutation なしで同じ event を記録し、treatment だけが credited path を強化する。
• scoring query は feedback query と分離する。raw path は {source_id,target_id,edge_type} identity へ射影して比較する。
• headroom は h=0 control MRR < 1.0 で final aggregate strict improvement + per-cluster non-regression、ceiling は non-regression + safety gate を要求する。
• fixture、gold、provenance、audit、manifest、implementation、tests、gate、stop rule の result-free freeze push 後に development 一回、通過時のみ holdout 一回を許可する。

制約

• Agent end-to-end、default、router、learned model、production adoption は変更しない。
• fixture selectionで過去の observed metricを読まない。結果観測後の変更・再実行・再集計を拒否する。

対象ファイル

• src/neuron_graph_rag/real_corpus_longitudinal_feedback_experiment.py
• tools/acquire_real_corpus_longitudinal_feedback_fixture.py
• tools/run_real_corpus_longitudinal_feedback_experiment.py
• tools/audit_real_corpus_longitudinal_feedback_fixture.py
• tests/fixtures/d1_real_corpus_longitudinal_feedback_*
• tests/test_real_corpus_longitudinal_feedback_experiment.py
• docs/real-corpus-longitudinal-feedback-experiment.md
• docs/requirements.md
• README.md

[lipluscodex]

実データ取得 failure report

結果を生成せず停止する。development / holdout の各 split に必要な「3 source_repo・各3本の distinct credited relation edge を持つ mutually-disjoint cluster」を、実在 production D1 corpus から同時に確保できなかった。

read-only acquisition evidence

• 対象は production D1 github-rag-fts。実行した照会は single SELECT / WITH RECURSIVE のみである。
• 各 Wrangler 応答で rows_written=0、changes=0、changed_db=false を確認した。最終 component-capacity query は APAC/KIX primary で実行され、rows_read=81192、rows_written=0、changes=0、changed_db=false だった。
• doc_edges の relation-bearing source_repo は4件のみだった: Liplus-Project/liplus-language (240 edges), Liplus-Project/github-rag-mcp (16), Liplus-Project/github-webhook-mcp (6), Liplus-Project/dipper_ai (4)。各 repository は弱連結 component が1件だった。

capacity and denylist audit

• eval: validate trace-credited feedback adaptation #29 / eval: independently reproduce trace credited feedback adaptation #31 の既存 fixture と eval: measure longitudinal feedback adaptation across corpora #37 / PR eval: add longitudinal feedback adaptation experiment #38 の未マージ constructed fixture は、result / gold を読まず node、doc path、source URL 等の識別子だけを denylist audit 用に取得した。
• committed prior fixture identifiers を除外した後、liplus-language の実 D1 wiki-doc relation edge は2本だけだった。3-edge cluster を1件も作れない。
• dipper_ai は4-edge star で1 cluster だけ、github-webhook-mcp は6-edge graph で2本の node/doc-path-disjoint 3-edge cluster に分割できない。github-rag-mcp には3-edge disjoint 候補2組があるが、split ごとに3 repository を満たすために必要な残りの real-corpus capacity を補えない。
• source URL existence、fixture / gold / provenance / manifest / result の生成は、この必須 cluster 条件を満たせない時点で停止規則により行わなかった。

stop state

development、holdout、aggregate はいずれも未実行・未生成である。条件を緩めず、D1 corpus に新たな relation-bearing repository 又は identifier-disjoint 3-edge cluster が追加された後にのみ、新規 read-only acquisition から再開する。

[lipluscodex]

補足（identifier-only audit の固定）:

先の停止判定は doc-path denylist だけで既に成立しており、fixture / gold / result は生成していない。完全性のため、result / gold を一切読まず、現行 commit e6c2b69 の non-result fixture と PR #38 head 46f5f4f005d56e2ba7cfb9ceb219fce50d3c3bfe の6 constructed fixtureから identity fields のみを採取した。

• input fixture count: 21
• doc paths: 90, SHA-256 fff0156423ffb49397b1e5040cb08704acd68339219eef9458a9c23f4fbdca36
• node IDs: 93, SHA-256 2568678737d94db0b4fab4fc852ddaabb51da23bf23cb662a4f9823f50d7aaa6
• source URLs: 93, SHA-256 aac869e806027725cb618bf7cef92dae0f19ac4d02278dd03e5eaa6cd6df8d7e
• credited edge identities: 94, SHA-256 5314fde2d2431210743bbb9d93ec5f6d91dee085bf1451e043030081ba83f987

この identity set は denylist audit 用だけであり、#29 / #31 / #37 の gold、metric、gate、result は selection input として使用していない。stop state は不変である。