eval: measure longitudinal feedback adaptation across corpora

[lipluscodex]

目的

trace-credited feedback が単発ではなく、複数の成功イベントを経た将来 retrieval に対して一貫した適応効果を持つかを検証する。複数 corpus / cluster の固定 cohort で treatment と no-mutation control の learning curve を比較する。

前提

• eval: validate trace-credited feedback adaptation #29 / eval: independently reproduce trace credited feedback adaptation #31 は単発 feedback の最小 fixture であり、長期系列・複数 corpus の一般化は未検証である。
• eval: independently reproduce trace credited feedback adaptation #31 の ceiling-aware policy は新規 experiment に適用するが、eval: validate trace-credited feedback adaptation #29 / eval: independently reproduce trace credited feedback adaptation #31 の artifact、result、gate、default は変更しない。

固定プロトコル

• development / holdout は各3以上の mutually-disjoint corpus cluster を持ち、過去 feedback-adaptation fixture、相互 split と doc path、node ID、source URL、normalized query、expected endpoint / edge type が重複しない。
• 各 cluster は同一の fixed corpus、config、limit、timestamps、feedback event schedule、scoring query schedule を control / treatment に共有する。
• horizon h=0,1,2,3 を固定する。control は成功 event を記録するが edge mutation を適用せず、treatment だけが relation trace の credited path を強化する。
• feedback query は scoring query と分離する。各 scoring path は runtime field を除く {source_id,target_id,edge_type} identity で検証する。
• result-free freeze には fixture、gold、provenance、contamination audit、manifest、implementation、tests、gate、stop rule を含め、観測後の変更・再実行を拒否する。

Primary gate

1. headroom cohort（h=0 control relation MRR < 1.0）では、treatment の final-horizon aggregate MRR が control より厳密に高く、3 corpus cluster すべてで退行しない。
2. ceiling cohort（h=0 control relation MRR = 1.0）では、ceiling-aware policy に従い non-regression を要求する。
3. 全 horizon で projected path、direct lexical / directional-negative control、credited-only mutation、uncredited edge不変、deterministic replay、contamination、exclusive output が通過する。
4. development の全 gate 通過時だけ holdout を一度開き、同じ rule を適用する。

主張範囲

• 通過しても、固定された少数 corpus / graph cluster 上での長期 relation retrieval 適応を支持するに留める。
• Agent の task success、tool call数、token、latency、production default、general corpus、autonomous feedback correctness は対象外。

対象ファイル

• src/neuron_graph_rag/longitudinal_feedback_experiment.py
• tools/run_longitudinal_feedback_experiment.py
• tools/audit_longitudinal_feedback_fixture.py
• tests/fixtures/d1_liplus_longitudinal_feedback_*
• tests/test_longitudinal_feedback_experiment.py
• docs/longitudinal-feedback-experiment.md
• docs/requirements.md
• README.md

[lipluscodex]

自己レビュー: NOT MERGING。CI と 111 tests は成功し、h=0..3 の trace-credit mechanism は構築 fixture 上で全 gate を通過している。しかし6 cluster の provenance は deterministic in-repository corpus fixture、source URL は同一 NGR 文書であり、独立 corpus / cross-repository 再現の根拠にはならない。

観測 artifact は immutable とし、protocol、fixture、gold、result、docs、code を観測後に変更・再実行しない。#38 は synthetic multi-cluster mechanism observation として未マージで保持し、実 D1 corpus の新しい完全分離 experiment でのみ cross-corpus 主張を評価する。