eval: compare soft-start feedback on a fresh snapshot clone

[lipluscodex]

目的

現在の local NGR database の一貫した snapshot clone を source とし、現行 used + q3 + sibling normalization 1.0、confirmed-only、soft-start を fresh result-free protocol で比較する。soft-start が初回実利用から小さく学習しつつ、過剰強化と非対象 mutation を抑えられるかを確認し、local serving cutover の可否だけを判断する。

前提

• 現在の local MCP process は relation_feedback_evidence_quorum=3、sibling_feedback_normalization=1.0 を明示している。
• PR feat: add soft-start feedback reinforcement #103 は soft-start mechanics を default-off で追加した。live config / database はまだ変更していない。
• soft-start Decision Structure は、既存 database の snapshot clone、result-free freeze、fresh comparison 通過後だけ local serving を切り替えると定める。
• eval: validate evidence-gated local reinforcement #76 / eval: validate evidence gating with canonical gates #77、eval: compare used and confirmed feedback policies #85 / eval: compare used and confirmed feedback policies #86、real-task shadow v1 / v2 / v3 は frozen evidence であり、この評価へ遡及流用しない。

固定 arm

同一 snapshot、同一 query / node role / event order / checkpoint を次の arm へ適用する。

1. control: source-use / outcome を監査記録するが serving edge を変更しない。
2. used_q3_s1: evidence quorum 3、sibling normalization 1.0。
3. confirmed_r05_s1: confirmed-only、confirmation decay 0.5、sibling normalization 1.0。
4. soft_start_r025_r05_s1: soft-start ratio 0.25、confirmation decay 0.5、sibling normalization 1.0。

0.25 と 0.5 は結果観測前の比較値であり、library default または最終採用値を意味しない。観測後に調整しない。

Result-free freeze

• source database は SQLite backup API 等で transaction-consistent な local snapshot を一度だけ作り、source path、capture timestamp、schema identity、byte hash を登録する。評価は source database を書き込み可能で開かず、arm ごとに snapshot の別cloneだけを変更する。
• snapshot 本体やprivate node textをpublic repositoryへcommitしない。fixtureは最小限のnode / edge identifier、query、expected role、hash / provenanceだけを保持し、秘密・資格情報を含めない。
• case selection rule、query、used node、credited path、outcome role、checkpoint、engine config、metric、gate、result schema、exclusive writer、verifier、output pathをresult生成前に固定する。
• protocol freeze commitをpushする前に登録resultを生成しない。freeze後のdevelopmentを一回だけ実行し、全hard gate通過時だけholdoutを一回実行する。
• writer/verifier round-tripはplaceholder identityとtemporary outputだけで事前検証し、登録outputへprobeを書かない。
• observed resultの再実行、上書き、再集計、query / ratio / gate調整を禁止する。

Metricとgate

各checkpointで少なくとも以下を保存・再計算する。

• relation rank / MRR / Hit@k、score margin、top-k entry / exit、non-target churn
• credited edge、same-source sibling、unrelated edgeのweight / reinforced count / evidence count / confirmation count
• provisional、first-confirmed remainder、later decayのactual deltaと累積delta
• source-use / outcome receipt、idempotency replay、fresh-clone deterministic replay
• source snapshot / protocol / fixture / resultのintegrityとmutation scope

Development hard gate:

1. 全armでsnapshot hash、case identity、schedule、receipt、replay、exclusive outputが一致する。
2. soft-startはcheckpoint 1の最初のusedで正のprovisional deltaを適用し、最初のconfirmedとの合計が通常bounded update一回以下、後続deltaが固定decayに従う。
3. q3/s1はquorum前に不変、confirmed-onlyはconfirmed前に不変で、各armが固定policyどおり発火する。
4. confirmed cohortでsoft-startはcheckpoint 1のlearning latencyをq3/s1とconfirmed-onlyより改善し、最終checkpointでrelation qualityをq3/s1にnon-regressionとする。
5. corrected / negative cohortでsoft-startのprovisional costを隠さず保存し、事前固定した過剰反応上限を超えない。自動negative reinforcementやrollbackは追加しない。
6. lexical、zero-hop、別source、uncredited / unrelated edge、direct / reverse controlへmutationまたはrank regressionを漏らさない。
7. mutationはcredited edgeとconfirmation時のsame-source uncredited siblingだけに限定し、source databaseは不変である。

全hard gate通過時だけholdoutを一回開く。比較優位が成立しなければ不支持、protocol failureなら判定不能をそのまま保存し、candidateやgateを調整しない。

完了条件

• fresh snapshot acquisition、result-free protocol、fixture / manifest、runner、writer / verifier、tests、normative evaluation docを先にcommit / pushする。
• developmentを一回だけ実行し、全hard gate通過時だけholdoutを一回実行する。
• raw machine-readable resultと、支持 / 不支持 / 判定不能の日本語解釈を保存する。
• full core suite、optional MCP suite、eval smoke、frozen artifact verification、CIがgreenである。
• comparison結果からlocal soft-start cutoverの可否を判断するが、このissue内では C:\Users\smile\.codex\config.toml と source databaseを変更しない。

制約

• frozen manifest、fixture、packet、snapshot、registered hash、observed result、metric、gate、解釈を変更、再実行、再集計しない。
• source databaseにevaluation用node / edge / trace / feedback / outcomeを追加しない。
• snapshotやresultからprivate本文、credential、absolute private pathをpublic artifactへ漏らさない。
• controlled / local snapshot resultをexternal corpus generalization、production quality、library default採用として表現しない。

対象ファイル

• src/neuron_graph_rag/*evaluation*.py または新規evaluation module - snapshot clone comparisonとverifier
• tools/ - result-free probe、exclusive stage writer / verifier
• tests/fixtures/ - result-free manifest / schema /最小provenanceとexclusive observed result
• tests/ - integrity、replay、gate、privacy、source no-write regression
• docs/ / README.md / docs/Decision-Structure.md - normative protocol、observed interpretation、adoption boundary

Related

• feat: add soft-start feedback reinforcement #100 / PR feat: add soft-start feedback reinforcement #103 - soft-start mechanics
• eval: compare used and confirmed feedback policies #85 / PR eval: compare used and confirmed feedback policies #86 - frozen q3/s1 vs confirmed-only comparison
• eval: observe real-task feedback shadow batch #89 / PR eval: observe real-task feedback shadow batch #99 - frozen real-task shadow v3
• soft-start-feedback-reinforcement Decision Structure

[lipluscodex]

developmentを凍結protocolから一度だけ実行し、verifierがraw resultを受理しました。結果は completed / 不支持で、7 hard gate中6件が通過しました。

不合格はpolicy-boundariesのみです。対象credited edgeはsnapshot開始時点で既存evidence countが1だったため、q3/s1 armはfresh used_1後も不変でしたが、fresh used_2でquorum 3へ到達して+0.02のdeltaを適用しました。凍結gateが要求したfresh used_3発火とは一致しません。soft-start schedule、learning latency / relation quality、negative provisional bound、control rank / mutation safety、mutation locality / source isolationは通過しました。

停止規則に従ってholdoutは開かず、query、ratio、gate、protocolを変更していません。source databaseとlive configも変更していません。