Skip to content

オブザーバビリティ: recall eval の CI 定点観測 (baseline付) + distill バックプレッシャの可視化 #37

Description

@senna-lang

動機

eval/RESULTS.md はあるが baseline が無く、k/min_exchanges/融合パラメータ調整の効果を定量化できない。またローカルLLM経路の distill 失敗が今は見えない。

提案

  • recall eval CI: BM25 単独 / HNSW 単独 / RRF の Recall@k・MRR@10 を定点観測する CI。検索の KNN k 調整等の効果検証に直結。
  • distill 可視化: loci status に pending distill 件数と最後の distill 失敗理由を表示。

受け入れ基準

  • CI が baseline 比較付きで recall 指標を出力。
  • loci status が distill キュー深さと直近エラーを表示。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions