Fix: V27 production tag catalog와 OpenAI evaluation gate 정렬

[coconutcococode]

개요

V27 이후 production analyzer가 사용하는 canonical tag catalog는 47개인데, OpenAI evaluator 문서와 고정 snapshot은 V25의 43개를 계속 사용합니다. 또한 evaluator report에 catalog provenance가 없어 현재 production catalog를 평가한 결과인지 오프라인으로 판별할 수 없고, 합의된 acceptance gate도 실행 가능한 형태로 고정되어 있지 않습니다.

Root cause

• V27은 STYLE 4개(뉴트럴, 페미닌, 데일리룩, 오피스룩)를 추가합니다.
• MySQL migration gate는 현재 9:12:8:10:8:47:74 contract를 검증합니다.
• canonical-catalog.v25.json과 evaluator 문서는 43개 historical snapshot을 사용합니다.
• 현재 report는 catalog identity 없이 generatedAt/model/summary/cases만 기록합니다.

따라서 post-tuning evaluation이 성공해도 실제 post-V27 production catalog를 평가했다는 것을 재현 가능하게 증명할 수 없습니다.

작업

• historical canonical-catalog.v25.json을 변경하지 않는다.
• post-V27 47-tag current-production snapshot을 별도 추가한다.
• MySQL migration gate가 migrated DB의 (type,name) set과 snapshot의 exact equality를 검증한다.
• evaluator report v2에 catalog tag count와 exact-input SHA-256 identity를 기록한다.
• legacy/missing/mismatched identity를 거절하고 case 결과에서 metrics를 재계산하는 offline gate를 추가한다.
• 아래 acceptance criteria를 fixed rule ID와 boundary test로 검증한다.
• current-state 문서만 V27/47-tag contract로 정정한다.
• focused tests, clean build, MySQL migration gate, diff check를 수행한다.

Offline gate contract

• 5/5 success, final provider/parser failure 0, unknown 0
• FP ≤ 15
• MATERIAL FP ≤ 1
• MATERIAL+DETAIL+SILHOUETTE FP ≤ 10
• precision ≥ .30
• recall ≥ .5294
• FN ≤ 8
• F1 > .4000
• public-bottom-01 DETAIL/포켓 TP
• ai-bottom-02 DETAIL/턱 TP
• outer-01 TP ≥ 1

명시적 제외

• OpenAI API/evaluation 실행
• production smoke/deploy/DB write
• migration SQL 변경
• prompt/schema/parser/canonical acceptance 변경
• provider retry/timeout/x-request-id/CloudWatch/CloudFormation 변경
• GarmentPiece 및 recommendation 계약 변경
• Fashion-CLIP/embedding/visual reranking 관련 변경

유효한 post-tuning evaluation이 생기기 전까지 정확도 상태는 IMPLEMENTED_NOT_VALIDATED로 유지합니다.