[Brownfield] Regression Shield — 사전 기준선 테스트 + 커버리지 갭 분석

[KyubumShin]

배경

현재 MPL의 5-Gate는 변경 후 테스트를 실행하여 통과율을 확인하지만, 변경 전 기준선이 없어 다음을 구분하지 못함:

• 내가 깨뜨린 테스트 vs 원래 깨져있던 테스트
• 새로 생긴 회귀 vs 기존 결함

또한, 변경할 코드에 테스트가 없는 **맹점(blind spot)**을 사전에 식별하지 못함.

제안

Gate 1 직전에 Targeted Regression Shield 추가.

구현 방안

1. 테스트 영향 매핑 (IRA 결과 기반):

   • 직접 테스트: 변경 파일을 직접 테스트
   • 간접 테스트: 변경 파일의 소비자를 테스트
   • E2E 시나리오: 변경 경로를 통과하는 E2E

2. 커버리지 갭 분석:

   • 변경할 함수 중 테스트 없는 것 → "위험 변경" 플래그
   • 파급 파일 중 커버리지 < 50% → "맹점 경고"

3. 사전 기준선 실행 (변경 전):

   • 영향받는 테스트를 먼저 실행 → 기준선 저장
   • 변경 후 동일 테스트 재실행 → 회귀 여부 판단
   • 기준선에서 이미 실패한 테스트 → 회귀 아닌 기존 문제로 분류

4. 위험 변경 시 자동 대응:

   • 테스트 없는 변경 → 해당 페이즈에 "회귀 테스트 작성" TODO 자동 추가
   • 저커버리지 파급 파일 → characterization test TODO 추가

예상 구현 난이도

• 낮음 (1-2일) — 테스트 실행 + 결과 저장/비교는 단순한 로직

참고

• gstack /qa의 회귀 테스트 자동 생성 참고
• Ouroboros의 Regression Gate (이전 통과 AC 퇴행 시 수렴 차단) 참고
• Hoyeon의 독립 검증자 (격리 컨텍스트 DoD 점검) 참고

[KyubumShin]

Review: v0.6.6 기준 분석

판정: 🏗️ Brownfield 전용 — 명확한 가치

기존 테스트 기준선(baseline) 비교는 Brownfield 리팩토링의 필수 기능.

현재 MPL 관련 기능

• Gate 1: 변경 후 테스트 실행 (baseline 없음)
• B-01: zero-test enforcement (테스트 0개 방지)
• B-02: runtime verification (빌드 + 실행 확인)

Brownfield에서 필요한 것

변경 전: npm test → 기준선 저장 (어떤 테스트가 이미 실패하는지)
변경 후: npm test → 기준선과 비교 → 새로 실패한 것만 = 회귀

구현 단순: Gate 1 이전에 baseline 실행 + 결과 diff. Brownfield 모드 출시 시 Gate 0.8 (Pre-Baseline) 형태로 삽입.

[KyubumShin]

Gate 0.8 (Pre-Baseline) 형태에 동의

변경 전: npm test → 기준선 저장
변경 후: npm test → 기준선과 비교 → 새로 실패한 것만 = 회귀

이 명확한 정의가 핵심입니다. 현재 Gate 1은 "변경 후 테스트 통과율 ≥ 95%"이지만, 원래 93%였으면 95%는 실제로 개선이고, 원래 100%였으면 95%는 회귀입니다. 기준선 없이는 이 구분이 불가능.

Gate 0.8 삽입 위치 제안:

기존:  Phase Execute → Gate 0.5(타입) → Gate 1(테스트) → ...
개선:  Phase Execute 시작 전 → Gate 0.8(기준선) → Phase Execute → Gate 0.5 → Gate 1(기준선 대비) → ...

Gate 0.8은 Phase 단위가 아닌 파이프라인 시작 시 1회만 실행하면 됩니다. 각 Phase의 Gate 1에서 이 기준선을 참조.

추가 가치: 기준선 데이터가 있으면, 파이프라인 완료 후 PR 설명에 before/after 테스트 결과 diff를 자동 포함할 수 있습니다:

## Test Results
- Before: 142 passed, 3 failed, 2 skipped
- After:  155 passed, 0 failed, 2 skipped
- New tests: +13, Fixed: 3, Regressions: 0