AI가 스스로를 검증하지 못한다는 문제를, 실제로 속아본 방법으로 푼다.
여기 있는 것은 도구가 아니라 그 도구가 지금 살아 있는지 재는 법입니다. 검사가 조용한 것이 「깨끗함」인지 「죽음」인지 못 가르면, 그 검사로 얻은 모든 수치는 무의미합니다.
wholesale-price-index/ — 도매 가격지수
한국 농산물 도매 가격을 고정 바스켓으로 묶은 라스파이레스 지수. 2018년 = 100, 연간 9개년. 코드 · 입력 데이터 · 회귀 시험 8건이 함께 있어서 처음부터 다시 계산해 대조할 수 있습니다.
tools/ — 경계 검사
공개 저장소에 나가면 안 되는 것(절대경로 · 사용자명 · 키 · 개인정보 · 내부 망)이
섞였는지 커밋 전에 봅니다. 대조군이 도구 안에 들어 있습니다 — 양성·음성 표본을
본 검사보다 먼저 돌리고, 하나라도 어긋나면 본 검사를 하지 않고 종료 코드 2로 끝냅니다.
검사가 죽었을 때 0건이 아니라 죽었다고 말하기 위해서입니다.
(개수는 문서에 안 적습니다 — 실행 출력에 찍힙니다. 적어 뒀더니 늙었습니다.)
--mutate 로 대조군에 이빨이 있는지도 잽니다 — 패턴을 하나씩 죽여 보고 대조군이
비명을 지르는지 봅니다. 대조군이 있다는 것과 작동한다는 것은 다른 문장이라서입니다.
전부는 CLAUDE.md에 있습니다. 핵심만 옮기면:
- 양성 대조군을 도구 안에 넣는다. 음성 대조군도 함께 — 없으면 과잉 검사를 못 본다. 자기가 만든 문자열로 자기를 시험하면 동어반복이므로, 실제 대상에 돌려 잡히는지 본다.
0을 근거로 쓰려면 분모를 함께 적는다. 관측이 0이어도 참 비율의 상한은 대략3/n이다.- 안 잰 것은 「안 쟀다」고 적는다. "없다" 와 "못 찾았다" 와 "안 봤다" 는 다른 문장이다.
- 규칙을 세우면 반증자를 함께 적는다 — 어떤 관찰이 이 규칙을 틀렸거나 쓸모없게 만드나.
이 규칙들이 실제로 작동했는지는 커밋 이력에 남아 있습니다. 예를 들어 경계 검사기의 음성 대조군은 만드는 도중 오탐 9,572건과 우리가 넣은 정규식 버그 하나를 잡았고, 검사기가 자기 문서를 잡은 적도 있습니다(두 번).
그리고 "우리 데이터로만 재는 건 동어반복" 이라 적어 뒀던 것을 실제로 지켰습니다 —
한 번도 안 본 제3자 저장소 5곳(파일 1,189 · 줄 267,549)에 돌려 **오탐률 3.7%**를
쟀습니다. 고친 뒤 수치는 같은 데이터라서 인용하지 않습니다. 놓친 것(위음성)은
정답지가 없어 안 쟀다고 적었습니다. → tools/README.md
그게 이 저장소의 목적입니다. 수치가 이상하거나, 「아닌 것」에 없는 함정을 발견하셨거나, 저희가 "안 쟀다" 고 적은 것을 재보셨다면 Issues로 알려주십시오.
"잘 쓰고 있다" 보다 "여기가 틀렸다" 가 저희에게 더 값집니다.
무엇을 물어야 할지 모르겠다면, 저희가 답을 모르는 질문들이 가격지수 README 맨 아래에 있습니다.
이 저장소는 스스로에게도 같은 자를 댑니다.
성공 판정 = "우리를 모르는 사람이 여기 있는 것으로 자기 문제를 찾아내고, 그것을 알려온다." 날짜가 아니라 사건으로 판정합니다.
기준선 (2026-08-14, 발행 시점)
| 이 저장소로 알려온 사건 | 0건 |
| 앞서 공개한 저장소 5개의 issue·fork 합계 | 0건 (최소 5개월 경과) |
측정 기록 전부와 앞으로 무엇을 할지는 OBSERVATION.md에 있습니다.
안 된 것을 먼저 적어 뒀습니다.
반증자 — 오래 조용한 것은 "우리가 게을렀다" 가 아니라 "이 방법이 우리한테만 필요한 것이었다" 일 수 있습니다. 그 가능성을 열어둔 채 시작합니다. 반대로 사람들이 쓰는데 아무 문제도 안 나오면, 그때는 도구가 아니라 대조군부터 의심합니다.
클론 수는 지표로 쓰지 않습니다. 앞서 공개한 것 중에는 조회 0회에 클론 177명인 것이 있었습니다 — 사람이 아니라 자동화입니다. 그걸 「발견」으로 세면 잰 것은 대상이 아니라 관측 조건입니다.