NCS 수리 실사용에서 반복 출력과 잘못된 채점이 재현됨

[kimsungmin1011]

실사용 검증 결과

• NCS 코치 구현의 고정 검수 문항을 실제 기본 모델 local/qwen3.6-35b로 평가하던 중 잘못된 산술·채점을 재현함.
• 이 모델은 카탈로그에서 hybrid로 분류됨. 실제 backend의 물리적 위치나 모델 전체 성능에 대한 결론은 아님.

합성 입력과 정답

• A팀 12명의 평균 70점, B팀 8명의 평균 95점일 때 전체 평균을 물음.
• 선지: 1번 80점, 2번 77.5점, 3번 82.5점, 4번 85점임.
• 검산: (12×70 + 8×95)÷20 = 1600÷20 = 80이므로 정답은 1번임.

관찰

• 첫 요청에서 1600÷20=82.5에 해당하는 잘못된 계산을 반복 출력하여 수동 중지함.
• 독립 세션에서 동일 문항을 1회 재시도한 완결 응답도 3번을 선택하고 1600÷20=82.5로 설명함.
• 올바른 80점 선지를 단순 평균의 결과라고 잘못 소거함. 실제 단순 평균은 82.5점임.
• 정답 fixture는 Fraction 기반 별도 계산으로 재검증함.

후속 검토

• 기능·설치·권한 테스트 통과를 채점 정확도 보장으로 해석하지 않음.
• 출제·채점 시범 배포 전에 오산·오답 해설·반복 출력 품질 기준을 추가로 충족해야 함.
• 해당 문항을 정답표로 외우게 하거나 fixture를 바꾸는 방식의 수정은 하지 않음.
• NCS 추가 이슈 #137과 별도 품질 항목으로 추적함.

추가 검증

• 고정 12문항의 정답 번호는 11개 일치했으나, 별도로 배치 추론 모순·논리 용어 오류·잘못된 오답 소거를 확인함. 정답 일치 11개를 전체 품질 통과로 집계하지 않음.
• 연습 흐름에서 증가율 20%인 오답을 맞다고 채점한 뒤, 바로 아래에는 20/80×100=25%라고 설명하는 자기모순을 확인함.
• 추가 생성 6문항 중 3개에서 복수 정답, 전체 통계와 하위 집단 합계 불일치, 풀이에 필요한 조건 누락을 독립 검증함.
• 정답 선공개 없이 힌트를 주는 흐름과 이미 제시된 모순·복수 정답·자료 누락의 지적은 별도로 통과함.
• 총 25개 평가 기록을 독립 검토함. 구현 PR #143의 코드·UI 테스트 통과와는 별개인 실제 채점·출제 품질 게이트임.

[kimsungmin1011]

2026-09-08 계산 검증 보완

• 기존 PR #143에 수리 검산 Skill·제한된 Fraction 계산기·검산 전 답변 차단을 추가함. 최종 변경은 cbd364c에 반영함.
• 새 NCS 수리 검산 Skill을 명시적으로 선택한 요청에만 강제 검산을 적용함. 일반 NCS 대화는 강제 대상이 아니며 기존 사용자 권한을 자동으로 확대하지 않음.
• 입력 호환 보완 전 15사례·17요청은 품질 통과 2·문제 발견 2·안전 보류 11임. 정답을 못 내고 안전하게 보류한 경우를 해결로 집계하지 않음.
• 최종 선지 입력 호환 보완 후 local/qwen3.6-35b와 qwen/qwen3.7-flash에서 원래 가중평균 및 20% 오답 제출을 각각 재검사함. 4개 요청 모두 가중평균 80점 또는 증가율 25%로 계산하고 두 제출 답을 오답으로 채점함. 정답 fixture나 해당 문항 답을 프롬프트에 삽입하지 않음.
• 잔여 문제: Qwen이 77.5를 단순 평균이라고 설명하는 모순, JSON 요청 미준수, 외부 모델의 가중평균 응답에서 미요청 Artifact 생성이 관찰됨. 재시도 후 성공한 응답에도 기존 타임라인의 중단됨 표시가 남음.
• 전체 NCS 출제·채점 품질이 해결됐다고 판정하지 않으며 이 이슈를 Open으로 유지함. 계산기 입력식의 의미적 타당성과 최종 해설 일치 검증이 후속 과제임.
• 공개 브랜치 API 2,214 passed / 1 skipped, 데스크톱·모바일 Skill 선택 및 최종 채점 재접속 검증을 마침. 세부 검증 범위에 실행 단계와 한계를 구분함.

[kimsungmin1011]

Issue #142 최신 main 재검증 (2026-09-12)

결론

부분 개선됐으나 미해결임. 계산 도구의 정답과 사용자에게 전달되는 채점·해설 품질을 구분해야 함. 이슈를 닫지 않음.

• 기준: upstream/main의 f53797251940ff6ddbc0d0eff657a1779664aa51을 별도 clean worktree로 고정함.
• #142는 OPEN임.
• #143은 ba134200d598c7fe48a8315454cfb7db5a962b64로 병합됨.
• #183은 OPEN·미병합이며 이번 main 판정에 포함하지 않음.

실제 Qwen 결과

6종 경계의 초기 7케이스와 보충 직접 채점 1케이스를 검사함. 실제 실행 8턴: 정상 완료 1, 출력 결함 3, 안전 보류 4임. 안전 보류는 잘못된 조건에 대한 적절한 차단 2와 유효한 연습 요청을 완료하지 못한 2로 나뉨. 보류를 정답 성공으로 계산하지 않음. 선행 문항 제시 실패로 종속 채점 2턴은 실행하지 않음.

케이스	관측 결과	판정
원래 가중평균, reasoning만 활성	실제 도구와 최종 정답은 80·1번으로 일치함. 85를 두 평균의 단순 평균으로 얻을 수 있다고 잘못 설명하고, 요청한 JSON 객체도 지키지 않음.	출력 결함
원래 가중평균, reasoning+arithmetic 활성	실제 도구·정답·JSON은 맞음. 77.5에 대해 단순 평균한 결과라고 설명하지만 실제 단순 평균은 82.5임.	출력 결함
증가율 연습 시작	문제·선지만 요청했으나 필수 검산 호출 없는 응답이 반환돼 서버가 보류문으로 종료함. 다음 1번 제출·채점은 실행하지 않음.	안전 보류, 기능 미완료
작업률 계산	1/(1/6+1/3)=2, 정답 2번·2시간, 풀이·단위가 일치함.	정상 완료
팀별 인원수 누락	도구는 인원수/비율 누락을 정확히 판단함. 답을 지어내지 않고 보류하나 저장 답변은 구체적인 누락 항목을 설명하지 않음.	안전 보류, 설명 제한
동일값인 0.5와 2/4 선지	도구가 정답 후보 [1,2]를 판별하고 단일 정답 채점을 보류함. 저장 답변은 두 선지 번호·동치 근거를 설명하지 않음.	안전 보류, 설명 제한
신규 거리·시간 연습 출제	필수 검산 호출 없이 초안이 반환돼 서버가 보류함. 문항이 사용자에게 전달되지 않아 후속 채점을 실행하지 않음.	안전 보류, 기능 미완료
보충 증가율 직접 채점	도구는 25%, 정답 2번, 제출 1번 incorrect로 정확히 판정함. 저장 답변은 제 답변은 2번입니다.뿐으로, 요청한 오답 판정·계산 과정·선지 해설을 누락함.	출력 결함

가중평균 두 요청은 기존 증거 ncs-numeracy-02-retry.json의 원문과 문자 단위로 동일함. 두 경로 모두 같은 NCS Agent와 reasoning Skill을 사용하고 arithmetic 활성 여부만 다르게 함. 보충 직접 채점은 문항과 제출 답안을 한 요청에 넣은 별도 경계이며 기존 연습 실패를 대체하지 않음. 기대 정답은 모델 요청에 삽입하지 않음.

수치 답변을 낸 4케이스의 핵심 정답 번호는 모두 맞았으나, 그중 3케이스는 해설·형식·요청 충족 문제로 전체 품질을 통과하지 못함. 이번 표본의 반복 출력·요청하지 않은 Artifact는 관측되지 않았으나 과거 12개 고정 문항·6개 생성 문항 전체를 재실행한 결과는 아님.

원인과 검증 범위

• 계산기는 모델이 입력한 식의 산술을 검증함. 최종 자유문장·오답 원인·JSON 형식까지 도구 결과에 결박하지 않으므로 검산 성공 뒤에도 설명 오류가 남음. main의 검증 범위 문서에도 해당 한계를 명시함.
• 연습 시작·출제 두 요청은 실제 outbound에 check_ncs_answer를 지정한 tool_choice가 있었으나 gateway 응답에 도구 호출이 없었음. 서버의 미검산 차단은 동작했지만 사용자의 정상 요청은 완료되지 않음. 이 기록만으로 모델과 gateway 중 어느 내부 계층의 책임인지 단정하지 않음.
• 실제 main의 ASGI 라우터·Agent/Skill 설치·도구 실행·메시지 저장을 메모리 SQLite에서 검사함. 인증·키 발급·제목 생성은 대체했고, 원래 웹·운영 PostgreSQL 배포를 통한 E2E 검사는 아님.
• 실제 completion 12회, check_ncs_answer 6회, 입력 62,123·출력 1,474토큰임. HTTP 4xx/5xx·출력 한도 도달은 없었음. 서버의 기능상 보류가 없었다는 의미는 아님.
• 선택·관측 모델 alias는 모두 local/qwen3.6-35b, 최신 카탈로그는 hybrid·strictLocal=false임. 앱 credit delta는 0이나 물리적 로컬 실행·공급자 청구액 0의 증명이 아님.
• 케이스별 단회 표본이므로 정답률 개선율이나 전체 NCS 정확도를 주장하지 않음. title·auto-memory·remote tools·fallback을 끄고 출력 1,500토큰·tool hops 3 등 QA 제한을 적용했음을 구분함.

코드 회귀와 정리

• 전체 offline API: 2,410 passed / 1 skipped / 기존 warning 11임. socket 시도 82회 차단·실제 HTTP 0회인 코드 검사이며 모델 정답률이 아님.
• NCS 관련 293개는 위 전체 테스트와 중복이므로 합산하지 않음.
• 별도 모의 모델 2건은 도구 결과 80/25 뒤에 모순 문장이 그대로 전달될 수 있음을 확인함. 실제 Qwen 결과와 별도 증거로 유지함.
• 실제 실행의 Artifact·Memory·QA 임시 파일은 0임. 두 메모리 DB와 임시 파일 저장소를 폐기함. 기존 서버·DB·대화·제품 파일은 변경하지 않았으며 worktree clean임.
• 결과 파일: live-main-01.json, live-main-supplemental-01.json, independent_review.json, INDEPENDENT_REVIEW.md. 자격증명 원문을 포함하지 않음.

완료 조건

수정 이후 같은 실제 사용자 흐름에서 정확한 답·명시적 채점·일관된 선지 설명·요청 형식·연습 출제와 후속 채점까지 재검증해야 함. 도구 성공, 보류문 반환, 코드 테스트 통과만으로 #142를 완료 처리하지 않음.