실시간 보이스피싱·스미싱·문서 위조 탐지 AI 기반 어플리케이션
보이스피싱은 더 이상 고령층만의 문제가 아니라, 전 세대가 피해를 입는 사회적 문제로 확산되고 있습니다.
특히 짧은 문장, 링크, 메신저 기반으로 빠르게 실행되는 피싱 범죄는 사용자가 정상 여부를 판단하기 어렵고, 그 피해 규모 또한 매우 큽니다.
구해줘 피싱(Guppy)은 다음 네 가지 기능을 통합한 AI 기반 실시간 탐지 플랫폼입니다:
- 실시간 통화 음성(STT) 기반 보이스피싱 위험 탐지
- 문서 직인·레이아웃 분석 기반 위조 판별
- 문자 본문·URL 분리 기반 스미싱 분석
- 사용자 맞춤형 위험 번호 추천 기능
 |
 |
 |
 |
 |
 |
|---|---|---|---|---|---|
| YEOUL | 박윤호 | ychoik | Kimminseo1104 | Hyeonsoo Choi | SUNGHYUN |
| 팀장 · FRONTEND | BACKEND | BACKEND | BACKEND | FRONTEND | FRONTEND |
- 1차 : 2025.09.03 ~ 2025.12.12 프로토타입 제작
- 2차 : 2026.00.00 ~ AWS 재구성 및 기능 정확도 향상
- App : Android Kotlin(Jetpack Compose)
- Backend : FastAPI, WebSocket
- AI/ML : OpenCV, OCR, STT, Layout Detection
- Tools : Android Studio / VS Code / GitHub / Figma
- DB : SQLite(Local) + 확장 가능 아키텍처
| API / 클래스 | 동작 및 제한 사항 |
|---|---|
| AudioRecord | VOICE_COMMUNICATION, VOICE_RECOGNITION과 함께 사용 시 차단 |
| VOICE_CALL | start() 자체가 실패하거나, 음성이 0으로 처리되어 권한이 완전히 차단됨 |
| MediaRecorder | 통화 연결 시 자동으로 음성이 0으로 처리되며, 녹음 파일은 생성되지만 빈 파일로 생성됨 |
안드로이드 12 이상부터 통화 녹음이 사실상 완전히 차단되며,
OneUI 환경에서는 일반 녹음까지 추가로 제한됨.
이로 인해, 앱 내 실시간 통화 캡처 방식 대신 현재는 통화 종료 후 음성 파일 업로드 방식으로 기능을 대체하였음.
안드로이드 권한 제약 하에서도 WebSocket → gRPC → STT 파이프라인이 정상 동작함을 검증하고,
동시에 “볼륨 0” 이슈를 재현·설명하기 위해 아래와 같은 실시간 음성 스트리밍 테스트 페이지를 구성하였음.
https://antiphishingstt.p-e.kr/
-
발신자 단말
- Wi-Fi / 모바일 데이터 OFF
- 메세지 플러스, 데이터 기반 통화(VoLTE 등)를 방지하기 위함
- 위 기능들을 사용하며 실시간 통화 녹음 및 스미싱 분석은 통신사 및 휴대폰 제조사 권한이 필요
-
수신자 단말
- 모바일 데이터 ON
- 서버와의 WebSocket / HTTP 통신 및 알림 수신용
앱 측 로그:
서버 측 로그:
위 로그를 통해 다음을 확인할 수 있음.
- WebSocket 엔드포인트
/api/transcribe/ws?sr=16000&lang=ko-KR로의 연결은 정상적으로 수립되고 - 서버에서 gRPC 기반 CLOVA STT 세션이 정상적으로 시작되며
recv bytes len=2048로그가 주기적으로 출력되는 것으로 보아 PCM 스트림 수신 자체는 정상 동작함
다만, Android 14 / OneUI의 통화 녹음 차단 정책으로 인해 실제 통화 음성이 아닌, 볼륨이 0으로 처리된 오디오 데이터만 전달되고 있음.
따라서,
기능(연결, 스트리밍, 서버 파이프라인)은 정상적으로 동작하지만,
권한 문제로 인해 서버에 수신되는volume값이 모두0.00이며
실질적인 통화 음성 신호는 전달되지 않는 상태임을 확인할 수 있음.
- PCM 기반 WebSocket 전송
- 실시간 STT 변환 후 위험도 분석
- 통화 중 즉시 사용자에게 경고 표시
- 직인 위치 분석
- 영역 구조 비교
- 비정상 패턴 탐지
- 위험도 시각화 및 이미지 오버레이 제공
- 문자 본문과 URL 자동 분리
- 키워드 기반 위험 점수화
- URL 도메인 위험도 비교
- 정렬 및 검색 기능 지원
- 음성 파일 전송
- STT 변환 후 위험도 분석
- 위험도 시각화 및 판단 근거 제공
- App → WebSocket(Server) : 실시간 Audio/PCM 스트림 전송
- Server → AI Pipeline : STT / CV / OCR / URL 분석
- Server → App : 위험도 + 분석 결과 전달
- App : UI 시각화 및 사용자 알림
- AI 기반 신종 패턴 자동 탐지
- 탐지 결과 바탕 피싱 의심 연락처 추가
- 공공기관 연계 데이터 허브 구축
- 금융기관 FDS 연동 모델 제공
본 README 문서는 SW공학 발표 자료를 기반으로 작성되었습니다.
- SRS (Software Requirement Specification) - 프로젝트 요구사항 문서
- SDS (Software Requirement Specification) - 프로젝트 설계 명세서