🚀 [기능개선] [AI·데이터] 백테스팅용 금융 데이터 수집 및 저장 구조 확장

[twq110]

⚙️ [기능추가][AI·데이터] 백테스팅용 금융 데이터 수집 및 저장 구조 확장

📝 현재 문제점

• 현재 SISC-Web은 주가, 일부 재무제표, 거시경제지표, 암호화폐, 뉴스 및 SEC 공시 등을 수집하고 있으나 백테스팅에 활용할 수 있는 데이터 종류가 제한적입니다.
• 기업 재무 데이터에 EBITDA, EBIT, FCF, CapEx, 총차입금, 현금성 자산 등 주요 지표가 부족합니다.
• 원자재, 환율, 금리, 신용 스프레드 등 시장 환경을 판단하기 위한 데이터가 충분하지 않습니다.
• 재무제표의 기준일과 실제 공시일이 명확히 구분되지 않아 백테스트 과정에서 미래 정보가 사용되는 Look-ahead Bias가 발생할 수 있습니다.
• 새로운 경제지표를 추가할 때마다 기존 테이블에 컬럼을 추가해야 하므로 확장성이 떨어집니다.

🛠️ 해결 방안 / 제안 기능

• SISC-Web의 데이터 수집 구조를 백테스팅에 적합한 형태로 확장합니다.

• 모든 데이터에 가능한 경우 available_at, filing_date, source를 기록하여 당시 실제로 확인할 수 있었던 정보만 백테스트에 사용하도록 합니다.

• 다음과 같은 기업 재무 데이터를 추가로 수집합니다.

  • EBIT, EBITDA
  • Gross Profit, Operating Income
  • Operating Cash Flow, CapEx, Free Cash Flow
  • Cash and Equivalents, Total Debt, Net Debt
  • EPS Basic, EPS Diluted
  • Shares Outstanding

• 수집한 원본 재무 데이터를 기반으로 다음 파생 지표를 계산합니다.

  • EBITDA Margin, Operating Margin, Net Margin
  • ROE, ROA, ROIC
  • Revenue·EPS·EBITDA·FCF Growth
  • Debt/Equity, Net Debt/EBITDA, Interest Coverage
  • PER, PBR, PSR, EV/Sales, EV/EBITDA, FCF Yield

• 시장 환경 분석을 위해 다음 데이터를 추가로 수집합니다.

  • 원자재: WTI, Brent, Natural Gas, Gold, Silver, Copper, Corn, Wheat, Soybean
  • 금리: 미국 국채 3개월, 2년, 5년, 10년, 30년물
  • 금리 파생지표: 10Y-2Y, 10Y-3M, 실질금리, 기대인플레이션
  • 환율: DXY, EUR/USD, USD/JPY, USD/CNY
  • 신용시장: High Yield Spread, Investment Grade Spread
  • 시장위험: VIX 및 기타 변동성 지표

• 장기적으로 SEC XBRL, FRED Vintage, EIA, CFTC COT 데이터를 연동할 수 있도록 범용 시계열 저장 구조를 설계합니다.

⚙️ 작업 내용

• 기존 데이터베이스 테이블 및 크롤러 구조 분석
• 수집 대상 데이터와 데이터 출처 목록 확정
• 백테스트용 Point-in-Time 데이터 구조 설계
• company_fundamentals 재무 컬럼 확장
• 공시일·데이터 이용 가능 시점 관련 컬럼 추가
• 범용 시장 시계열 테이블 market_series 설계
• SEC XBRL 기반 기업 재무 데이터 수집기 구현
• EBITDA, EBIT, FCF, CapEx, Debt, Cash 데이터 수집
• 원자재·금리·환율·신용 스프레드 수집 항목 확대
• 재무·가치평가·성장성 파생 지표 계산 기능 구현
• 배당 및 주식분할 등 Corporate Action 저장 기능 구현
• 기존 과거 데이터 백필
• 중복·결측·이상치 검증 로직 추가
• 크롤러 정기 실행 및 실패 로그 확인 기능 추가
• 백테스트 프로그램에서 조회할 수 있는 API 또는 데이터 접근 구조 설계
• 데이터별 수집 주기와 최종 갱신 시점 문서화

🙋‍♂️ 담당자

• 백엔드: 미정
• 프론트엔드: 미정
• 디자인: 미정
• AI: 석재빈