feat: KDCA 도메인 프로필 추가 + Codex/ChatGPT Work 멀티호스트 지원 - #6
Open
okfuturekills-rgb wants to merge 3 commits into
Open
okfuturekills-rgb wants to merge 3 commits into
okfuturekills-rgb wants to merge 3 commits into
Conversation
질병관리청 정책정보>고위험병원체 등 생물안전 관리>자료실(board 3341) 크롤링 결과로 신규 도메인 프로필 저장. 사다리 1단(정적 HTML, GET query param)만으로 목록 날짜필터(rgsBgndeStr)·상세·첨부파일 다운로드 링크까지 전부 해결되어 antibot_strategy: none. - sync_domain_list.py 로 CLAUDE.md/README.md/.gitignore 알려진 도메인 목록 14 -> 15개 갱신 (생성 블록, 손으로 안 고침) - 위 갱신으로 깨진 test_expected_public_count 하드코딩 목록에 www_kdca_go_kr 추가 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
- detail_content 셀렉터(.viewCont .txt) 추가 - page.html_content 가 한글을 U+FFFD로 손실시킬 수 있어 page.body를 UTF-8 strict decode 해서 Selector에 넘겨야 한다는 재검증 메모 추가 - 2021-01-01 이후 공지도 동일 GET 레시피로 수집됨을 확인 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
요약
www.kdca.go.kr도메인 프로필 추가 — 질병관리청 정책정보>고위험병원체 등 생물안전 관리>자료실(board 3341) 크롤링 레시피. 사다리 1단(정적 HTML, GET query param)만으로 목록 날짜필터·상세·첨부파일 다운로드까지 전부 해결 (antibot_strategy: none). 두 차례 실전 검증(최초 수집 + UTF-8 디코딩 이슈 재검증)을 거쳤습니다..agents/skills/web-crawler를 Codex/ChatGPT Work의 공식 발견 경로로 신설하고, 기존.codex/skills호환 미러와 함께sync_codex_mirror.py가 관리하도록 확장.AGENTS.md/README.md/CLAUDE.md에 호스트별 진입점 안내 추가.커밋
feat(fingerprints): www.kdca.go.kr 도메인 프로필 추가— 신규 도메인 프로필 + 도메인 목록 재생성(14→15개) + 관련 하드코딩 테스트 수정feat: add Codex and ChatGPT Work skill support—.agents/skills신설, 동기화 스크립트 확장, 신규 테스트(test_skill_mirrors.py)fix(fingerprints): www.kdca.go.kr 재검증—detail_content셀렉터 추가,page.body를 UTF-8 strict decode해야 한글 손실이 없다는 재검증 메모검증
pytest -k "not e2e": 418 passedscripts/sync_domain_list.py --check,scripts/sync_codex_mirror.py --check: 드리프트 없음profile.json에 자격증명 없음 확인 완료🤖 Generated with Claude Code