背景
script/create_entries.py(青空文庫由来の新語条作成)の導入により、語彙データに次の2つの新しい meta フィールドと、語義未確定の「スケルトン・エントリ」が追加されます。本 issue はその仕様の記録と、語義(gloss)バックフィルの追跡を目的とします。
新しい meta フィールド
| フィールド |
型 |
意味 |
meta.needs_gloss |
boolean |
true の場合、語義(definitions[*].gloss)が未生成のスケルトン。読み・品詞・青空文庫例句のみ確定済み。 |
meta.variant_writings |
string[] |
既存エントリへ吸収した異表記(旧字体・歴史的仮名遣い等)。例: 亜 に ["亞"]。 |
- 新語スケルトンの
meta.source は "Aozora-Crawler, Illusions-NewWord"。
- 新語の
definitions[0].gloss は空文字 ""、literary 例句のみ充填。
やること(gloss バックフィル)
関連
- データ生成:
script/create_entries.py(PR/コミット 1306bdc9)
- 抽出元:
script/extract_new_words.py → new_words.txt
- 消費側対応 issue: illusions-lab/dict.illusions.app / Iktahana/illusions(別途起票)
背景
script/create_entries.py(青空文庫由来の新語条作成)の導入により、語彙データに次の2つの新しいmetaフィールドと、語義未確定の「スケルトン・エントリ」が追加されます。本 issue はその仕様の記録と、語義(gloss)バックフィルの追跡を目的とします。新しい
metaフィールドmeta.needs_glossbooleantrueの場合、語義(definitions[*].gloss)が未生成のスケルトン。読み・品詞・青空文庫例句のみ確定済み。meta.variant_writingsstring[]亜に["亞"]。meta.sourceは"Aozora-Crawler, Illusions-NewWord"。definitions[0].glossは空文字""、literary例句のみ充填。やること(gloss バックフィル)
meta.needs_gloss=trueのエントリを抽出し、AI(Claude)で語義・standard 例文を生成して埋める(generate_examples.py/generate_relations.pyと同系統のバッチ)。meta.needs_glossを除去(またはfalse)に更新。meta.frequencies.aozora降順)。まず高頻度から。関連
script/create_entries.py(PR/コミット1306bdc9)script/extract_new_words.py→new_words.txt