Какъв проблем решава
Няколко документирани пропуска в текущата архитектура, които собственият ни RFC
(docs/etl-architecture.md) иска да реши, но D1
платформата прави трудни или невъзможни:
Предложение
Направих feasibility анализ с целева архитектура (диаграмата е прикачена):
Lambda + SQLite файл в S3 + CloudFront — без управлявана база. ETL-ът строи целия обслужван
SQLite файл офлайн (същият гейтван work-DB pipeline, който вече имаме — import.mjs), пуска
assertIntegrity върху файла преди каквото и да е качване, качва го като нова S3 версия и
промотира с флип на един SSM указател. SSR Lambda тегли живата версия в /tmp и чете локално
през node:sqlite.
Какво дава:
Алтернативи (по желание)
No response
Преди да изпратите
Какъв проблем решава
Няколко документирани пропуска в текущата архитектура, които собственият ни RFC
(docs/etl-architecture.md) иска да реши, но D1
платформата прави трудни или невъзможни:
integrity gate (feat(etl): граница на публикуване (staging → assertIntegrity → promote) за cron пътя #163) и без FX курсове (feat(etl): cron refresh не зарежда FX курсове — договорите в чужда валута получават NULL amount_eur #158); gate-ът на останалите пътища е post-publish
(„ship-and-alert", Данни: твърди проверки за цялост в pipeline-а (reconciliation gate) #97) — грешни числа вече се обслужват, когато алармата звънне.
само пълните reseeds; 6-часовият refresh презаписва живото на място.
*.workers.devedge кешът е непречистваем; следreseed страници могат да показват стари данни (вкл. нули) до ~1 час.
нечий лаптоп; replay/debug на минал ден зависи от външния източник.
архитектура на ship-domain.mjs; 10 GB таван; ~20-минутни bulk зареждания.
Предложение
Направих feasibility анализ с целева архитектура (диаграмата е прикачена):
Lambda + SQLite файл в S3 + CloudFront — без управлявана база. ETL-ът строи целия обслужван
SQLite файл офлайн (същият гейтван work-DB pipeline, който вече имаме —
import.mjs), пускаassertIntegrityвърху файла преди каквото и да е качване, качва го като нова S3 версия ипромотира с флип на един SSM указател. SSR Lambda тегли живата версия в
/tmpи чете локалнопрез
node:sqlite.Какво дава:
затварят по конструкция; провален gate не качва нищо.
указателя е одитен дневник.
промоцията.
Алтернативи (по желание)
No response
Преди да изпратите