Skip to content

Home

Jump to bottom
Your Name edited this page Jul 11, 2026 · 4 revisions

🌍 WHO Global Health Observatory — Projeto OMS

Bem-vindo ao wiki do projeto_oms. Este projeto implementa um pipeline analítico completo sobre dados públicos de saúde global da Organização Mundial da Saúde (WHO GHO API), modelado em Star Schema com dbt + DuckDB.

Stack

Camada Tecnologia
Transformação dbt-core 1.11 + dbt-duckdb 1.10
Query Engine DuckDB (OLAP embarcado)
Raw Storage SQLite
Dashboard Streamlit + Plotly
Orquestração Apache Airflow / cron
CI/CD GitHub Actions
Container Docker (Python 3.12)
Qualidade Data Contracts Pydantic + Reconciliação + Health Check

Páginas

Página Conteúdo
Architecture 4 diagramas: ecossistema, pipeline core, fluxo de dados, mindmap
Data-Model Star Schema, ERD, dicionário de dados, DAG modelos, testes
Pipeline Fluxo completo: ingestão → staging → marts → serving
Dashboard Guia do Streamlit Dashboard com KPIs e gráficos
Deployment Docker, CI/CD, agendamento cron + Airflow
Data-Quality Data contracts, reconciliação, lineage, health check, CI gates

Fluxo do Pipeline

graph LR
    A[WHO GHO API] -->|Python| B[(SQLite raw<br/>who_gho.db)]
    B -->|ATTACH sqlite_scanner| C{dbt build}
    C --> D[(DuckDB<br/>Star Schema)]
    C --> E[37 testes dbt]
    C --> F[dbt docs generate]
    D --> G[Streamlit Dashboard]
    D --> H[make reconcile]
    E --> I[CI gate]
    F --> J[Lineage Report]
Loading

CI/CD Pipeline (6 gates)

flowchart LR
    A[push / PR] --> B[init_test_db]
    B --> C[dbt deps]
    C --> D[dbt build<br/>49 steps]
    D --> E[health_check]
    E --> F[reconciliation<br/>--ci 0.1%]
    F --> G[data_contracts<br/>--ci]
    G --> H[lineage_report<br/>--format json]
    H --> I{Status}
    I -->|pass| J[✅ CI verde]
    I -->|fail| K[❌ GitHub email]
    K --> L[⬆ Upload artifacts]
    J --> L
Loading

Repositório

Clone this wiki locally