Feat/dbt docs - #19
Open
bottinolucas wants to merge 7 commits into
Open
Conversation
…ata-application-minc
… inicia doc do sources.yml
…e status Aprofunda as descrições de agentes_dbt e cotas_dbt com base na leitura direta dos SQLs/macros (grain, ressalvas de qualidade de dados, lógica de datação em cascata, limpeza de linhas-fantasma etc.), corrige nome divergente (editais_ano_por_anexo -> edital_ano_por_anexo) e remove texto duplicado em primeiro_acesso_resumo. Adiciona campo status (Active/Disabled) por modelo, identificando os 4 models com config(enabled=false) que aguardam a DAG bbágil.
…delo utilizado pelo OpenMetaData
…camadas de medalhão
…e MetricFlow aos domínios de cotas e agentes do MinC
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
feat(dbt): documentação completa dos models + camada semântica MetricFlow
O que muda
Documentação do projeto dbt em três frentes, pensada para ser consumida pelo
OpenMetadata → Neo4j → Qdrant (GraphRAG), além de servir ao time de dados.
Camada 0 — descrições (33/33 models, 87 sources)
descriptions.yml,sources.ymle os 7schema.ymlenriquecidos a partir daleitura direta dos SQLs e macros: grão, ressalvas de qualidade e regras de
negócio que antes só existiam em comentários de código.
primeiro_acesso_contemplados; limpeza de linhas-fantasma (~R$492M) emcontemplados_unif; ressalva recebido-vs-pago emdistribuicao_cotas_pnab.meta.status: Active/Disabledpor model — identifica os 4 que aguardam a DAGbbágil.
meta.used: true/falsenas sources — separa as 25 realmente lidas viasource()das não integradas.editais_ano_por_anexo→edital_ano_por_anexo),parágrafo duplicado em
primeiro_acesso_resumoe descrições de schema copiadasde outro domínio em
sources.yml.Camadas 1–4 — dbt Semantic Layer / MetricFlow (novo)
fct_pagamentos_elegiveis+ dimensões de agente,território e proponente.
como razão sobre o valor com perfil — e não sobre o valor total, que
subestima sistematicamente o cumprimento (agente sem perfil nunca entra no
numerador).
metricflow_time_spine— pré-requisito bloqueante do dbt Semantic Layer.config.tags: [camada, domínio]nos 33 models.Infraestrutura
dbt-core>=1.10,<1.11no jobdbt_docs, que instalava sem pin epegaria a 1.12 — versão em que a especificação do Semantic Layer muda.
arguments:exigida pelo dbt 1.10.Decisões que valem revisão
proponentevsagente_documento): os dois normalizam CPF/CNPJ de formas incompatíveis(máscara vs só-dígitos). Nome igual faria o MetricFlow tratá-las como a mesma
chave e juntar bases não casáveis sem erro.
agentes_dbtnão tem métricas: toda measure exigeagg_time_dimensione odomínio não possui coluna temporal. Ficou como dimensão pura — usar
programa_fomentocomo proxy de data seria fabricar dado.distribuicao_cotas_*ecobertura_pagamentosforam substituídos pelas métricas. Declará-los dariaduas respostas com grãos diferentes para a mesma pergunta.
Validação
dbt parselimpo em dbt 1.10.22 — 33 models, 67 tests, 12 metrics,5 semantic models, zero warnings.