Curso de dbt

dbt_example

Esse projeto é um exemplo de como utilizar o dbt para transformar dados.

Possui um modelo de dados simples e complexos, com exemplos de como utilizar o dbt para transformar dados.

Como rodar o projeto

1. Crie uma venv:

python3 -m venv .venv

2. Ative a venv:

source .venv/bin/activate

3. Instale as dependências do projeto:

pip install -r requirements.txt

Configuração do dbt

Vamos usar o dbt com o BigQuery, então é necessário configurar o dbt para usar o BigQuery.

1. Mude o arquivo profiles.yml para adicionar as credenciais do BigQuery.

2. Configure o dbt_project.yml ao seu gosto.

3. Rode o comando para certificar que o dbt está configurado corretamente:

dbt debug

4. Rode os seeds para criar as tabelas de exemplo:

dbt seed

5. Use os modelos de exemplo ou criem os seus próprios.

6. Rode o comando para rodar os modelos:

dbt run -s <modelo>

Principais Comandos DBT

Aqui está uma lista organizada de comandos DBT Core, começando pelos mais básicos e avançando para comandos mais complexos e úteis no dia a dia de um projeto:

---

Comandos Básicos

1. dbt init Inicializa um novo projeto DBT.

   dbt init nome_do_projeto

2. dbt run Executa os modelos configurados no projeto.

   dbt run

3. dbt test Roda os testes configurados no projeto.

   dbt test

4. dbt compile Compila os modelos DBT em arquivos SQL no diretório target.

   dbt compile

5. dbt debug Verifica se o projeto está corretamente configurado.

   dbt debug

6. dbt clean Remove o diretório target e outros arquivos gerados automaticamente.

   dbt clean

7. dbt list Lista os recursos do projeto, como modelos, testes e snapshots.

   dbt list

---

Comandos Intermediários

8. dbt seed Carrega arquivos CSV na base de dados como tabelas.

   dbt seed

9. dbt deps Baixa pacotes DBT listados no arquivo packages.yml.

   dbt deps

10. dbt snapshot Executa as definições de snapshot para criar tabelas versionadas.

    dbt snapshot

11. dbt build Combinação de run, test, e snapshot em uma única execução.

    dbt build

12. dbt source freshness Verifica a "frescura" das tabelas fontes definidas no projeto.

    dbt source freshness

13. dbt run-operation Executa macros específicas diretamente da linha de comando.

    dbt run-operation nome_da_macro

---

Comandos Avançados

14. dbt docs generate Gera a documentação do projeto, incluindo lineage.

    dbt docs generate

15. dbt docs serve Abre a documentação gerada em um servidor local.

    dbt docs serve

16. dbt test --data Executa apenas os testes de dados.

    dbt test --data

17. dbt test --schema Executa apenas os testes de esquema.

    dbt test --schema

18. dbt compile --select Compila apenas modelos selecionados.

    dbt compile --select nome_do_modelo

19. dbt run --full-refresh Força a atualização completa de tabelas incrementais.

    dbt run --full-refresh

20. dbt run --select Executa modelos específicos.

    dbt run --select nome_do_modelo

21. dbt run --exclude Executa todos os modelos, exceto os excluídos.

    dbt run --exclude nome_do_modelo

22. dbt test --select Executa testes apenas para modelos específicos.

    dbt test --select nome_do_modelo

23. dbt build --select Constrói um conjunto específico de modelos.

    dbt build --select tag:minha_tag

24. dbt run-operation --args Passa argumentos para uma macro.

    dbt run-operation nome_da_macro --args '{"chave": "valor"}'

---

Comandos para Depuração e Logs

25. dbt debug --config-dir Verifica o diretório de configuração DBT.

    dbt debug --config-dir

26. dbt debug --profiles-dir Verifica o diretório de perfis do DBT.

    dbt debug --profiles-dir ~/.dbt

27. dbt list --select Lista apenas os modelos selecionados.

    dbt list --select tag:minha_tag

28. dbt compile --state Compara o estado atual com o estado de execução anterior.

    dbt compile --state target/

---

Com esses comandos, você pode começar com o básico, explorar funcionalidades intermediárias e implementar automações avançadas no seu projeto. Para mais detalhes, consulte a documentação oficial do DBT.

Use ao seu gosto, os exemplos tem vários modelos de dados para vocês se basearem.