Skip to content

[FEAT] ETL Completo e nova estrutura do banco de dados#14

Merged
BPThiago merged 29 commits intoBPThiago:mainfrom
bedrohenr:main
Jun 29, 2025
Merged

[FEAT] ETL Completo e nova estrutura do banco de dados#14
BPThiago merged 29 commits intoBPThiago:mainfrom
bedrohenr:main

Conversation

@bedrohenr
Copy link

📄 Descrição

Adicionando nova estrutura do banco

Contêiner do Postgres agora iniciando criando as tabelas necessárias.

Classe ETL lida com tudo relacionada à extração, transformação e carregamento de dados:

  1. Extração: Airbyte acessa a api e retorna os dados (até agora em cache)
  2. Transformação: Loop por todos o dump de dados, salvando nas variáveis corretas.
  3. Load: Cada dado é carregado no banco com algumas checagens e na hierarquia necessária (relacional)

Back-end agora copia somente o arquivo requirements.txt e roda o pip install. Isso remove a necessidade de apagar a imaegem ao modificar o código.

Modificações:

  • Contêiner do banco de dados agora inicia definindo a estrutura
  • Classe ETL
  • Mudança na imagem do back-end (.docker/back-end/Dockerfile)
  • Processo de ETL reinserido na execução do projeto (main.py)

🔗 Tarefa(s) Relacionada(s)

  • Closes #35

🚀 Como testar este PR?

Deletar:

  • Imagens e Volumes do docker relacionados ao projeto em versões anteriores.
  • Pasta .venv-source-github/, caso houver, o contêiner recém criado pode não ter permissão para acessá-la ou modificá-la
  • Pasta .cache, caso houver, o contêiner recém criado pode não ter permissão para acessá-la ou modificá-la...

bedrohenr added 29 commits June 28, 2025 00:15
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco

#35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco

#35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco

#35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco

#35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco

#35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco

#35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco

#35
banco de dados agora inicializa criando as tabelas necessárias

#35
assignees traz mais usuarios para cadastrar no banco e branches... traz branches.

#35
airbyte envia os dados de cache para serem tratados e carregados no banco

#35
centralizando todo processo de ETL e agora é possivel modificar repos, streams e github token em execução pelos get e set
…o back-end

copia o requirements.txt e executa o pip install, invez de copiar o projeto inteiro. Pasta do projeto agora é inseria no docker-compose.yml
teste se ira normalizar os testes no pr
@BPThiago BPThiago merged commit 18ef79e into BPThiago:main Jun 29, 2025
1 check failed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants