[SUGESTAO] Bootcamp Databricks

[gustavobotelhov]

Sugestão de temas a ser abordado no bootcamp de Databricks que ocorrerá em Janeiro/2024:

• Abordar o uso de repositórios do Github no Databricks abordando também o Git Action.
• Definir, alterar e usar Secret Scopes (via notebook, via CLI, etc.)
• Controlar os custos do workspace do Databricks pela API Rest.
• Criar grupos para limitar acessos a tabelas do SQL Warehouse nativo do Databricks.
• Ensinar controlar custos das ingestões aplicando tag nas tabelas/workflows.
• Configuração de VPC para permitir trafego de informações entre o Databricks e ERPs (SAP, Protheus, Salesforce)
• Abordar configuração do Cluster (auto optmize, etc.)
• Comentar melhores praticas para o SQL Warehouse, usar cluster serverless ou criar um cluster?
• Se possível no final do bootcamp abordar algum caso utilizando as ferramentas nativas do Databricks para Machine Learning.

[ss0vinicius]

Streaming conectado ao Databricks, Databricks com DBT, IA com Databricks

[lvgalvao]

uma coisa que demorei muito para aprender é fazer when com varios case no pyspark dps seria interessante passarmos para galera aprender