Ola, alguém por aqui? rsrs Já faz um tempo que esse blog está parado, mas iremos movimentá-lo com novos conteúdos. (Esse post não foi escrito por ChatGPT rsrs)
Meu último post no blog foi em 2020 um vÃdeo sobre AzCopy:
Mas voltei e animado para compartilhar conteúdo, nessa volta trago um vÃdeo que gravei em 08/2022, já estava quase perdido também rsrs, mas resgatei do fundo do baú para compartilhar esse tema massa.
O que vamos ver nesse vÃdeo é a automação da criação de ambientes Azure e Databricks com Terraform, veremos a criação dos seguintes recursos via código:
Resource Group com tag e especificando a região
Criação de uma App Registration no Azure AD.
Criação de uma Secret para essa App Registration
Criação de uma Storage Account com hierarchical namespace (ADLS Gen2)
Criação de 4 containers nesse Storage (Landing, Bronze, Silver e Gold)
Liberação de acesso nessa Storage via RBAC
Criação de uma Azure KeyVault com 2 access policies
Criação de uma secret dentro da Azure Keyvault para ser usada no Databricks
Criação de um Databricks Workspace (até que enfim) com tier premium
Criação de um cluster dentro do Databricks
Criação de um notebook com comandos
Cópia de notebooks locais para dentro do Workspace
Upload de um arquivo CSV para teste de acesso ao Storage
Tudo isso com apenas 1 linha de comando: Terraform Apply

Todo o script e imagens estão no meu Github:
Esse video faz parte de uma nova série que pretendo fazer com 100 vÃdeos somente sobre Databricks e sobre tudo que aprendi nesses últimos anos. Logo o terraforma será essencial para eu economizar uma grana, excluindo o ambiente ao final do dia e recriando tudo de novo no dia seguinte.
Antes de mais nada, segue o vÃdeo rs:
Link para YouTube: https://youtu.be/E-iIV3iZKbo
Obs: Olha esse primeiro vÃdeo ficou um pouco extenso pela introdução, mas se quiser pular para a parte prática vá para o minuto 10:00 em diante e pode também acelerar o vÃdeo rsrs (eu só assisto no 1.5x).
Espero que te ajude, lembrando que o intuito desse vÃdeo não é aprofundar em Terraform e sim conhecer as possibilidades.
Fique bem e até a próxima.
Comments