top of page

Databricks 0 a 100 - [0] Terraform e Databricks

Atualizado: 25 de jan. de 2023

Ola, alguém por aqui? rsrs Já faz um tempo que esse blog está parado, mas iremos movimentá-lo com novos conteúdos. (Esse post não foi escrito por ChatGPT rsrs)


Meu último post no blog foi em 2020 um vídeo sobre AzCopy:

Mas voltei e animado para compartilhar conteúdo, nessa volta trago um vídeo que gravei em 08/2022, já estava quase perdido também rsrs, mas resgatei do fundo do baú para compartilhar esse tema massa.


O que vamos ver nesse vídeo é a automação da criação de ambientes Azure e Databricks com Terraform, veremos a criação dos seguintes recursos via código:

  • Resource Group com tag e especificando a região

  • Criação de uma App Registration no Azure AD.

  • Criação de uma Secret para essa App Registration

  • Criação de uma Storage Account com hierarchical namespace (ADLS Gen2)

  • Criação de 4 containers nesse Storage (Landing, Bronze, Silver e Gold)

  • Liberação de acesso nessa Storage via RBAC

  • Criação de uma Azure KeyVault com 2 access policies

  • Criação de uma secret dentro da Azure Keyvault para ser usada no Databricks

  • Criação de um Databricks Workspace (até que enfim) com tier premium

  • Criação de um cluster dentro do Databricks

  • Criação de um notebook com comandos

  • Cópia de notebooks locais para dentro do Workspace

  • Upload de um arquivo CSV para teste de acesso ao Storage

Tudo isso com apenas 1 linha de comando: Terraform Apply




Todo o script e imagens estão no meu Github:

Esse video faz parte de uma nova série que pretendo fazer com 100 vídeos somente sobre Databricks e sobre tudo que aprendi nesses últimos anos. Logo o terraforma será essencial para eu economizar uma grana, excluindo o ambiente ao final do dia e recriando tudo de novo no dia seguinte.


Antes de mais nada, segue o vídeo rs:

Link para YouTube: https://youtu.be/E-iIV3iZKbo

Obs: Olha esse primeiro vídeo ficou um pouco extenso pela introdução, mas se quiser pular para a parte prática vá para o minuto 10:00 em diante e pode também acelerar o vídeo rsrs (eu só assisto no 1.5x).


Espero que te ajude, lembrando que o intuito desse vídeo não é aprofundar em Terraform e sim conhecer as possibilidades.


Fique bem e até a próxima.


478 visualizações0 comentário

Posts recentes

Ver tudo

コメント


Post: Blog2 Post
bottom of page