Ola, alguém por aqui? rsrs Já faz um tempo que esse blog está parado, mas iremos movimentá-lo com novos conteúdos. (Esse post não foi escrito por ChatGPT rsrs)
Meu último post no blog foi em 2020 um vídeo sobre AzCopy:
Mas voltei e animado para compartilhar conteúdo, nessa volta trago um vídeo que gravei em 08/2022, já estava quase perdido também rsrs, mas resgatei do fundo do baú para compartilhar esse tema massa.
O que vamos ver nesse vídeo é a automação da criação de ambientes Azure e Databricks com Terraform, veremos a criação dos seguintes recursos via código:
Resource Group com tag e especificando a região
Criação de uma App Registration no Azure AD.
Criação de uma Secret para essa App Registration
Criação de uma Storage Account com hierarchical namespace (ADLS Gen2)
Criação de 4 containers nesse Storage (Landing, Bronze, Silver e Gold)
Liberação de acesso nessa Storage via RBAC
Criação de uma Azure KeyVault com 2 access policies
Criação de uma secret dentro da Azure Keyvault para ser usada no Databricks
Criação de um Databricks Workspace (até que enfim) com tier premium
Criação de um cluster dentro do Databricks
Criação de um notebook com comandos
Cópia de notebooks locais para dentro do Workspace
Upload de um arquivo CSV para teste de acesso ao Storage
Tudo isso com apenas 1 linha de comando: Terraform Apply
Todo o script e imagens estão no meu Github:
Esse video faz parte de uma nova série que pretendo fazer com 100 vídeos somente sobre Databricks e sobre tudo que aprendi nesses últimos anos. Logo o terraforma será essencial para eu economizar uma grana, excluindo o ambiente ao final do dia e recriando tudo de novo no dia seguinte.
Antes de mais nada, segue o vídeo rs:
Link para YouTube: https://youtu.be/E-iIV3iZKbo
Obs: Olha esse primeiro vídeo ficou um pouco extenso pela introdução, mas se quiser pular para a parte prática vá para o minuto 10:00 em diante e pode também acelerar o vídeo rsrs (eu só assisto no 1.5x).
Espero que te ajude, lembrando que o intuito desse vídeo não é aprofundar em Terraform e sim conhecer as possibilidades.
Fique bem e até a próxima.
Comments