Fala pessoa, o post de hoje será relacionado a estudos, não será um post técnico e sim uma recomendação e resumo de um curso da Databricks.
Em um post antigo já havia mencionado por onde estuda Databricks e qual o caminho seguir:
No post de hoje veremos um resumo do curso "Azure Platform Architect" e o que achei sobre o conteúdo abordado.
Lembrando que esse treinamento está disponível FREE para clientes e parceiros Databricks no portal de Academy, para parceiros nesse link:
Obs: Infelizmente não está disponível para todos no modelo FREE, se sua empresa é partner não perca essa oportunidade, se voce não é Partner o valor desse curso é de $50 (dólares).
Ao final do treinamento você faz uma avaliação de 20 perguntas para testar o conhecimento, tendo mais de 80% de acerto você recebe um Badge, embora, isso não é uma certificação, é apenas um certificado de conclusão, pois, é uma prova não monitorada e você pode fazer quantas vezes quiser e de graça para Partners e Customers.
Vamos ao resumo do conteúdo.
Tempo total do conteúdo é 4h10, fiz em 6h47, pois, precisei revisar e rever alguns vídeos para entender de fato.
O conteúdo é 100% em vídeos e em inglês, infelizmente sem legendas também, então pode dificultar para algumas pessoas.
Abaixo um resumo do conteúdo abordado no curso:
Hierarquia do Azure
Account
Tenant
Subscription
RG
Resource
Azure Databricks Arquitetura básica
Control Plane – Databricks Account
Data Plane – Customer Account
Azure Databrikcs – Reference Architecture
Streaming and Batch cases
Cost Management
DBUs
VMs e infrastructure
Tiers and features
Calculator
Job Cluster vs All Purpose
Spot Instance
Reserve Instances
Auto shutdown
Elastic clusters
Criação de um Databricks Workspaces
Perguntas antes de criar um workspace
Arquitetura assessment
Pre requisitos e recursos necessários
Deployment
Default deployment vs VNET Injection
Recursos necessários
Databricks Resource Group Locked
Terraform Deploy
Networking
AAD – Azure Active Directory
Hierarquia
Objetos – Users and Service Principals (Applications)
Types B2B and B2C
SCIM
IAM access
Unity Catalog Introduction
O que é Unity Catalog
Arquitetura do UC
Key Features
Account Administration page
Workspaces e Metastore
Azure Software Defined Networks - SDNs
ARM – Azure Resource Manager
VNETs, DNS, Routing, LB, peerings, Switching e Subnets…
RFC 1918
CIDR
Peering
Routes
Service Endpoints e Private Endpoints
Network Controller
Software Load Balancer
Gateway
Subnets e VNETs
Databricks VNET Injection
Azure Databricks Logicial Network
Public e Private Subnets
Private Subnet – Containers
Public Subnets - VMs
NSGs
VNET Injection + Secure Cluster Connectivity (No Public IP)
CIDRs Ranges
O que é CIDR
Ranges e quantidade de Ips
Qual melhor tamanho? /22, /23, /24…
Regra dos 4
Perguntas para decidir o melhor tamanho
Visual Subnet Calculator
VNET Peerings
SDNs Peering
VNET Peering – BI direcional
Low Latency e alta transferência entre as VNETs usando backend do Azure
Types:
VNET Peering (mesma região)
Global VNET Peering (Regiões diferentes)
NSG Rules
Não precisa estar na mesma subscription
Azure Databricks IP Access List
Use case for IP Access List
Bloqueando acessos externos como um Firewall do Azure SQL Server
Block e Allow List
VPNs e Private Endpoints Bypass IP Access List
Maximo de 1000 Ips
IPV4
Apenas Databricks Premium
User Defined Routing – UDRs
Comunicação entre Control Plane e Data Plane
Azure Default System Route Tables – Associados a Subnet
Next Hop Types
Use Cases para UDRs
Direcionar trafego para um Firewall
Bypass BGP
Direcionar trafego para o Onpremises
Parar um tráfego
Service Tags
Prioridade e ordem do Tráfego
Data Loss Prevention (DLP) and Exfiltration
O que é DLP e Exfiltration
Features for DLP
UDRs
Azure Firewalls
Private Link
Service Endpoints
Databricks
IP Access List
Unity Catalog
Autenticação vs Autorização
Principio do menor privilégio
Zero Trust Principle
Databricks e Endpoints (Private e Service Endpoint)
O que é um Endpoint
Diferença entre Private e Service Endpoint
Private Endpoint
Private Link
Front-end
Back-end
Web and private Connections
Service Endpoint
Atachado em VNETs Subnets
Free
Não precisa de DNS
Configurando um Private endpoint entre Control Plane e Data Plane
Azure Domain Name System – DNS
O que é um DNS
Key Records
Oauth Call Back CNAMES
Atribuído a uma VNET
Cloud Integrations
Azure Databricks Architecture Reference
Ingest
Store
Process
Serve
Azure Data Factory
Storage Account – ADLS
Cosmos DB
SQL Server
Synapse
Power BI
Security
Native Connections
Service Principals
Managed Identities
Access Connector
Unity Catalog
Azure Key Vault
Conectando em um ADLS
External Credentials
External Locations
Orquestrando pipelines com Azure Data Factory
Conectando o Power BI no Azure Databricks
É bastante conteúdo, como disse acima, é apenas um resumo que fui criando conforme assistia, algumas anotações extras, removi, pois, poderia ficar confuso.
Resumo
Muito conteúdo abordado já era parte do meu dia a dia, então foi fácil assimilar ou mesmo reforçar, algumas coisas também já havia visto no curso de Platform Admin, mas o que me surpreendeu foi o conteúdo focado para redes (Networking), algumas coisas bem complexas quando se trabalha com VNET Injection e ambientes que precisam de alta segurança.
Então se cogita fazer esse curso, se prepare para uma imersão em redes, se não está familiarizado com Azure, recomendo fortemente fazer esse curso antes: AZ-900:
Esse curso não abordará sobre redes, mas, vai te dar um conhecimento básico e essencial sobre Cloud e sobre o Azure.
Recomendo esse curso Databricks para times de administração/sustentação e arquitetos de dados, acredito que para engenheiros tem muito a agregar, sim, mas foge muito do seu dia a dia, se você é engenheiro de dados, foque nos cursos essenciais para se tornar um bom engenheiro e caso já tenha zerado a trilha, aí sim é muito valido esse curso, logo, seria para engenheiros de dados Sênior.
Espero que tenha gostado.
Fique bem e até a próxima.