Fala pessoal, passando para compartilhar mais um video da série Databricks de 0 a 100. O tema de hoje é sobre clusters no Databricks, já precisou criar um cluster e se deparou com esse monte de nomenclaturas?
All Purpose
Job Cluster
SQL Compute
Cluster Mode
Access Mode
Security mode
Single Node
Multi Node
Standard
High Concurrency
Single User
Shared
No Isolation
Custom
Personal Compute
Power User Compute
Shared Compute
...
Sim, é uma sopa de configurações e nesse vídeo meu objetivo é explicar todas essas configurações para vocês bora la.
Esse mapa mental está disponível nesse link e você pode acessá-lo para pegar as referências e prints anexadas, irei complementando com o tempo.
Nessa primeira parte do vídeo falamos de 5 tópicos principais:
Tipos de Clusters:
Falamos sobre as principais diferenças entre All Purpose vs Job Cluster e mostrei no portal do Databricks como identificar.
Cluster Mode:
Basicamente como a infraestrutura do cluster é criada, se é em modo cluster ou com apenas 1 única máquina, também entrei nas diferenças do High Concurrency vs Standard, ambos possuem a arquitetura parecida, pois, são 1x Driver + nxWorkers, embora, o High Concurrency tenha um controle de concorrência e isolamento para aceitar mais usuários simultâneos. Já o Standard é recomendado para uso de apenas 1 usuário.
Access Mode (antigo Security Mode):
Essa é uma categoria nova quando você habilita a interface nova de criação de cluster no portal da Databricks, nesse ícone:
Se resume na maneira como os acessos serão manuseados, dividido em 4 categorias:
Single User - Focado para apenas 1 usuário, suporta Unity Catalog.
Shared - Esse seria equivalente ao antigo High Concurrency com Table Access Control habilitado, suporta Unity Catalog.
No Isolation - Sem isolamento, equivalente a um cluster Standard ou High Concurrency sem Table Access Control, não suporta Unity Catalog.
Custom - Para manter o legado, clusters criados na interface antiga, não suporta Unity Catalog.
Policy:
Nessa parte mostro as policies default que ja aparecem no ambiente, como você pode compará-las via Json.
Diferenças da interface:
Nessa última parte mostro um depara de como era na interface antiga (para muitos ainda atual rs) e como ficou na interface nova.
Exemplo: Se você criar um cluster na interface antiga, quando você habilitar a nova, por padrão, o Access mode é Custom, pois, ainda não existia access mode.
Bom, mas chega de falar, bora pro vídeo.
Link youtube:
Link mapa mental:
Espero que te ajude.
Fique bem e até a próxima.