Databricks 0 a 100 - [3] - Clusters Configs - Parte 1 - Desmistificando Nomenclaturas

Fala pessoal, passando para compartilhar mais um video da série Databricks de 0 a 100. O tema de hoje é sobre clusters no Databricks, já precisou criar um cluster e se deparou com esse monte de nomenclaturas?

• All Purpose

• Job Cluster

• SQL Compute

• Cluster Mode

• Access Mode

• Security mode

• Single Node

• Multi Node

• Standard

• High Concurrency

• Single User

• Shared

• No Isolation

• Custom

• Personal Compute

• Power User Compute

• Shared Compute

• ...

Sim, é uma sopa de configurações e nesse vídeo meu objetivo é explicar todas essas configurações para vocês bora la.

Esse mapa mental está disponível nesse link e você pode acessá-lo para pegar as referências e prints anexadas, irei complementando com o tempo.

https://mm.tt/map/2621865427?t=EkrtKt9hoA

Nessa primeira parte do vídeo falamos de 5 tópicos principais:

Tipos de Clusters:

Falamos sobre as principais diferenças entre All Purpose vs Job Cluster e mostrei no portal do Databricks como identificar.

Cluster Mode:

Basicamente como a infraestrutura do cluster é criada, se é em modo cluster ou com apenas 1 única máquina, também entrei nas diferenças do High Concurrency vs Standard, ambos possuem a arquitetura parecida, pois, são 1x Driver + nxWorkers, embora, o High Concurrency tenha um controle de concorrência e isolamento para aceitar mais usuários simultâneos. Já o Standard é recomendado para uso de apenas 1 usuário.

Access Mode (antigo Security Mode):

Essa é uma categoria nova quando você habilita a interface nova de criação de cluster no portal da Databricks, nesse ícone:

Se resume na maneira como os acessos serão manuseados, dividido em 4 categorias:

• Single User - Focado para apenas 1 usuário, suporta Unity Catalog.

• Shared - Esse seria equivalente ao antigo High Concurrency com Table Access Control habilitado, suporta Unity Catalog.

• No Isolation - Sem isolamento, equivalente a um cluster Standard ou High Concurrency sem Table Access Control, não suporta Unity Catalog.

• Custom - Para manter o legado, clusters criados na interface antiga, não suporta Unity Catalog.

Policy:

Nessa parte mostro as policies default que ja aparecem no ambiente, como você pode compará-las via Json.

Diferenças da interface:

Nessa última parte mostro um depara de como era na interface antiga (para muitos ainda atual rs) e como ficou na interface nova.

Exemplo: Se você criar um cluster na interface antiga, quando você habilitar a nova, por padrão, o Access mode é Custom, pois, ainda não existia access mode.

Bom, mas chega de falar, bora pro vídeo.

Link youtube:

Link mapa mental:

https://mm.tt/map/2621865427?t=EkrtKt9hoA

Espero que te ajude.

Fique bem e até a próxima.