Databricks
Databricks 0 a 100 [8] - Unity Catalog - Parte 3 - UCX - Migrando do Hive Metastore para o Unity Catalog
Fala pessoal, demorou, mas saiu a parte 3 sobre Unity Catalog, nessa terceira parte daremos um foco na ferramenta UCX para nos auxiliar na migração do nosso ambiente legado (Hive Metastore) para o Unity Catalog.
O UCX é um framework utilizado para migração do Hive Metastore para o Unity Catalog, é uma ferramenta open source criada em python pela Databricks e a comunidade.
Dá uma conferida na documentação oficial: https://github.com/databrickslabs/ucx
Nesse vídeo vamos explorar os principais comandos para realizarmos nossa migração, dificuldades e abordagens que podemos seguir.
Abaixo o passo a passo que faremos durante o vídeo:
0 - Instalação do Databricks CLI
1 - Instalação do UCX via databricks CLI
1.1 - Arquivo de configurações
1.2 - Navegando pelos comandos disponíveis
1.3 - UCX Workflows
1.4 - UCX Dashboards
1.5 - Tabelas do sistema UCX
2 - Configuração das permissões no Databricks CLI
2.1 - Auth profiles
3 - Assessment
3.1 - Dashboard de migração
4 - Criação de dependências
4.0 - Criação e migração de grupos para o Account
4.1 - Criação e atribuição de Metastore
4.2 - Criação de Access Connector no Azure para Storage Credential
4.3 - Criação de Storage Credential
4.4 - Criação das External Locations
5 - Criação dos Catálogos e Schemas
6 - Criação do Table Mapping - CSV com a relação das tabelas e depara
7 - Migração das tabelas External
8 - Migração das tabelas Manageds e Tabelas no Mount
9 - Reconciliação de dados
10 - Acompanhamento no Dashboard de Migração
11 - Avaliação e migração de código
12 - Limpeza dos Objetos antigos
Recomendo a leitura desse blog post para você entender mais detalhes sobre Upgrade do seu Hive Metastore, assim como a leitura da documentação oficial.
https://www.databricks.com/blog/migrating-tables-hive-metastore-unity-catalog-metastore
Se você ainda não viu a parte 1 e 2 onde falamos muito sobre Unity Catalog, segue abaixo:
Parte 1:
Parte 2:
Github:
https://github.com/reginaldosilva27/databricks_0_100/blob/main/Databricks%5B8%5D-UCX/README.md
E claro, o vídeo de hoje, espero que goste.
Fique bem e até a próxima.
Gostou? Tem mais no YouTube e no LinkedIn.