Fala pessoal, demorou, mas saiu a parte 3 sobre Unity Catalog, nessa terceira parte daremos um foco na ferramenta UCX para nos auxiliar na migração do nosso ambiente legado (Hive Metastore) para o Unity Catalog.
O UCX é um framework utilizado para migração do Hive Metastore para o Unity Catalog, é uma ferramenta open source criada em python pela Databricks e a comunidade.
Dá uma conferida na documentação oficial: https://github.com/databrickslabs/ucx
Nesse vídeo vamos explorar os principais comandos para realizarmos nossa migração, dificuldades e abordagens que podemos seguir.
Abaixo o passo a passo que faremos durante o vídeo:
0 - Instalação do Databricks CLI
1 - Instalação do UCX via databricks CLI
1.1 - Arquivo de configurações
1.2 - Navegando pelos comandos disponíveis
1.3 - UCX Workflows
1.4 - UCX Dashboards
1.5 - Tabelas do sistema UCX
2 - Configuração das permissões no Databricks CLI
2.1 - Auth profiles
3 - Assessment
3.1 - Dashboard de migração
4 - Criação de dependências
4.0 - Criação e migração de grupos para o Account
4.1 - Criação e atribuição de Metastore
4.2 - Criação de Access Connector no Azure para Storage Credential
4.3 - Criação de Storage Credential
4.4 - Criação das External Locations
5 - Criação dos Catálogos e Schemas
6 - Criação do Table Mapping - CSV com a relação das tabelas e depara
7 - Migração das tabelas External
8 - Migração das tabelas Manageds e Tabelas no Mount
9 - Reconciliação de dados
10 - Acompanhamento no Dashboard de Migração
11 - Avaliação e migração de código
12 - Limpeza dos Objetos antigos
Recomendo a leitura desse blog post para você entender mais detalhes sobre Upgrade do seu Hive Metastore, assim como a leitura da documentação oficial.
Se você ainda não viu a parte 1 e 2 onde falamos muito sobre Unity Catalog, segue abaixo:
Parte 1:
Parte 2:
Github:
E claro, o vídeo de hoje, espero que goste.
Fique bem e até a próxima.
Comments