Databricks - Unity Catalog - Estrategias de migração das suas tabelas do HMS para UC

Nesse vídeo vamos explorar as estratégias de migração das tabelas no HMS (Hive Metastore) para o UC (Unity Catalog).

Observação importante que não mencionei no vídeo:

Ao usar a opção de SYNC de uma tabela Managed para External, você não pode dropar a tabela no HMS, pois, os dados serão excluídos do Storage

Caso queira dropar, use o script Scala para trocar ela de Managed para External

 

Outra dica, após a migração das suas tabelas do HMS para o UC, caso você não drop elas no HMS, voce pode usar essa opção para evitar que alguém escreva nelas, principalmente se forem Managed.

delta.appendOnly=true

 

Como podemos ver nessa imagem, temos diversas possibilidades dependendo do tipo da sua tabela na origem, o tipo dela no destino e o local que ela esta armazenada.

 

No vídeo veremos exemplos práticos de alguns desses casos e mostrarei 2 técnicas pouco conhecidas:

- Como trocar uma tabela de Managed para External (Sim, é possível)

- Como usar SYNC para migrar tabelas Managed (Sim, é possível mesmo não estando na documentação)

 

Assista até o final, onde abordo todo esse tema de maneira dinâmica, pode ser que grave mais coisas sobre migração para o Unity Catalog, temos uma demanda bem latente, embora, pouco conteúdo sobre isso.

Se você tiver algum conteúdo que queira ver, deixa aí nos comentários.

 

Que achou?

 

Fique bem e até a próxima.

 

Links Github.

https://github.com/reginaldosilva27/Databricks/tree/main/tips/UpgradeMethods