Nesse vídeo vamos explorar as estratégias de migração das tabelas no HMS (Hive Metastore) para o UC (Unity Catalog).
Observação importante que não mencionei no vídeo:
Ao usar a opção de SYNC de uma tabela Managed para External, você não pode dropar a tabela no HMS, pois, os dados serão excluídos do Storage
Caso queira dropar, use o script Scala para trocar ela de Managed para External
Outra dica, após a migração das suas tabelas do HMS para o UC, caso você não drop elas no HMS, voce pode usar essa opção para evitar que alguém escreva nelas, principalmente se forem Managed.
delta.appendOnly=true
Como podemos ver nessa imagem, temos diversas possibilidades dependendo do tipo da sua tabela na origem, o tipo dela no destino e o local que ela esta armazenada.
No vídeo veremos exemplos práticos de alguns desses casos e mostrarei 2 técnicas pouco conhecidas:
- Como trocar uma tabela de Managed para External (Sim, é possível)
- Como usar SYNC para migrar tabelas Managed (Sim, é possível mesmo não estando na documentação)
Assista até o final, onde abordo todo esse tema de maneira dinâmica, pode ser que grave mais coisas sobre migração para o Unity Catalog, temos uma demanda bem latente, embora, pouco conteúdo sobre isso.
Se você tiver algum conteúdo que queira ver, deixa aí nos comentários.
Que achou?
Fique bem e até a próxima.
Links Github.
Comments