top of page

Databricks 0 a 100 - [3] - Clusters Configs - Parte 1 - Desmistificando Nomenclaturas

Fala pessoal, passando para compartilhar mais um video da série Databricks de 0 a 100. O tema de hoje é sobre clusters no Databricks, já precisou criar um cluster e se deparou com esse monte de nomenclaturas?

  • All Purpose

  • Job Cluster

  • SQL Compute

  • Cluster Mode

  • Access Mode

  • Security mode

  • Single Node

  • Multi Node

  • Standard

  • High Concurrency

  • Single User

  • Shared

  • No Isolation

  • Custom

  • Personal Compute

  • Power User Compute

  • Shared Compute

  • ...

Sim, é uma sopa de configurações e nesse vídeo meu objetivo é explicar todas essas configurações para vocês bora la.


Esse mapa mental está disponível nesse link e você pode acessá-lo para pegar as referências e prints anexadas, irei complementando com o tempo.

Nessa primeira parte do vídeo falamos de 5 tópicos principais:


Tipos de Clusters:

Falamos sobre as principais diferenças entre All Purpose vs Job Cluster e mostrei no portal do Databricks como identificar.


Cluster Mode:

Basicamente como a infraestrutura do cluster é criada, se é em modo cluster ou com apenas 1 única máquina, também entrei nas diferenças do High Concurrency vs Standard, ambos possuem a arquitetura parecida, pois, são 1x Driver + nxWorkers, embora, o High Concurrency tenha um controle de concorrência e isolamento para aceitar mais usuários simultâneos. Já o Standard é recomendado para uso de apenas 1 usuário.


Access Mode (antigo Security Mode):

Essa é uma categoria nova quando você habilita a interface nova de criação de cluster no portal da Databricks, nesse ícone:


Se resume na maneira como os acessos serão manuseados, dividido em 4 categorias:

  • Single User - Focado para apenas 1 usuário, suporta Unity Catalog.

  • Shared - Esse seria equivalente ao antigo High Concurrency com Table Access Control habilitado, suporta Unity Catalog.

  • No Isolation - Sem isolamento, equivalente a um cluster Standard ou High Concurrency sem Table Access Control, não suporta Unity Catalog.

  • Custom - Para manter o legado, clusters criados na interface antiga, não suporta Unity Catalog.

Policy:

Nessa parte mostro as policies default que ja aparecem no ambiente, como você pode compará-las via Json.


Diferenças da interface:

Nessa última parte mostro um depara de como era na interface antiga (para muitos ainda atual rs) e como ficou na interface nova.

Exemplo: Se você criar um cluster na interface antiga, quando você habilitar a nova, por padrão, o Access mode é Custom, pois, ainda não existia access mode.


Bom, mas chega de falar, bora pro vídeo.


Link youtube:


Link mapa mental:


Espero que te ajude.


Fique bem e até a próxima.




477 visualizações0 comentário

Posts recentes

Ver tudo

Коментари


Post: Blog2 Post
bottom of page