top of page

Resumo sobre a Azure Databricks Platform Architect - Accreditation

Fala pessoa, o post de hoje será relacionado a estudos, não será um post técnico e sim uma recomendação e resumo de um curso da Databricks.


Em um post antigo já havia mencionado por onde estuda Databricks e qual o caminho seguir:

No post de hoje veremos um resumo do curso "Azure Platform Architect" e o que achei sobre o conteúdo abordado.


Lembrando que esse treinamento está disponível FREE para clientes e parceiros Databricks no portal de Academy, para parceiros nesse link:

Obs: Infelizmente não está disponível para todos no modelo FREE, se sua empresa é partner não perca essa oportunidade, se voce não é Partner o valor desse curso é de $50 (dólares).


Ao final do treinamento você faz uma avaliação de 20 perguntas para testar o conhecimento, tendo mais de 80% de acerto você recebe um Badge, embora, isso não é uma certificação, é apenas um certificado de conclusão, pois, é uma prova não monitorada e você pode fazer quantas vezes quiser e de graça para Partners e Customers.



Vamos ao resumo do conteúdo.

Tempo total do conteúdo é 4h10, fiz em 6h47, pois, precisei revisar e rever alguns vídeos para entender de fato.


O conteúdo é 100% em vídeos e em inglês, infelizmente sem legendas também, então pode dificultar para algumas pessoas.


Abaixo um resumo do conteúdo abordado no curso:


  • Hierarquia do Azure

    • Account

      • Tenant

      • Subscription

        • RG

          • Resource

  • Azure Databricks Arquitetura básica

    • Control Plane – Databricks Account

    • Data Plane – Customer Account

  • Azure Databrikcs – Reference Architecture

    • Streaming and Batch cases

  • Cost Management

    • DBUs

    • VMs e infrastructure

    • Tiers and features

    • Calculator

    • Job Cluster vs All Purpose

    • Spot Instance

    • Reserve Instances

    • Auto shutdown

    • Elastic clusters

  • Criação de um Databricks Workspaces

    • Perguntas antes de criar um workspace

    • Arquitetura assessment

    • Pre requisitos e recursos necessários

  • Deployment

    • Default deployment vs VNET Injection

    • Recursos necessários

    • Databricks Resource Group Locked

    • Terraform Deploy

  • Networking

    • AAD – Azure Active Directory

      • Hierarquia

      • Objetos – Users and Service Principals (Applications)

      • Types B2B and B2C

      • SCIM

      • IAM access

    • Unity Catalog Introduction

      • O que é Unity Catalog

      • Arquitetura do UC

      • Key Features

      • Account Administration page

      • Workspaces e Metastore

    • Azure Software Defined Networks - SDNs

      • ARM – Azure Resource Manager

      • VNETs, DNS, Routing, LB, peerings, Switching e Subnets…

      • RFC 1918

      • CIDR

      • Peering

      • Routes

      • Service Endpoints  e Private Endpoints

      • Network Controller

      • Software Load Balancer

      • Gateway

    • Subnets e VNETs

      • Databricks VNET Injection

      • Azure Databricks Logicial Network

      • Public e Private Subnets

      • Private Subnet – Containers

      • Public Subnets - VMs

      • NSGs

      • VNET Injection + Secure Cluster Connectivity (No Public IP)

    • CIDRs Ranges

      • O que é CIDR

      • Ranges e quantidade de Ips

      • Qual melhor tamanho? /22, /23, /24…

      • Regra dos 4

      • Perguntas para decidir o melhor tamanho

      • Visual Subnet Calculator

    • VNET Peerings

      • SDNs Peering

      • VNET Peering – BI direcional

      • Low Latency e alta transferência entre as VNETs usando backend do Azure

      • Types:

      • VNET Peering (mesma região)

      • Global VNET Peering (Regiões diferentes)

      • NSG Rules

      • Não precisa estar na mesma subscription

    • Azure Databricks IP Access List

      • Use case for IP Access List

      • Bloqueando acessos externos como um Firewall do Azure SQL Server

      • Block e Allow List

      • VPNs e Private Endpoints Bypass IP Access List

      • Maximo de 1000 Ips

      • IPV4

      • Apenas Databricks Premium

    • User Defined Routing – UDRs

      • Comunicação entre Control Plane e Data Plane

      • Azure Default System Route Tables – Associados a Subnet

      • Next Hop Types

      • Use Cases para UDRs

      • Direcionar trafego para um Firewall

      • Bypass BGP

      • Direcionar trafego para o Onpremises

      • Parar um tráfego

      • Service Tags

      • Prioridade e ordem do Tráfego

    • Data Loss Prevention (DLP) and Exfiltration

      • O que é DLP e Exfiltration

      • Features for DLP

      • UDRs

      • Azure Firewalls

      • Private Link

      • Service Endpoints

      • Databricks

      • IP Access List

      • Unity Catalog

      • Autenticação vs Autorização

      • Principio do menor privilégio

      • Zero Trust Principle

    • Databricks e Endpoints (Private e Service Endpoint)

      • O que é um Endpoint

      • Diferença entre Private e Service Endpoint

      • Private Endpoint

      • Private Link

      • Front-end

      • Back-end

      • Web and private Connections

      • Service Endpoint

      • Atachado em VNETs Subnets

      • Free

      • Não precisa de DNS

      • Configurando um Private endpoint entre Control Plane e Data Plane

      • Azure Domain Name System – DNS

      • O que é um DNS

      • Key Records

      • Oauth Call Back CNAMES

      • Atribuído a uma VNET

  • Cloud Integrations

    • Azure Databricks Architecture Reference

    • Ingest

    • Store

    • Process

    • Serve

    • Azure Data Factory

    • Storage Account – ADLS

    • Cosmos DB

    • SQL Server

    • Synapse

    • Power BI

    • Security

    • Native Connections

    • Service Principals

    • Managed Identities

    • Access Connector

    • Unity Catalog

    • Azure Key Vault

    • Conectando em um ADLS

    • External Credentials

    • External Locations

    • Orquestrando pipelines com Azure Data Factory

    • Conectando o Power BI no Azure Databricks


É bastante conteúdo, como disse acima, é apenas um resumo que fui criando conforme assistia, algumas anotações extras, removi, pois, poderia ficar confuso.


 

Resumo


Muito conteúdo abordado já era parte do meu dia a dia, então foi fácil assimilar ou mesmo reforçar, algumas coisas também já havia visto no curso de Platform Admin, mas o que me surpreendeu foi o conteúdo focado para redes (Networking), algumas coisas bem complexas quando se trabalha com VNET Injection e ambientes que precisam de alta segurança.


Então se cogita fazer esse curso, se prepare para uma imersão em redes, se não está familiarizado com Azure, recomendo fortemente fazer esse curso antes: AZ-900:

Esse curso não abordará sobre redes, mas, vai te dar um conhecimento básico e essencial sobre Cloud e sobre o Azure.


Recomendo esse curso Databricks para times de administração/sustentação e arquitetos de dados, acredito que para engenheiros tem muito a agregar, sim, mas foge muito do seu dia a dia, se você é engenheiro de dados, foque nos cursos essenciais para se tornar um bom engenheiro e caso já tenha zerado a trilha, aí sim é muito valido esse curso, logo, seria para engenheiros de dados Sênior.


Espero que tenha gostado.

Fique bem e até a próxima.







202 visualizações0 comentário

Posts recentes

Ver tudo

Comments


Post: Blog2 Post
bottom of page