top of page
Foto do escritorReginaldo Silva

Databricks - Workflows - Schedule e Triggers - Trigger File Arrival - Monitorando eventos no Storage

Fala pessoal, ótima semana a todos, vamos de conteúdo de Databricks.


Nesse vídeo falo sobre schedule e triggers e especificamente sobre triggers de eventos no Databricks, como podemos monitorar eventos no Storage para disparar nossos Jobs no Workflows.


Esse tipo de trigger é muito bom quando você não tem definição de quando o evento deve ocorrer, ao invés de você ficar monitorando o evento ou criar um schedule de minuto em minuto, algo assim, você pode disparar seu job somente quando aquele evento ocorrer.


Nesse vídeo veremos:

- Tipos de schedules e triggers

- Customização de schedule

- Trigger via evento no Storage

- Autoloader para ingerir arquivos que chegam no storage

- Parametrizações da Task

- Limitações

- E caso de uso bem legal com Autoloader


Esqueci de mostrar algo bem legal que é a questão do enfileiramento do Job, no Job você pode configurar para enfileirar os disparos ou pode deixá-lo rodar em paralelo.



Função mencionada no vídeo para visualizar o checkpoint do Autoloader e verificar quais arquivos foram lidos:


Que achou?


Fique bem e até a próxima.

108 visualizações0 comentário

Comments


Post: Blog2 Post
bottom of page