Fala pessoal, ótima semana a todos, vamos de conteúdo de Databricks.
Nesse vídeo falo sobre schedule e triggers e especificamente sobre triggers de eventos no Databricks, como podemos monitorar eventos no Storage para disparar nossos Jobs no Workflows.
Esse tipo de trigger é muito bom quando você não tem definição de quando o evento deve ocorrer, ao invés de você ficar monitorando o evento ou criar um schedule de minuto em minuto, algo assim, você pode disparar seu job somente quando aquele evento ocorrer.
Nesse vídeo veremos:
- Tipos de schedules e triggers
- Customização de schedule
- Trigger via evento no Storage
- Autoloader para ingerir arquivos que chegam no storage
- Parametrizações da Task
- Limitações
- E caso de uso bem legal com Autoloader
Esqueci de mostrar algo bem legal que é a questão do enfileiramento do Job, no Job você pode configurar para enfileirar os disparos ou pode deixá-lo rodar em paralelo.
Função mencionada no vídeo para visualizar o checkpoint do Autoloader e verificar quais arquivos foram lidos:
Que achou?
Fique bem e até a próxima.
Comments