Databricks - Workflows - Schedule e Triggers - Trigger File Arrival - Monitorando eventos no Storage

Fala pessoal, ótima semana a todos, vamos de conteúdo de Databricks.

Nesse vídeo falo sobre schedule e triggers e especificamente sobre triggers de eventos no Databricks, como podemos monitorar eventos no Storage para disparar nossos Jobs no Workflows.

Esse tipo de trigger é muito bom quando você não tem definição de quando o evento deve ocorrer, ao invés de você ficar monitorando o evento ou criar um schedule de minuto em minuto, algo assim, você pode disparar seu job somente quando aquele evento ocorrer.

Nesse vídeo veremos:

- Tipos de schedules e triggers

- Customização de schedule

- Trigger via evento no Storage

- Autoloader para ingerir arquivos que chegam no storage

- Parametrizações da Task

- Limitações

- E caso de uso bem legal com Autoloader

Esqueci de mostrar algo bem legal que é a questão do enfileiramento do Job, no Job você pode configurar para enfileirar os disparos ou pode deixá-lo rodar em paralelo.

Função mencionada no vídeo para visualizar o checkpoint do Autoloader e verificar quais arquivos foram lidos:

https://learn.microsoft.com/en-us/azure/databricks/sql/language-manual/functions/cloud_files_state

Que achou?

Fique bem e até a próxima.