Você conhece os principais comandos de SHOW no Spark\Databricks? Veja esse post e aprenda como utilizar em automações.

Aprenda a gerar um Personal Access Token (PAT) para uma ServicePrincipal - Automatize seus apps

Já pensou em automatizar alguma coisa? Então você precisa conhecer o Azure Logic App