Op 7 oktober 2026 publiceerde Databricks een handleiding over het instellen van budgets en waarschuwingen voor cloud data warehouse-kosten. Dit artikel belicht specifiek de Azure Databricks-omgeving aan de hand van de account console, de REST API en systeemtabellen, inclusief serverless usage policies en Unity Gateway-budgetten.
Kostenbeheer en attributielagen
Kostenbeheer op Azure Databricks is opgebouwd uit vier lagen: tag-gebaseerde attributie, de systeemtabel system.billing.usage als bron van waarheid, budgets in de account console en waarschuwingen op basis van een schema. Handmatige attributie via warehouse-tags gebruikt key-valueparen op SQL warehouses, met een limiet van maximaal 45 tags per warehouse. Bij een botsing met standaard Databricks-tags (Vendor, ClusterId, SqlEndpointId, Creator) krijgen aangepaste tags automatisch het voorvoegsel x_.
Query tags (in Public Preview) maken het mogelijk om sessies of losse statements te taggen, onafhankelijk van het warehouse. Dit gebeurt via de statement-uitvoerings-API of het statement SET QUERY_TAGS. De limieten hiervoor zijn twintig door de gebruiker opgegeven tags per query, 10 KB aan tags per sessie en 128 tekens per key of value. Serverless usage policies (in Public Preview) automatiseren dit proces doordat toegewezen tags automatisch worden overgedragen op serverless notebooks, jobs, pipelines, serving endpoints en apps.
Systeemtabellen en bron van waarheid
De systeemtabel system.billing.usage vormt de primaire bron voor kosten en gebruik, waarin records doorgaans binnen twaalf uur zichtbaar zijn. De tabel bevat onder andere de kolommen custom_tags, usage_metadata.warehouse_id, usage_quantity, usage_unit en record_type (ORIGINAL, RETRACTION of RESTATEMENT). Om dubbeltelling door correcties te voorkomen, is het aan te raden om gebruik te aggregeren voordat filters worden toegepast, zodat retractions de oorspronkelijke regels opheffen.
Query tags bevinden zich in system.query.history en worden gebruikt voor query-specifieke kostenanalyses. Kosten voor materialized view refreshes vallen onder serverless pipeline-gebruik met billing_origin_product = 'DLT'.
Budgets in de account console
Budgets zijn te configureren in de Azure Databricks account console via accounts.azuredatabricks.net onder Usage > Budgets. Per account kunnen maximaal 1.000 budgets worden ingesteld. Elk budget ondersteunt:
- Tot vier maandrapportage-drempels per budget, elk met een eigen e-maillijst.
- Koppelingen aan specifieke workspaces, custom tags of beide.
- Per-user drempelwaarden voor Unity Gateway, met de optie om het gebruik van specifieke gebruikers te blokkeren bij overschrijding.
Standaard zijn budgets een monitoringsmechanisme in plaats van een harde limiet, behalve bij Unity Gateway- en Genie-budgetten waar de instelling 'Block usage' handhaaft.
Databricks SQL Alerts en pacing
Databricks SQL alerts evalueren queryresultaten op basis van een schema en kennen de statussen OK, TRIGGERED en ERROR. Naast drempelwaarde-alerts voor dagelijks gebruik kunnen beheerders pacing alerts inrichten. Deze projecteren de verwachte maandkosten op basis van de verstreken dagen in de maand en draaien idealiter elke vier uur.
Bronnen
- Azure Databricks Cost Governance: Budgets, Tags, and Alerts Before the Invoice Arrives
- Databricks Blog: Set Budgets and Alerts for Cloud Data Warehouse Costs
- Microsoft Learn: Create and monitor budgets - Azure Databricks
- Microsoft Learn: Attribute usage with serverless usage policies - Azure Databricks
- Microsoft Learn: Billable usage system table reference - Azure Databricks
- Microsoft Learn: Databricks SQL alerts - Azure Databricks
- Microsoft Learn: Use tags to attribute and track usage - Azure Databricks
- Microsoft Learn: Query tags - Azure Databricks
- Microsoft Learn: Governance Hub - Azure Databricks
