Was ist Dataform?
Dataform ist ein vollständig verwalteter Service von Google Cloud für SQL-basierte Datentransformation in BigQuery. Der Service ermöglicht Data-Teams, Transformationspipelines als Code zu definieren, mit Abhängigkeitsmanagement, automatisierten Tests und Git-basierter Versionierung.
Dataform nutzt SQLX, eine erweiterte SQL-Syntax, die Referenzen zwischen Tabellen, Assertions und JavaScript-Templating unterstützt. Dies macht Data-Warehouse-Pipelines wartbarer und testbarer als lose Sammlungen von SQL-Skripten.
Kernfunktionen
- SQLX-Workflows: Erweiterte SQL-Syntax mit Abhängigkeiten, Referenzen und Makros
- Abhängigkeitsmanagement: Automatische Ausführungsreihenfolge basierend auf Tabellenabhängigkeiten
- Assertions und Tests: Automatisierte Datenqualitätsprüfungen als Teil der Pipeline
- Git-Integration: Versionierung und Code-Review für Transformationslogik
Typische Anwendungsfälle
Data-Warehouse-Modellierung
Data-Teams nutzen Dataform, um Rohdaten in BigQuery in strukturierte, analysierbare Modelle zu transformieren. Staging-, Zwischen- und Mart-Tabellen werden als SQLX-Dateien definiert und automatisch in der richtigen Reihenfolge ausgeführt.
ELT-Pipelines
In ELT-Architekturen übernimmt Dataform den Transformationsschritt nach dem Laden der Rohdaten in BigQuery. Regelmäßige Ausführungen stellen sicher, dass Analysetabellen aktuell bleiben.
Vorteile
- Nativ in BigQuery und Google Cloud integriert
- Verwaltete Ausführungsumgebung ohne eigene Infrastruktur
- Bessere Code-Qualität durch Tests und Code-Review
- Kein separater Dataform-Preis, es fallen nur BigQuery- und Zusatzdienst-Kosten an
Integration mit innFactory
Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei Dataform: Data-Warehouse-Architektur, SQLX-Pipeline-Entwicklung und Best Practices für Datentransformation.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Dataform?
Dataform ist ein verwalteter Service von Google Cloud für SQL-basierte Datentransformation in BigQuery. Er ermöglicht die Definition von Transformationspipelines als SQLX-Code mit Abhängigkeitsmanagement, Tests und Versionierung.
Was ist SQLX?
SQLX ist eine Erweiterung von SQL, die Dataform nutzt. Sie fügt Features wie Referenzen zwischen Tabellen, Assertions (Tests), JavaScript-Templating und wiederverwendbare Makros hinzu.
Wie unterscheidet sich Dataform von dbt?
Dataform und dbt verfolgen ähnliche Konzepte. Dataform ist nativ in Google Cloud und BigQuery integriert mit einer verwalteten Ausführungsumgebung, während dbt eine breitere Datenbank-Unterstützung über verschiedene Cloud-Anbieter hinweg bietet.
Was kostet Dataform?
Für Dataform selbst fällt kein separater Preis an. Berechnet werden die durch Dataform ausgelösten BigQuery-Abfragen sowie gegebenenfalls genutzte Zusatzdienste wie Cloud Logging, Cloud Scheduler, Cloud Workflows oder der Managed Service for Apache Airflow, falls für die Orchestrierung eingesetzt.
Wie funktioniert die Ausführungsreihenfolge in Dataform?
Dataform erkennt automatisch Abhängigkeiten zwischen Tabellen anhand von Referenzen im SQLX-Code und führt Transformationen in der korrekten Reihenfolge aus. Entwickler müssen die Ausführungsreihenfolge nicht manuell verwalten.
Lässt sich Dataform mit bestehenden CI/CD-Prozessen integrieren?
Ja, Dataform unterstützt Git-basierte Versionierung, sodass Transformationslogik wie regulärer Code über Pull Requests und Code-Reviews verwaltet werden kann. Dies ermöglicht die Integration in bestehende CI/CD-Pipelines.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von Google Cloud (offizielle Dokumentation). Diese Seite stellt kein Angebot von Google Cloud dar.
