Was ist Cloud Data Fusion?
Cloud Data Fusion ist Googles vollständig verwaltete Datenintegrations-Plattform. Der Service basiert auf dem Open-Source-Projekt CDAP und ermöglicht visuelle ETL-Entwicklung per Drag-and-Drop. Datenanalysten erstellen Pipelines ohne Programmierung.
Kernfunktionen
- Visueller Pipeline-Designer: Drag-and-Drop Interface für ETL-Workflows
- 150+ Konnektoren: Vorgefertigte Verbindungen zu Datenbanken, SaaS und Cloud-Services
- Data Lineage: Automatische Nachverfolgung von Datenflüssen
- Pipeline-Templates: Wiederverwendbare Vorlagen für häufige Integrationsmuster
- Dataproc-Integration: Automatische Cluster-Provisionierung für Pipeline-Ausführung
Typische Anwendungsfälle
Data Warehouse Loading
Daten aus operativen Systemen, SaaS-Anwendungen und Dateien in BigQuery laden. Transformationen erfolgen visuell ohne SQL-Kenntnisse.
Hybrid-Integration
Cloud Data Fusion verbindet On-Premises-Datenbanken mit Cloud-Data-Lakes. Der Private Connector ermöglicht sichere Verbindungen über VPN oder Interconnect.
Daten-Migration
Bei Cloud-Migrationen übernimmt Data Fusion den initialen Datenexport und die fortlaufende Synchronisation bis zum Cutover.
Vorteile
- Keine Programmierung für einfache Pipelines nötig
- Visuelles Debugging und Monitoring
- Serverless: keine Infrastruktur zu verwalten
- Enterprise-Sicherheit mit CMEK und VPC-SC
Integration mit innFactory
Als Google Cloud Partner unterstützt innFactory Sie bei Cloud Data Fusion: Pipeline-Design, Custom Plugin-Entwicklung, Migration von bestehenden ETL-Tools und Performance-Optimierung.
Verfügbare Varianten & Optionen
Basic
- Lower cost
- Simple pipelines
- Limited features
Enterprise
- Full feature set
- Advanced security
- Customer-managed encryption
- Higher cost
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist Cloud Data Fusion?
Cloud Data Fusion ist eine vollständig verwaltete ETL-Plattform basierend auf CDAP. Sie ermöglicht visuelle Datenintegration ohne Programmierung.
Welche Datenquellen unterstützt Cloud Data Fusion?
Cloud Data Fusion bietet über 150 vorgefertigte Konnektoren für Datenbanken, SaaS-Anwendungen, Cloud-Speicher und On-Premises-Systeme.
Was ist der Unterschied zwischen Basic und Enterprise?
Enterprise bietet erweiterte Sicherheit, Customer-Managed Encryption Keys, VPC-SC Support und Streaming-Pipelines. Basic ist für einfache Batch-Pipelines.
Wie skaliert Cloud Data Fusion?
Cloud Data Fusion läuft auf Dataproc und skaliert automatisch. Pipeline-Ausführungen nutzen kurzlebige Cluster, die nach Abschluss heruntergefahren werden.
Kann ich eigene Plugins entwickeln?
Ja, Cloud Data Fusion unterstützt Custom Plugins in Java. Der CDAP Plugin-Hub bietet zusätzlich Community-Plugins.
