Was ist Cloud Composer?
Cloud Composer ist Googles vollständig verwalteter Apache Airflow Service. Der Dienst orchestriert komplexe Daten-Pipelines und Workflows ohne den Aufwand für Infrastruktur-Management. Teams definieren Workflows als DAGs (Directed Acyclic Graphs) in Python.
Kernfunktionen
- Managed Airflow: Keine Airflow-Cluster zu betreiben oder zu patchen
- DAG-basierte Workflows: Workflows als Python-Code definieren und versionieren
- Native GCP-Integration: Direkte Anbindung an BigQuery, Dataflow, GCS und mehr
- Autoscaling: Composer 2 skaliert Worker automatisch nach Bedarf
- Hybrid-Unterstützung: Orchestrierung von On-Premises und Cloud-Workloads
Typische Anwendungsfälle
ETL-Pipelines
Cloud Composer orchestriert tägliche oder stündliche ETL-Jobs. Daten werden aus verschiedenen Quellen extrahiert, transformiert und in Data Warehouses wie BigQuery geladen.
ML-Pipeline-Orchestrierung
Training, Validierung und Deployment von ML-Modellen als orchestrierter Workflow. Integration mit Vertex AI für End-to-End MLOps.
Cross-System-Integration
Workflows, die mehrere Systeme verbinden: CRM-Daten in Data Lakes laden, Reports generieren, Benachrichtigungen versenden.
Vorteile
- Bewährtes Airflow-Ökosystem mit tausenden Operatoren
- Keine Infrastruktur zu verwalten
- Native Integration mit allen GCP-Datendiensten
- Zentrales Monitoring und Alerting
Integration mit innFactory
Als Google Cloud Partner unterstützt innFactory Sie bei Cloud Composer: Architektur von Daten-Pipelines, Migration von bestehenden Airflow-Installationen, DAG-Entwicklung und Performance-Optimierung.
Verfügbare Varianten & Optionen
Composer 1
- Proven stability
- Lower cost
- Older Airflow versions
Composer 2
- Latest Airflow versions
- Better autoscaling
- Improved performance
- Higher base cost
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist Cloud Composer?
Cloud Composer ist Googles verwalteter Apache Airflow Service. Er orchestriert komplexe Daten-Pipelines und Workflows über verschiedene Systeme hinweg.
Was ist der Unterschied zwischen Composer 1 und 2?
Composer 2 bietet neuere Airflow-Versionen, besseres Autoscaling und schnellere Umgebungs-Updates. Composer 1 ist günstiger, aber weniger flexibel.
Welche Airflow-Version unterstützt Cloud Composer?
Composer 2 unterstützt Airflow 2.x mit regelmäßigen Updates. Die genaue Version hängt vom gewählten Image ab.
Kann ich bestehende Airflow-DAGs migrieren?
Ja, bestehende DAGs können in Cloud Composer importiert werden. Anpassungen sind meist nur bei Custom Operators oder lokalen Abhängigkeiten nötig.
Wie skaliert Cloud Composer?
Composer 2 bietet automatisches Worker-Scaling basierend auf der Queue-Länge. Die Anzahl der Worker passt sich der aktuellen Last an.
