Was ist Managed Service for Apache Airflow?
Managed Service for Apache Airflow, ehemals Cloud Composer, ist Googles vollständig verwalteter Dienst für Workflow-Orchestrierung auf Basis von Apache Airflow. Der Dienst ermöglicht das Erstellen, Planen, Überwachen und Verwalten von Workflow-Pipelines über Cloud- und On-Premises-Systeme hinweg, ohne dass Teams eigene Airflow-Infrastruktur betreiben müssen. Workflows werden als DAGs (Directed Acyclic Graphs) in Python definiert.
Kernfunktionen
- Managed Airflow auf GKE: Umgebungen laufen auf Google Kubernetes Engine, keine eigene Airflow-Infrastruktur nötig
- DAG-basierte Workflows: Workflows als Python-Code definieren und versionieren
- Native GCP-Integration: Direkte Anbindung an BigQuery, Dataflow, Cloud Storage und weitere Dienste
- Autoscaling und Hochverfügbarkeit: Automatische Skalierung von Workern sowie Optionen für resiliente Deployments
- Netzwerk- und Sicherheitsoptionen: Öffentliche oder private IP, VPC-Integration, VPC Service Controls, IAM-basierte Zugriffskontrolle
- Mehrere Generationen: Composer 3 als aktuelle Generation, Composer 2 weiterhin verfügbar, Composer 1 als Legacy-Option
Typische Anwendungsfälle
ETL-Pipelines
Der Dienst orchestriert tägliche oder stündliche ETL-Jobs. Daten werden aus verschiedenen Quellen extrahiert, transformiert und in Data Warehouses wie BigQuery geladen.
ML-Pipeline-Orchestrierung
Training, Validierung und Deployment von ML-Modellen als orchestrierter Workflow, etwa in Verbindung mit der Gemini Enterprise Agent Platform (ehemals Vertex AI) für End-to-End-MLOps.
Cross-System-Integration
Workflows, die mehrere Systeme verbinden: Daten in Data Lakes laden, Reports generieren, Benachrichtigungen versenden.
Vorteile
- Bewährtes Airflow-Ökosystem mit einer Vielzahl an Operatoren
- Keine eigene Infrastruktur zu verwalten
- Native Integration mit den Datendiensten von Google Cloud
- Zentrales Monitoring und Alerting über Cloud Monitoring
Integration mit innFactory
Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei Managed Service for Apache Airflow: Architektur von Daten-Pipelines, Migration bestehender Airflow-Installationen oder älterer Composer-Generationen, DAG-Entwicklung und Performance-Optimierung.
Verfügbare Varianten & Optionen
Composer 1 (Legacy)
- Geringere Basiskosten
- Ältere Airflow-Versionen
- Nicht mehr empfohlen für neue Umgebungen
Composer 2
- Bewährte Stabilität
- Autoscaling
- Wird von Composer 3 als aktuelle Generation abgelöst
Composer 3
- Aktuelle Generation
- Unterstützung neuerer Airflow-Versionen
- Verbesserte Skalierung und Verfügbarkeit
- Migration bestehender Umgebungen erforderlich
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist Managed Service for Apache Airflow?
Managed Service for Apache Airflow, ehemals Cloud Composer, ist Googles vollständig verwalteter Apache-Airflow-Dienst. Er orchestriert Workflow-Pipelines über Clouds und On-Premises-Rechenzentren hinweg.
Warum wurde Cloud Composer umbenannt?
Google hat den Dienst 2026 in Managed Service for Apache Airflow umbenannt, um die Zugehörigkeit zum offenen Apache-Airflow-Ökosystem klarer zu kommunizieren. Funktionsweise und APIs bleiben kompatibel.
Was ist der Unterschied zwischen den Composer-Generationen?
Composer 3 ist die aktuelle Generation mit verbesserter Skalierung und Unterstützung neuerer Airflow-Versionen. Composer 2 bleibt verfügbar, Composer 1 gilt als Legacy und wird für neue Umgebungen nicht mehr empfohlen.
Kann ich bestehende Airflow-DAGs migrieren?
Ja, bestehende DAGs lassen sich in den Dienst importieren. Anpassungen sind meist nur bei Custom Operators, lokalen Abhängigkeiten oder beim Wechsel auf eine neue Airflow-Hauptversion nötig.
Wie skaliert der Dienst?
Der Dienst läuft auf Google Kubernetes Engine und bietet Autoscaling sowie Optionen für hochverfügbare Deployments; die Worker-Anzahl passt sich der aktuellen Last an.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von Google Cloud (offizielle Dokumentation). Diese Seite stellt kein Angebot von Google Cloud dar.
