Was ist Amazon MWAA?
Amazon MWAA (Managed Workflows for Apache Airflow) ist ein verwalteter Service für Apache Airflow, das offene Orchestrierungs-Tool zum Erstellen, Planen und Überwachen von Workflows. Mit Amazon MWAA lassen sich Airflow und Python nutzen, um Workflows zu erstellen, ohne die zugrunde liegende Infrastruktur für Skalierung, Verfügbarkeit und Sicherheit selbst zu verwalten. MWAA skaliert automatisch entsprechend dem Workflow-Bedarf und integriert sich mit den Sicherheitsdiensten von AWS.
Bestehende Airflow-DAGs (Directed Acyclic Graphs) lassen sich in der Regel ohne größere Änderungen übernehmen. Die DAG-Dateien werden in einem S3-Bucket gespeichert, die MWAA-Umgebung lädt sie automatisch. Benutzerdefinierte Python-Pakete und Airflow-Plugins werden ebenfalls unterstützt.
Kernfunktionen
- Automatisches Airflow-Setup: Auswahl einer Airflow-Version bei der Environment-Erstellung, Einrichtung über die gewohnte Open-Source-Oberfläche
- Automatische Skalierung: Worker-Kapazität skaliert automatisch zwischen definierten Minimum- und Maximum-Grenzen
- S3-basierte DAGs: DAG-Dateien werden in S3 gespeichert und automatisch geladen, einfache CI/CD-Integration
- Eingebaute Sicherheit: Ausführung in einer eigenen VPC, Verschlüsselung über AWS KMS und IAM-basierte Zugriffskontrolle
- Öffentlicher oder privater Zugriff: Wahlweise öffentlich erreichbarer oder rein VPC-interner Zugriff auf den Airflow-Webserver
- Monitoring: Airflow-Logs und -Metriken direkt in Amazon CloudWatch
Typische Anwendungsfälle
Daten-Pipeline-Orchestrierung: Datenteams orchestrieren komplexe ETL-Pipelines, die Daten aus verschiedenen Quellen extrahieren, transformieren und in Data Warehouses oder Data Lakes laden.
ETL-Workflow-Automatisierung: Regelmäßig ausgeführte Datenverarbeitungsjobs werden als Airflow-DAGs definiert, inklusive Scheduling, Fehlerbehandlung, Retries und Alerting.
ML-Pipeline-Management: Data-Science-Teams nutzen MWAA, um ML-Pipelines zu orchestrieren: Datenaufbereitung, Feature-Engineering, Modelltraining, Evaluierung und Deployment als automatisierte Workflow-Kette.
Vorteile
- Kein Betriebsaufwand für die Airflow-Infrastruktur
- Bestehende DAGs weitgehend unverändert nutzbar
- Automatische Skalierung der Worker-Kapazität
- Nahtlose Integration mit AWS-Daten- und ML-Services
Integration mit innFactory
Als AWS Reseller unterstützt innFactory Sie bei Amazon MWAA: von der Migration bestehender Airflow-Umgebungen über die Entwicklung und Optimierung von DAGs bis zur Integration mit AWS-Datenservices und dem Aufbau von CI/CD-Pipelines für DAG-Deployment.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Amazon MWAA?
Amazon MWAA (Managed Workflows for Apache Airflow) ist ein verwalteter Service, mit dem sich Daten-Pipelines mit Apache Airflow in der Cloud im großen Maßstab betreiben lassen. Airflow und Python dienen zur Erstellung von Workflows, ohne dass eigene Infrastruktur für Skalierung, Verfügbarkeit und Sicherheit verwaltet werden muss.
Welche Airflow-Versionen werden unterstützt?
MWAA unterstützt mehrere Apache-Airflow-Versionen zur Auswahl bei der Erstellung einer Umgebung und aktualisiert regelmäßig auf neue Releases. Seit Airflow v3 stellt der MWAA-Webserver zusätzlich den Execution-API-Server bereit. Die Umgebung kann mit benutzerdefinierten Python-Paketen und Plugins erweitert werden.
Wie werden DAGs bereitgestellt?
DAGs (Directed Acyclic Graphs) werden als Python-Dateien in einem S3-Bucket gespeichert und automatisch von der MWAA-Umgebung geladen. Das erleichtert die Anbindung an bestehende CI/CD-Pipelines für das DAG-Deployment.
Was kostet Amazon MWAA?
MWAA wird nutzungsbasiert ohne Vorabverpflichtung abgerechnet: Es fällt ein stundenbasierter Preis für die Basisinstanz der Umgebung an, zusätzliche Worker-, Scheduler- und Webserver-Instanzen sowie Datenbank-Speicher werden separat berechnet. Alternativ steht MWAA Serverless zur Verfügung, das nach tatsächlich genutzten Managed-Task-Stunden abrechnet. Aktuelle Preise finden sich auf der offiziellen Pricing-Seite.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von AWS (offizielle Dokumentation). Diese Seite stellt kein Angebot von AWS dar.