Was ist Amazon FSx for Lustre?
Amazon FSx for Lustre ist ein vollständig verwaltetes, hochperformantes paralleles Dateisystem, das auf dem Open-Source-Dateisystem Lustre basiert. Es wurde für Workloads entwickelt, die extrem schnellen Zugriff auf große Datenmengen benötigen: High-Performance Computing, Machine Learning Training, Videobearbeitung und Finanzmodellierung.
FSx for Lustre kann nahtlos mit Amazon S3 als Datenrepository integriert werden. Objekte in S3 werden transparent als Dateien im Lustre-Dateisystem verfügbar gemacht, ohne sie vorher manuell kopieren zu müssen. Nach der Verarbeitung können Ergebnisse per Data-Repository-Task zurück nach S3 geschrieben werden.
Kernfunktionen
- Sub-Millisekunden-Latenz: Paralleles Dateisystem mit konsistent niedrigen Zugriffszeiten (bei der SSD-Storage-Klasse)
- S3-Integration: Datenrepository-Verknüpfung mit S3, automatischer Import von Objektlisten und Rückschreiben per Data-Repository-Task
- Mehrere Storage-Klassen: SSD für konsistente niedrige Latenz, Intelligent-Tiering für elastische kosteneffiziente Skalierung, HDD für kapazitätsorientierte Workloads
- Scratch und Persistent: Temporäre Dateisysteme für kurzfristige Verarbeitung oder persistente, replizierte Dateisysteme für dauerhafte Workloads
- POSIX-kompatibel: Standard-POSIX-Dateisystem-Interface für bestehende Linux-Anwendungen ohne Anpassungen
- Integration mit AWS-Diensten: Anbindung an Amazon SageMaker AI, AWS Batch, AWS ParallelCluster sowie Amazon EC2, ECS und EKS
Typische Anwendungsfälle
Machine Learning Training: ML-Trainingsjobs benötigen schnellen Zugriff auf große Datensätze. FSx for Lustre liefert die nötige Performance, um GPU-Cluster vollständig auszulasten, statt auf I/O zu warten, und beschleunigt Trainingsjobs mit SageMaker AI durch Wegfall des initialen S3-Downloads.
High-Performance Computing: Simulationen, Genomsequenzierung und wissenschaftliche Berechnungen profitieren vom parallelen Dateisystem mit hohem Durchsatz über viele parallele Zugriffe, etwa in Kombination mit AWS ParallelCluster.
Video-Rendering: Film- und Medienproduktion nutzt FSx for Lustre für Rendering-Pipelines, die gleichzeitig auf große Medien-Assets zugreifen müssen.
Vorteile
- Vollständig verwaltet ohne Lustre-Administrationsaufwand
- Nahtlose S3-Integration als Datenrepository
- Konsistente Performance auch bei hoher Parallelität
- Flexible Storage-Klassen und Deployment-Optionen für temporäre und dauerhafte Workloads
Integration mit innFactory
Als AWS Reseller unterstützt innFactory Sie bei Amazon FSx for Lustre: HPC-Architekturdesign, S3-Integration für ML-Pipelines, Performance-Optimierung und Hybrid-Storage-Konfiguration.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Amazon FSx for Lustre?
Amazon FSx for Lustre ist ein vollständig verwaltetes paralleles Dateisystem, das auf dem Open-Source-Dateisystem Lustre basiert. Es liefert Sub-Millisekunden-Latenzen und Durchsatzraten bis in den mehrstelligen TBps-Bereich für rechenintensive Workloads wie HPC und Machine Learning.
Wie funktioniert die S3-Integration?
FSx for Lustre kann direkt mit einem S3-Bucket als Datenrepository verknüpft werden. S3-Objekte werden transparent als Dateien im Lustre-Dateisystem dargestellt, und Änderungen können per Data-Repository-Task zurück nach S3 geschrieben werden. Das Dateisystem dient so als performanter Zugriffslayer für S3-Daten.
Welche Storage-Klassen bietet FSx for Lustre?
FSx for Lustre bietet die Storage-Klassen SSD, Intelligent-Tiering und HDD. SSD liefert konsistente Sub-Millisekunden-Latenz bei Durchsatz von 125, 250, 500 oder 1.000 MB/s pro TiB provisionierter Kapazität. Intelligent-Tiering skaliert den Durchsatz unabhängig von der Speicherkapazität in Schritten von 4.000 MB/s.
Scratch oder Persistent - was ist der Unterschied?
Scratch-Dateisysteme eignen sich für temporäre, kurzfristige Verarbeitung ohne Datenreplikation. Persistent-Dateisysteme replizieren Daten und ersetzen ausgefallene Fileserver automatisch, wodurch sie sich für länger laufende, durchsatzintensive Workloads eignen.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von AWS (offizielle Dokumentation). Diese Seite stellt kein Angebot von AWS dar.