Was ist Parallelstore?
Parallelstore ist ein vollständig verwaltetes, paralleles Hochleistungs-Dateisystem von Google Cloud. Es richtet sich an High Performance Computing sowie an KI- und ML-Workloads, die extreme IOPS und hohen Durchsatz bei niedriger Latenz erfordern. Das parallele Dateisystem erlaubt gleichzeitigen Zugriff vieler Clients auf dieselben Daten und stellt dabei Datenintegrität sicher.
Klassische Speicheroptionen werden bei datenintensivem Training und Simulationen oft zum Engpass, weil GPUs und CPUs auf Daten warten. Parallelstore löst dieses Problem mit hohem aggregierten Durchsatz und niedriger Latenz und verkürzt so Trainings- und Berechnungszeiten. Das System basiert auf lokalen SSDs mit 2+1-Erasure-Coding und ist damit als schneller Scratch-Speicher für temporäre Workloads konzipiert.
Kernfunktionen
- Hoher Durchsatz und IOPS: Die Performance skaliert pro TiB mit rund 1,15 GiBps Lese- und 0,5 GiBps Schreibdurchsatz sowie etwa 30.000 Lese- und 10.000 Schreib-IOPS pro TiB.
- Niedrige Latenz und Parallelität: Circa 0,3 ms Latenz bei 4K-Lesezugriffen und Unterstützung für bis zu 4.000 gleichzeitige Client-Prozesse.
- POSIX-Kompatibilität und Integration: Das Dateisystem ist POSIX-konform und lässt sich über einen CSI-Treiber an Compute Engine VMs und Google Kubernetes Engine (GKE) einbinden.
- Schneller Cloud-Storage-Transfer: Batch-Datentransfer zu und von Cloud Storage mit bis zu 20 GiBps oder 5.000 Dateien pro Sekunde.
Typische Anwendungsfälle
KI- und ML-Training: Beim Training großer Modelle müssen umfangreiche Datensätze schnell und parallel an viele Beschleuniger geliefert werden. Parallelstore reduziert Wartezeiten der GPUs und verkürzt dadurch die Trainingsdauer.
High Performance Computing: Simulationen und wissenschaftliche Berechnungen erfordern gleichzeitigen Zugriff vieler Knoten auf gemeinsame Daten. Das parallele Dateisystem liefert den dafür nötigen aggregierten Durchsatz mit niedriger Latenz.
Scratch-Speicher für Batch-Jobs: Rechenintensive Pipelines nutzen Parallelstore als schnellen Zwischenspeicher. Daten lassen sich mit hoher Geschwindigkeit aus Cloud Storage laden, verarbeiten und Ergebnisse zurückschreiben.
Vorteile
- Hoher Durchsatz und IOPS für datenintensive HPC- und KI-/ML-Workloads
- Kürzere Trainings- und Berechnungszeiten durch reduzierte Wartezeiten der Beschleuniger
- Nahtlose Integration in Compute Engine und GKE über einen CSI-Treiber
- Verfügbarkeit in EU-Regionen für Anforderungen an Datenresidenz
Integration mit innFactory
Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei Einführung und Betrieb dieses Service.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Parallelstore?
Parallelstore ist ein vollständig verwaltetes, paralleles Hochleistungs-Dateisystem von Google Cloud. Es ist für High Performance Computing sowie KI- und ML-Workloads ausgelegt, die extreme IOPS und hohen Durchsatz bei niedriger Latenz benötigen. Das System ist POSIX-kompatibel und unterstützt gleichzeitigen Multi-Client-Zugriff.
Wann sollte ich Parallelstore einsetzen?
Parallelstore eignet sich für KI-/ML-Training und -Inferenz, HPC-Simulationen und rechenintensive Batch-Jobs, bei denen viele Clients gleichzeitig auf dieselben Daten zugreifen. Da das System auf lokalen SSDs mit 2+1-Erasure-Coding basiert, ist es für temporäre Scratch-Daten ausgelegt und nicht als dauerhafter Primärspeicher.
Was kostet Parallelstore?
Parallelstore wird nach provisionierter Kapazität abgerechnet, nicht nach genutztem Speicher. Die Abrechnung erfolgt pro GiB in Sekundenschritten. Die genauen Preise pro Region finden Sie auf der offiziellen Pricing-Seite von Google Cloud.
Welchen Durchsatz und welche Kapazität bietet Parallelstore?
Die nutzbare Kapazität reicht von 12 TiB bis 100 TiB. Die Performance skaliert pro TiB: rund 1,15 GiBps Lese- und 0,5 GiBps Schreibdurchsatz, etwa 30.000 Lese- und 10.000 Schreib-IOPS sowie circa 0,3 ms Latenz bei 4K-Lesezugriffen. Es werden bis zu 4.000 gleichzeitige Client-Prozesse unterstützt.
