Was ist Cloud Storage Rapid?
Cloud Storage Rapid ist eine Produktfamilie von Google Cloud, die Objektspeicher für datenintensive AI-, ML- und Analytics-Workloads beschleunigt. Sie bündelt zwei Angebote: Rapid Bucket, einen dedizierten zonalen Bucket mit der neuen Speicherklasse Rapid auf Basis von Googles Speichersystem Colossus, und Rapid Cache, einen SSD-gestützten zonalen Lesecache (vormals Anywhere Cache). Beide Bausteine adressieren denselben Engpass: Beschleuniger wie GPUs und TPUs warten oft auf Daten, weil klassischer Objektspeicher nicht genug Durchsatz oder zu hohe Latenz liefert.
Der Ansatz von Cloud Storage Rapid besteht darin, Daten in derselben Zone wie die Compute-Ressourcen vorzuhalten. Dadurch sinkt die Latenz auf Sub-Millisekunden-Niveau und der aggregierte Durchsatz steigt deutlich. Rapid Bucket liefert aus einem einzelnen zonalen Bucket mehr als 15 TB/s Lesedurchsatz und bis zu 20 Millionen Anfragen pro Sekunde. So bleiben teure Beschleuniger ausgelastet und Trainings- sowie Checkpointing-Zeiten verkürzen sich.
Kernfunktionen
- Rapid Bucket mit Speicherklasse Rapid: Zonaler Objektspeicher auf Colossus mit Sub-Millisekunden-Latenz, mehr als 15 TB/s aggregiertem Lesedurchsatz und bis zu 20 Millionen Anfragen pro Sekunde aus einem einzelnen Bucket.
- Streaming Object Appends: Anwendungen können Daten in Echtzeit an bestehende Objekte anhängen, ohne sie neu zu schreiben. Das vereinfacht Schreibmuster bei Training und Checkpointing.
- Rapid Cache als verwalteter Lesecache: SSD-gestützter zonaler Cache mit bis zu 2,5 TB/s aggregiertem Durchsatz, der ohne Code-Änderung mit bestehenden regionalen, Dual-Region- und Multi-Region-Buckets arbeitet.
- Konfigurierbares Caching: Caching in 2-MB-Chunks, Ingest beim Lesen (Standard) oder beim Schreiben, starke Konsistenz und eine TTL zwischen 24 Stunden und 7 Tagen.
Typische Anwendungsfälle
AI- und ML-Training: Wenn GPU- oder TPU-Cluster große Datensätze laden, liefert Rapid Bucket Daten mit Sub-Millisekunden-Latenz aus derselben Zone. Das reduziert blockierte Beschleunigerzeit und beschleunigt das Laden multimodaler Trainingsdaten.
Checkpointing: Streaming Object Appends und hoher Durchsatz beschleunigen das Schreiben und Wiederherstellen von Modell-Checkpoints gegenüber klassischem Objektspeicher.
Model Loading und Inferenz: Rapid Cache beschleunigt bursty Leseworkloads wie das Laden von Modellen für die Inferenz aus bestehenden Buckets, ohne dass Anwendungen angepasst werden müssen.
Vorteile
- Höherer Durchsatz und niedrigere Latenz halten teure Beschleuniger ausgelastet und verkürzen Laufzeiten.
- Rapid Cache lässt sich ohne API- oder Code-Änderung vor bestehende Cloud-Storage-Buckets schalten.
- Verbrauchsabhängige Abrechnung auf Basis von Cloud Storage, ohne Vorabverpflichtung.
Integration mit innFactory
Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei Einführung und Betrieb dieses Service.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Cloud Storage Rapid?
Cloud Storage Rapid ist eine Produktfamilie für hochperformanten Objektspeicher in Google Cloud. Sie umfasst Rapid Bucket, einen zonalen Bucket mit der neuen Speicherklasse Rapid auf Basis von Colossus, und Rapid Cache, einen SSD-gestützten zonalen Lesecache. Beide beschleunigen AI-, ML- und Analytics-Workloads, die auf Objektspeicher zugreifen.
Wann sollte ich Cloud Storage Rapid einsetzen?
Rapid Bucket eignet sich, wenn Sie Daten in derselben Zone wie Ihre Beschleuniger ablegen und Training, Checkpointing oder Model Serving mit Sub-Millisekunden-Latenz betreiben. Rapid Cache ist sinnvoll, wenn Sie bestehende regionale oder Multi-Region-Buckets haben und ohne Code-Änderung hohen Lesedurchsatz für bursty Workloads wie Model Loading benötigen.
Was kostet Cloud Storage Rapid?
Die Abrechnung erfolgt verbrauchsabhängig und baut auf den Cloud-Storage-Preisen auf. Daten, die aus dem Rapid Cache ausgeliefert werden, können geringere Gebühren für Datentransfer, Abruf und Operationen verursachen als der direkte Bucket-Zugriff. Die aktuellen Konditionen finden Sie auf der offiziellen Cloud-Storage-Preisseite.
Welche Limits und Konfigurationen gelten für Rapid Cache?
Rapid Cache ist ein vollständig verwalteter zonaler Cache und arbeitet mit regionalen, Dual-Region-, Multi-Region- und Custom-Dual-Region-Buckets ohne API-Änderung. Pro Zone und Bucket ist maximal ein Cache möglich. Caching erfolgt in 2-MB-Chunks, wahlweise beim Lesen (Standard) oder beim Schreiben, mit starker Konsistenz. Die TTL liegt zwischen 24 Stunden und 7 Tagen (Standard 24 Stunden).
