Was ist Amazon S3 Tables?
Amazon S3 Tables ist eine Funktion von Amazon S3, die tabellarische Daten als vollständig verwaltete Apache-Iceberg-Tabellen speichert. Dafür führt AWS einen eigenen Bucket-Typ ein: die Table Buckets, die speziell für tabellarische Daten ausgelegt sind. Jedes AWS-Konto kann Table Buckets anlegen und Zugriffsrechte auf Tabellenebene definieren.
Der Service löst den Betriebsaufwand selbstverwalteter Iceberg-Tabellen in normalen S3-Buckets. Statt Compaction, Snapshot-Verwaltung und das Aufräumen alter Dateien selbst zu organisieren, übernimmt S3 Tables diese Aufgaben automatisch und richtlinienbasiert. So bleiben Iceberg-Tabellen für große Analytics-Workloads performant, während Sie Standard-SQL über gängige Query-Engines nutzen.
Kernfunktionen
- Table Buckets: Eigener Bucket-Typ für tabellarische Daten mit Zugriffskontrolle auf Tabellenebene.
- Verwaltete Apache-Iceberg-Tabellen: Unterstützung für Transaktionen auf Zeilenebene, abfragbare Snapshots und Schema-Evolution über den offenen Iceberg-Standard.
- Automatische Wartung: Kontinuierliche Compaction, Snapshot-Verwaltung und Entfernen nicht referenzierter Dateien ohne manuellen Eingriff.
- Multi-Engine-Zugriff: Zugriff über die Iceberg REST Catalog API durch Athena, Redshift, EMR/Spark, Trino, Flink und weitere Iceberg-kompatible Engines.
Typische Anwendungsfälle
Data-Lake-Analytics: Geschäftsdaten als Iceberg-Tabellen ablegen und per Standard-SQL über Athena, Redshift oder Spark abfragen. Die automatische Compaction hält die Abfrageleistung stabil, auch wenn die Datenmenge wächst.
Streaming- und Event-Daten: Kontinuierlich eintreffende Daten in Iceberg-Tabellen schreiben und transaktional auf Zeilenebene aktualisieren. AWS nennt im Vergleich zu selbstverwalteten Iceberg-Tabellen in Standard-Buckets bis zu 10-fach höhere Transaktionen pro Sekunde.
Multi-Engine-Analytics: Über die Iceberg REST Catalog API greifen mehrere Engines auf dieselben Tabellen zu, ohne Daten zu duplizieren. So lassen sich AWS-Dienste und Iceberg-kompatible Tools wie Snowflake auf einer einheitlichen Tabellengrundlage kombinieren.
Vorteile
- Kein operativer Aufwand für Iceberg-Wartung: Compaction und Snapshot-Verwaltung laufen automatisch.
- Offener Apache-Iceberg-Standard vermeidet Lock-in und ermöglicht Zugriff durch viele Engines.
- Bessere und stabilere Abfrageleistung gegenüber selbstverwalteten Iceberg-Tabellen in Standard-S3-Buckets.
Integration mit innFactory
Als AWS Reseller unterstützt innFactory Sie bei Einführung und Betrieb dieses Service.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Amazon S3 Tables?
Amazon S3 Tables ist eine Storage-Funktion von Amazon S3, die tabellarische Daten als vollständig verwaltete Apache-Iceberg-Tabellen speichert. Dafür gibt es einen eigenen Bucket-Typ, die Table Buckets. AWS übernimmt die laufende Wartung wie Compaction, Snapshot-Verwaltung und das Entfernen nicht referenzierter Dateien.
Wann sollte ich Amazon S3 Tables einsetzen?
S3 Tables eignet sich, wenn Sie Iceberg-Tabellen für Data-Lake-Analytics betreiben möchten, ohne die Iceberg-Wartung selbst zu übernehmen. Typische Szenarien sind SQL-Analytics über Athena, Redshift oder Spark, das Speichern von Streaming- und Event-Daten sowie Multi-Engine-Zugriffe über die Iceberg REST Catalog API.
Was kostet Amazon S3 Tables?
Die Abrechnung erfolgt nutzungsbasiert über mehrere Dimensionen: gespeichertes Datenvolumen, Requests, Object Monitoring sowie die Verarbeitung der automatischen Compaction (nach verarbeiteten Objekten und Datenvolumen). Die aktuellen Preise stehen auf der offiziellen S3-Preisseite.
Welche Query-Engines unterstützt Amazon S3 Tables?
S3 Tables basiert auf dem offenen Apache-Iceberg-Standard und ist über die Iceberg REST Catalog API zugänglich. Dadurch arbeiten Engines wie Amazon Athena, Amazon Redshift, Amazon EMR mit Spark, Apache Trino, Apache Flink und Iceberg-kompatible Tools wie Snowflake mit denselben Tabellen.