Was ist Amazon Kinesis Data Streams?
Amazon Kinesis Data Streams ist ein serverloser Echtzeit-Datenstreaming-Service, der es ermöglicht, große Mengen an Daten kontinuierlich zu erfassen, zu verarbeiten und zu analysieren. Der Service verarbeitet Daten mit Latenzzeiten im Millisekundenbereich und dient als zentraler Baustein für Event-Driven Architekturen.
Kinesis Data Streams basiert auf dem Konzept von Shards, wobei jeder Shard bis zu 1 MB/s an Eingabedaten und 2 MB/s an Ausgabedaten verarbeitet. Mit dem On-Demand-Modus entfällt die manuelle Kapazitätsplanung, da der Service automatisch basierend auf dem Datenvolumen skaliert.
Der Service ist für Szenarien konzipiert, in denen Daten von vielen Produzenten parallel empfangen und von mehreren Konsumenten unabhängig voneinander verarbeitet werden müssen. Typische Quellen sind Webanwendungen, IoT-Geräte, Mobilgeräte und Log-Systeme.
Kernfunktionen
- On-Demand-Modus: Automatische Skalierung ohne manuelle Shard-Verwaltung basierend auf dem tatsächlichen Durchsatz
- Enhanced Fan-Out: Dedizierter Durchsatz von 2 MB/s pro Consumer für parallele Verarbeitung
- Datenaufbewahrung: Konfigurierbare Aufbewahrungsdauer von 24 Stunden bis 365 Tage
- Server-Side Encryption: Automatische Verschlüsselung der Daten im Ruhezustand mit AWS KMS
- Kinesis Client Library: SDK für die einfache Entwicklung von Consumer-Anwendungen mit automatischem Load Balancing
Typische Anwendungsfälle
Echtzeit-Log-Aggregation: Unternehmen streamen Anwendungslogs aus Hunderten von Microservices über Kinesis Data Streams an zentrale Analytics-Systeme. Die geringe Latenz ermöglicht zeitnahe Fehlererkennung und Alerting.
Event-Driven Architekturen: Kinesis Data Streams dient als zentraler Event-Bus, über den Geschäftsereignisse wie Bestellungen, Zahlungen oder Statusänderungen in Echtzeit an nachgelagerte Services verteilt werden.
IoT-Datenstreaming: IoT-Geräte senden Sensordaten über Kinesis Data Streams an Verarbeitungspipelines, die Anomalien erkennen, Aggregationen berechnen und Daten für langfristige Analyse speichern.
Vorteile
- Millisekundenlatenzen für zeitkritische Verarbeitungsszenarien
- Flexible Skalierung von wenigen KB/s bis zu GB/s Durchsatz
- Mehrere Consumer können denselben Datenstrom unabhängig verarbeiten
- Nahtlose Integration mit Lambda, Flink, EMR und weiteren AWS-Services
Integration mit innFactory
Als AWS Reseller unterstützt innFactory Sie bei Amazon Kinesis Data Streams: von der Architektur der Streaming-Infrastruktur über die Entwicklung von Producer- und Consumer-Anwendungen bis zur Kapazitätsplanung und Kostenoptimierung.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Amazon Kinesis Data Streams?
Amazon Kinesis Data Streams ist ein serverloser Streaming-Service für die Erfassung, Verarbeitung und Speicherung von Datenströmen in Echtzeit. Der Service verarbeitet kontinuierlich Gigabytes an Daten pro Sekunde aus Hunderttausenden von Quellen.
Was ist der Unterschied zwischen On-Demand und Provisioned Mode?
Im On-Demand-Modus skaliert Kinesis automatisch basierend auf dem Datenvolumen. Im Provisioned Mode konfigurieren Sie die Anzahl der Shards manuell. On-Demand eignet sich für variable Workloads, Provisioned für vorhersehbare Lasten.
Wie lange werden Daten in Kinesis gespeichert?
Standardmäßig werden Daten 24 Stunden gespeichert. Die Aufbewahrungsdauer kann auf bis zu 365 Tage verlängert werden, was für Replay-Szenarien und Neuverarbeitung von Daten nützlich ist.