Was ist STACKIT Intake?
STACKIT Intake ist ein vollständig verwalteter Dateneingabe-Dienst, der hochvolumige Datenströme über das Apache-Kafka-Protokoll entgegennimmt und direkt in Apache-Iceberg-Tabellen schreibt. Er bildet die Ingestion-Schicht des STACKIT Data Lakehouse und schreibt in Tabellen, die über den Iceberg-REST-Katalog von STACKIT Dremio verwaltet werden. Intake ist als temporärer Puffer ausgelegt, kein dauerhafter Datenspeicher.
Kernfunktionen
- Kafka-Protokoll-Kompatibilität: Nutzung bestehender Kafka-Client-Bibliotheken und Datenproduzenten wie Debezium ohne Anpassung
- Automatisches Schema-Management: Ableitung von Datentypen aus JSON-Payloads und automatische Schema-Evolution der Ziel-Iceberg-Tabelle
- Zwischenspeicherung mit Zustellgarantie: Nachrichten werden bis zu 24 Stunden gepuffert, bis sie zuverlässig in Dremio geschrieben sind
- Dead-Letter-Queue: Automatische Behandlung fehlerhafter oder nicht verarbeitbarer Nachrichten
- Skalierbarer Durchsatz: Dynamische Anpassung der Kapazität zwischen 1 GB/h und 20 GB/h
- Verwaltung über Portal, CLI und Terraform
Typische Anwendungsfälle
Data-Lakehouse-Ingestion: Intake übernimmt die Rolle der Datenaufnahme-Schicht: Daten fließen über das Kafka-Protokoll direkt in Iceberg-Tabellen, die in STACKIT Dremio analysiert werden können.
Change Data Capture (CDC): Änderungen aus operativen Datenbanken werden über Tools wie Debezium erfasst und in Echtzeit in das Data Lakehouse übernommen.
IoT und Telemetrie: Gerätedaten, Sensormesswerte und Anwendungslogs werden hochvolumig und in Echtzeit erfasst und für nachgelagerte Analysen bereitgestellt.
Vorteile
- DSGVO-konform durch Betrieb ausschließlich in deutschen Rechenzentren
- Kompatibilität mit dem Kafka-Protokoll vermeidet Lock-in bei Datenproduzenten
- Automatisches Schema-Management reduziert manuellen Pflegeaufwand
- Nahtlose Integration mit STACKIT Dremio für Analyse direkt auf den eingehenden Daten
Integration mit innFactory
Als offizieller STACKIT-Partner unterstützt innFactory Sie beim Design von Echtzeit-Datenpipelines: von der Anbindung bestehender Kafka-Producer über das Schema-Design bis zur Integration mit STACKIT Dremio für nachgelagerte Analysen.
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist STACKIT Intake?
Ein verwalteter Dateneingabe-Dienst, der Datenströme über das Apache-Kafka-Protokoll entgegennimmt und direkt in Apache-Iceberg-Tabellen im Dremio-Iceberg-REST-Katalog schreibt. Er dient als Brücke zwischen Datenproduzenten und dem STACKIT Data Lakehouse.
Ist Intake eine dauerhafte Datenspeicherung?
Nein. Intake ist als temporärer Puffer konzipiert und hält Nachrichten für bis zu 24 Stunden vor, bis sie zuverlässig in die Ziel-Iceberg-Tabelle geschrieben wurden. Danach werden sie aus dem Puffer entfernt.
Welche Datenformate werden unterstützt?
Aktuell verarbeitet STACKIT Intake ausschließlich JSON-Daten. Datentypen werden automatisch aus den JSON-Payloads abgeleitet, das Schema der Ziel-Iceberg-Tabelle wird automatisch verwaltet und bei neuen Feldern weiterentwickelt.
Wie hoch ist der maximale Durchsatz?
Der Durchsatz lässt sich dynamisch zwischen 1 GB/h und 20 GB/h an das tatsächliche Datenvolumen anpassen.
Muss ich meine bestehenden Kafka-Clients ersetzen?
Nein. Da STACKIT Intake das Apache-Kafka-Protokoll unterstützt, lassen sich bestehende Kafka-Client-Bibliotheken und gängige Datenproduzenten wie Debezium ohne Anpassung weiterverwenden.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von STACKIT (offizielle Dokumentation). Diese Seite stellt kein Angebot von STACKIT dar.
