Was ist STACKIT Intake?
STACKIT Intake ist ein vollständig verwalteter Dateneingabe-Dienst, der hochvolumige Datenströme über das Apache-Kafka-Protokoll entgegennimmt und direkt in Apache-Iceberg-Tabellen schreibt. Er bildet die Ingestion-Schicht des STACKIT Data Lakehouse und schreibt in Tabellen, die über den Iceberg-REST-Katalog von STACKIT Dremio (Version 25 oder 26) verwaltet werden. Intake ist als temporärer Puffer ausgelegt, kein dauerhafter Datenspeicher, und befindet sich laut STACKIT-Release-Notes seit Dezember 2025 in der Public Preview.
Kernfunktionen
- Kafka-Protokoll-Kompatibilität: Nutzung bestehender Kafka-Client-Bibliotheken und Datenproduzenten wie Debezium ohne Anpassung
- Automatisches Schema-Management: Ableitung von Datentypen aus JSON-Payloads und automatische Schema-Evolution der Ziel-Iceberg-Tabelle
- Zwischenspeicherung mit Zustellgarantie: Nachrichten werden bis zu 24 Stunden gepuffert, bis sie zuverlässig in Dremio geschrieben sind
- Dead-Letter-Queue: Automatische Behandlung fehlerhafter oder nicht verarbeitbarer Nachrichten
- Skalierbarer Durchsatz: Konfigurierbar über max. Nachrichtengröße und max. Nachrichten/Stunde, das Produkt beider Werte begrenzt auf max. 20 GiB/h
- Verwaltung über Portal, CLI und Terraform
Typische Anwendungsfälle
Data-Lakehouse-Ingestion: Intake übernimmt die Rolle der Datenaufnahme-Schicht: Daten fließen über das Kafka-Protokoll direkt in Iceberg-Tabellen, die in STACKIT Dremio analysiert werden können.
Change Data Capture (CDC): Änderungen aus operativen Datenbanken werden über Tools wie Debezium erfasst und in Echtzeit in das Data Lakehouse übernommen.
IoT und Telemetrie: Gerätedaten, Sensormesswerte und Anwendungslogs werden hochvolumig und in Echtzeit erfasst und für nachgelagerte Analysen bereitgestellt.
Vorteile
- DSGVO-konform durch Betrieb auf souveräner STACKIT-Infrastruktur
- Kompatibilität mit dem Kafka-Protokoll vermeidet Lock-in bei Datenproduzenten
- Automatisches Schema-Management reduziert manuellen Pflegeaufwand
- Nahtlose Integration mit STACKIT Dremio für Analyse direkt auf den eingehenden Daten
Integration mit innFactory
Als offizieller STACKIT-Partner unterstützt innFactory Sie beim Design von Echtzeit-Datenpipelines: von der Anbindung bestehender Kafka-Producer über das Schema-Design bis zur Integration mit STACKIT Dremio für nachgelagerte Analysen.
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist STACKIT Intake?
Ein verwalteter Dateneingabe-Dienst, der Datenströme über das Apache-Kafka-Protokoll entgegennimmt und direkt in Apache-Iceberg-Tabellen im Dremio-Iceberg-REST-Katalog schreibt. Er dient als Brücke zwischen Datenproduzenten und dem STACKIT Data Lakehouse.
Ist Intake eine dauerhafte Datenspeicherung?
Nein. Intake ist als temporärer Puffer konzipiert und hält Nachrichten für bis zu 24 Stunden vor, bis sie zuverlässig in die Ziel-Iceberg-Tabelle geschrieben wurden. Danach werden sie aus dem Puffer entfernt.
Welche Datenformate werden unterstützt?
Aktuell verarbeitet STACKIT Intake ausschließlich JSON-Daten. Datentypen werden automatisch aus den JSON-Payloads abgeleitet, das Schema der Ziel-Iceberg-Tabelle wird automatisch verwaltet und bei neuen Feldern weiterentwickelt.
Wie hoch ist der maximale Durchsatz?
Die Kapazität eines Intake Runners wird über zwei Parameter konfiguriert: die maximale Nachrichtengröße (1 bis 1024 KiB) und die maximale Anzahl Nachrichten pro Stunde. Das Produkt aus beiden Werten darf 20 GiB/h nicht überschreiten.
Muss ich meine bestehenden Kafka-Clients ersetzen?
Nein. Da STACKIT Intake das Apache-Kafka-Protokoll unterstützt, lassen sich bestehende Kafka-Client-Bibliotheken und gängige Datenproduzenten wie Debezium ohne Anpassung weiterverwenden.
Welchen Status hat STACKIT Intake und welche Dremio-Version wird benötigt?
STACKIT Intake befindet sich laut Release Notes in der Public Preview (Start: Dezember 2025). Für die Integration wird STACKIT Dremio 25 oder 26 mit Administrationsrechten benötigt.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von STACKIT (offizielle Dokumentation). Diese Seite stellt kein Angebot von STACKIT dar.
