Knowledge Catalog (ehemals Dataplex) organisiert verteilte Daten in logische Data Lakes ohne Datenbewegung. Zentrale Governance, automatische Metadaten und Datenqualitäts-Monitoring.
Was ist Knowledge Catalog?
Knowledge Catalog ist ein Data-Fabric-Service, der Daten über Cloud Storage und BigQuery hinweg in logische Strukturen organisiert. Statt Daten in einen zentralen Data Lake zu kopieren, erstellt der Service virtuelle Views über verteilte Datenquellen. Bis April 2026 hieß das Produkt Dataplex beziehungsweise Dataplex Universal Catalog; die zugrunde liegende Technik und die APIs sind von der Umbenennung unberührt.
Der Service bietet automatische Metadaten-Discovery, Datenqualitäts-Prüfungen und zentrale Governance-Policies und ist eng mit den katalog- und suchbezogenen Funktionen verzahnt, die früher als eigenständiger Data Catalog vermarktet wurden.
Konzepte
Lake
Logischer Container für zusammengehörige Daten. Typisch pro Geschäftsbereich oder Projekt.
Zone
Gruppierung nach Verarbeitungsgrad:
- Raw Zone: Rohdaten ohne Transformation
- Curated Zone: Bereinigte, strukturierte Daten
Asset
Die tatsächlichen Daten: Cloud Storage Buckets oder BigQuery Datasets. Assets werden Zones zugeordnet.
Lake: Customer Analytics
├── Zone: Raw
│ ├── Asset: gs://raw-events (Cloud Storage)
│ └── Asset: gs://raw-transactions
└── Zone: Curated
├── Asset: bq://project.curated.events (BigQuery)
└── Asset: bq://project.curated.customersKernfunktionen
- Virtuelle Organisation: Daten bleiben, wo sie sind
- Auto Discovery: Schema und Statistiken automatisch erfasst
- Data Quality: Regeln definieren und automatisch prüfen
- Zentrale Policies: IAM-Policies auf Lake-Ebene
- Katalog-Integration: Alle Metadaten durchsuchbar
Typische Anwendungsfälle
Data Lake Management
Organisieren Sie Hunderte von Storage Buckets und BigQuery Datasets in logische Lakes. Teams finden Daten, ohne zu wissen, wo sie physisch liegen.
Datenqualitäts-Monitoring
Definieren Sie Qualitätsregeln (keine Nullwerte in Schlüsselfeldern, gültige Datumsformate) und prüfen Sie automatisch nach Zeitplan. Alerts bei Verstößen.
Cross-Team Governance
Zentrale Policies für Datenzugang über mehrere Teams. Data Owner definieren, wer auf welche Zones zugreifen darf.
Automatische Dokumentation
Der Service erfasst automatisch Schemas, Statistiken und Samples. Teams verstehen Daten ohne manuelle Dokumentation.
Vorteile
- Kein Datenkopieren: Virtuelle Organisation
- Automatisch: Discovery und Profiling ohne manuellen Aufwand
- Unified: Eine Sicht auf Cloud Storage und BigQuery
- Governance: Zentrale Policies und Datenqualität
Integration mit innFactory
Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei Knowledge Catalog: Data-Lake-Design, Datenqualitäts-Strategien und Governance-Framework-Implementierung.
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist Knowledge Catalog (ehemals Dataplex)?
Knowledge Catalog ist Googles Data-Fabric- und Governance-Service, der verteilte Daten in logische Lakes organisiert, ohne sie zu verschieben. Er bietet zentrale Governance, automatische Metadaten-Discovery und Datenqualitäts-Checks über Cloud Storage und BigQuery hinweg. Der Service hieß bis April 2026 Dataplex bzw. Dataplex Universal Catalog.
Was ist der Unterschied zwischen den Lakes/Zones-Funktionen und der reinen Metadatensuche?
Die Metadatensuche und das Tagging (früher Data Catalog) sind heute Teil von Knowledge Catalog. Zusätzlich bietet Knowledge Catalog mit Lakes, Zones und Assets eine logische Datenorganisation sowie Datenqualitäts-Checks und zentrale Policies, die über reine Metadatensuche hinausgehen.
Was sind Lakes, Zones und Assets?
Ein Lake ist ein logischer Container für zusammengehörige Daten (z. B. pro Geschäftsbereich). Zones gruppieren Assets nach Verarbeitungsgrad (Raw, Curated). Assets sind die tatsächlichen Daten in Cloud-Storage-Buckets oder BigQuery-Datasets. Diese Struktur bleibt nach der Umbenennung zu Knowledge Catalog technisch unverändert bestehen.
Wie funktioniert Datenqualität in Knowledge Catalog?
Data-Quality-Regeln (Nullwerte, Formate, Ranges, Eindeutigkeit) werden definiert und automatisch nach Zeitplan geprüft. Ergebnisse erscheinen im Katalog und können Alerts auslösen; Regelvorschläge basieren auf automatischem Profiling der Daten.
Was kostet Knowledge Catalog?
Die Abrechnung erfolgt nach Compute Units (CU) für Discovery, Quality Scans und Processing. Discovery ist tendenziell günstiger, Quality Scans auf großen Datasets können teurer werden. Für genaue Kontingente und Preise ist die aktuelle Preisseite maßgeblich.
Muss ich meine bestehende Dataplex-Konfiguration nach der Umbenennung ändern?
Nein. Die Umbenennung zu Knowledge Catalog betrifft nur den Produktnamen; API-Endpunkte, `gcloud dataplex`-Befehle und Client-Bibliotheken bleiben unverändert, sodass bestehende Lakes, Zones und Assets ohne Migration weiterlaufen.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von Google Cloud (offizielle Dokumentation). Diese Seite stellt kein Angebot von Google Cloud dar.
