Google Cloud Pub/Sub - Messaging Service

Skalierbare Event-Streaming- und Messaging-Plattform für asynchrone Kommunikation und Echtzeit-Datenverarbeitung.

Was ist Google Cloud Pub/Sub?

Google Cloud Pub/Sub ist ein vollständig verwalteter Messaging-Service, der auf dem Publish-Subscribe-Muster basiert. Das System entkoppelt Sender (Publisher) und Empfänger (Subscriber) von Nachrichten, wodurch hoch skalierbare, resiliente Event-Driven-Architekturen möglich werden. Publisher senden Nachrichten an Topics, während Subscriber über Subscriptions diese Nachrichten unabhängig voneinander konsumieren können. Diese Architektur ermöglicht es, dass mehrere Services dieselben Events verarbeiten, ohne dass sie voneinander wissen müssen.

Ein zentrales Feature ist die Exactly-Once-Delivery-Garantie, die sicherstellt, dass jede Nachricht genau einmal verarbeitet wird, auch bei Systemausfällen oder Wiederholungsversuchen. Dies wird durch eine Kombination aus eindeutigen Message-IDs, serverseitiger Deduplizierung und Acknowledgment-Mechanismen erreicht.

Hinweis: Die frühere kosteneffiziente Variante Pub/Sub Lite wurde zum 30. Juni 2026 endgültig abgeschaltet. Google empfiehlt bestehenden Pub/Sub-Lite-Nutzern die Migration zu Pub/Sub Standard oder, für Anwendungsfälle mit partitionsbasierter Verarbeitung und hoher Kostensensitivität, zu Google Cloud Managed Service for Apache Kafka.

Pub/Sub integriert sich nahtlos mit anderen Google Cloud Services: BigQuery-Subscriptions ermöglichen direktes Streaming in Data Warehouses ohne zusätzlichen ETL-Code, Dataflow kann Nachrichten in Echtzeit transformieren, und Cloud Functions können Event-getriggert ausgeführt werden. Schema-Validierung mit Avro und Protocol Buffers gewährleistet Datenqualität, während Message Ordering mit Ordering Keys die korrekte Reihenfolge für Event-Sourcing und Change-Data-Capture garantiert. Die globale Infrastruktur skaliert automatisch von wenigen Nachrichten pro Sekunde bis zu Millionen von Nachrichten, ohne manuelle Intervention.

Typische Anwendungsfälle

Event-driven Microservices

Pub/Sub dient als zentraler Event-Bus für Microservices-Architekturen. Services publizieren Domain Events (z. B. OrderCreated, PaymentProcessed) in Topics, während andere Services diese Events asynchron konsumieren. Dies entkoppelt Services, ermöglicht unabhängige Skalierung und vereinfacht die Implementierung von CQRS- und Event-Sourcing-Patterns.

Streaming Analytics mit Dataflow

Kombination aus Pub/Sub und Dataflow für Echtzeit-Datenanalyse. Pub/Sub sammelt Events aus verschiedenen Quellen (Web, Mobile, IoT), während Dataflow diese in Echtzeit aggregiert, transformiert und analysiert. Ergebnisse werden in BigQuery, Cloud Storage oder andere Systeme geschrieben.

IoT Data Ingestion

Pub/Sub skaliert automatisch für viele gleichzeitig sendende IoT-Geräte. Die globale Infrastruktur gewährleistet niedrige Latenz, während konfigurierbare Message Retention temporäre Ausfälle nachgelagerter Systeme abfedert.

Real-time Notifications

Push-Subscriptions ermöglichen Echtzeit-Benachrichtigungen an Webhooks oder Cloud Functions. Dies eignet sich für User-Notifications, Alerts oder Workflow-Triggering. Pub/Sub unterstützt zuverlässige Zustellung mit automatischen Wiederholungsversuchen und Dead Letter Topics für fehlgeschlagene Nachrichten.

Log Aggregation

Zentralisierte Log-Sammlung von verteilten Systemen. Anwendungen und Services senden Logs an Pub/Sub Topics, die dann von verschiedenen Consumern verarbeitet werden: Langzeitspeicherung in Cloud Storage, Echtzeit-Monitoring, SIEM-Integration oder Compliance-Archivierung.

ETL Pipelines mit BigQuery-Subscriptions

BigQuery-Subscriptions schreiben Pub/Sub-Nachrichten direkt in BigQuery-Tabellen ohne zusätzlichen Code. Schema-Validierung gewährleistet Datenqualität, während automatisches Partitioning und Clustering die Query-Performance optimiert.

Asynchrone Task-Queues

Pub/Sub als robuste Task-Queue für zeitintensive Operationen. Web-Requests triggern schnelle Responses, während aufwendige Tasks (Image-Processing, Report-Generierung, Batch-Jobs) asynchron über Pub/Sub abgearbeitet werden. Pull-Subscriptions mit manuellem Acknowledgment ermöglichen kontrollierte Verarbeitung mit Backpressure-Handling.

Best Practices

Message Ordering mit Ordering Keys

Nutzen Sie Ordering Keys für Anwendungsfälle, die garantierte Reihenfolge erfordern. Nachrichten mit demselben Key werden sequenziell zugestellt, während unterschiedliche Keys parallel verarbeitet werden. Ordering Keys reduzieren den Durchsatz pro Key, verwenden Sie daher eine ausreichende Anzahl unterschiedlicher Keys für optimale Performance.

Dead Letter Topics für fehlerhafte Nachrichten

Konfigurieren Sie Dead Letter Topics für jede Subscription, um Nachrichten zu isolieren, die nach mehreren Versuchen nicht verarbeitet werden können. Setzen Sie max_delivery_attempts auf einen sinnvollen Wert und monitoren Sie Dead Letter Topics aktiv.

Exactly-Once-Delivery aktivieren

Aktivieren Sie Exactly-Once-Delivery für kritische Workloads, bei denen Duplikate zu Inkonsistenzen führen (z. B. Zahlungsverarbeitung, Bestandsverwaltung). Beachten Sie, dass dies höhere Latenz und Kosten verursachen kann. Für unkritische Logs oder Metriken genügt At-Least-Once mit idempotenten Consumern.

Schema Evolution mit Avro oder Protocol Buffers

Definieren Sie Schemas für alle Topics und nutzen Sie Schema-Validierung. Planen Sie Schema-Evolution von Anfang an: verwenden Sie optionale Felder, vermeiden Sie Breaking Changes, und versionieren Sie Schemas bei größeren Änderungen.

Push vs. Pull Subscriptions richtig wählen

Verwenden Sie Push-Subscriptions für Event-getriggerte Cloud Functions oder Webhooks mit niedriger bis mittlerer Last. Pull-Subscriptions eignen sich für Batch-Processing, kontrollierte Parallelisierung und Backpressure-Handling.

Message Retention und Speicherkosten optimieren

Die Standard-Retention beträgt 7 Tage und lässt sich erhöhen; unbestätigte Nachrichten, die länger als 24 Stunden vorgehalten werden, verursachen zusätzliche Speicherkosten. Stellen Sie sicher, dass Subscriptions aktiv Nachrichten konsumieren und acknowledgen.

Monitoring mit Cloud Monitoring und Alerting

Überwachen Sie zentrale Metriken: unacknowledged messages (Backlog), oldest unacknowledged message age, Subscription-Durchsatz und Dead-Letter-Topic-Größe. Setzen Sie Alerts für abnormale Werte.

Google Cloud Pub/Sub im Vergleich

vs. AWS SNS/SQS: Pub/Sub vereint Pub/Sub- und Queue-Semantik in einem Service, während AWS separate Services nutzt (SNS für Fanout, SQS für Queuing). Pub/Sub bietet native Ordering und Exactly-Once-Delivery-Optionen, AWS erreicht Ähnliches unter anderem über FIFO-Queues.

vs. Azure Service Bus: Service Bus bietet ähnliche Features (Topics, Queues, Message Sessions), läuft aber primär in Azure-Regionen. Beide erfüllen Enterprise-Anforderungen; die Wahl hängt häufig vom bevorzugten Cloud-Provider ab.

vs. Apache Kafka / Managed Service for Apache Kafka: Kafka bietet mehr Kontrolle über Partitionierung, Consumer-Groups und Log-Compaction, erfordert aber Cluster-Betrieb (selbst gehostet oder als Managed Service, z. B. Google Cloud Managed Service for Apache Kafka). Pub/Sub ist vollständig serverless ohne Cluster-Management, eignet sich aber weniger für Log-Compaction oder sehr lange Message-Retention.

Integration mit innFactory

Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei der Implementierung von Event-Driven-Architekturen mit Pub/Sub: von der Architektur-Beratung über die Migration bestehender Messaging-Systeme (inklusive Migration von Pub/Sub Lite) bis zu Betrieb und Kostenoptimierung. Wir helfen bei Schema-Design, Subscription-Konfiguration, Monitoring-Setup und der Integration mit Dataflow, BigQuery und anderen Google Cloud Services.

Kontaktieren Sie uns für eine Beratung zu Google Cloud Pub/Sub und Event-Streaming-Architekturen.