Mainframe Connector verschiebt Daten von IBM-Mainframes nach Google Cloud und lässt sich dabei direkt aus bestehenden JCL-Batch-Jobs heraus steuern. Reporting-Workloads, die bislang CPU-Zeit auf dem Mainframe binden, lassen sich damit in die Cloud auslagern, ohne die gewohnte Job-Steuerung aufzugeben.
Was ist Mainframe Connector?
IBM-Mainframes werden laut Google-Cloud-Dokumentation von Organisationen für kritische Rechenaufgaben eingesetzt; viele dieser Organisationen arbeiten seit einigen Jahren an einer Migration in die Cloud. Mainframe Connector lässt Mainframe-Daten nach Google Cloud verschieben, damit CPU-intensive Report-Workloads in die Cloud ausgelagert werden können.
Funktionsweise
Mainframe Connector verschiebt Daten zwischen Mainframe und Cloud Storage und ermöglicht es, BigQuery-Jobs direkt aus mainframebasierten Batch-Jobs anzustoßen, die in Job Control Language (JCL) definiert sind. Dabei werden Mainframe-Datensätze direkt in das Optimized-Row-Columnar-Format (ORC) transkodiert, ein offenes, spaltenorientiertes Datenformat aus dem Apache-Hadoop-Ökosystem, das von BigQuery unterstützt wird.
Der Dienst stellt eine Teilmenge der Google-Cloud-SDK-Kommandozeilenwerkzeuge bereit. JVM-basierte Implementierungen von gsutil und dem bq-Kommandozeilenwerkzeug erlauben es, eine vollständige Extract-Load-Transform-(ELT)-Pipeline direkt aus IBM z/OS heraus zu steuern, bei gleichzeitiger Beibehaltung des bestehenden Job-Schedulers.
Eine typische Herausforderung beim Verschieben von Mainframe-Daten in die Cloud ist laut Google der mehrstufige Prozess: Daten werden zunächst auf einen Dateiserver kopiert, von dort zur Verarbeitung an einen anderen Ort verschoben, mit einem Datenverarbeitungsstack in ein modernes Format konvertiert und schließlich in eine Datenbank oder ein Data Warehouse geladen. Mainframe Connector führt all diese Schritte mit einem einzigen Befehl aus und nutzt Cloud Storage als Zwischenspeicher, wodurch sich die Zeit bis zur Verfügbarkeit der Daten in einer Datenbank oder einem Data Warehouse verkürzt.
Reduzierung der Mainframe-Last (MIPS)
Für den Großteil der Verarbeitung nutzt Mainframe Connector eine Java Virtual Machine (JVM), um die Prozessorlast des Mainframes während der Datenübertragung zu minimieren und dadurch die Anzahl der Million Instructions per Second (MIPS) und somit die Kosten zu senken. Der Großteil der prozessorintensiven Arbeit wird auf Zusatzprozessoren ausgelagert. Sind diese Zusatzprozessoren stark ausgelastet, lässt sich Mainframe Connector auch so konfigurieren, dass Transkodierung und Konvertierung über Compute Engine erfolgen.
Unterstützte Formate und Zeichensätze
Mainframe Connector unterstützt die Transkodierung von Queued-Sequential-Access-Method-(QSAM)- oder Virtual-Storage-Access-Method-(VSAM)-Mainframe-Datensätzen mit COBOL-Copybooks in Extended Binary Coded Decimal Interchange Code (EBCDIC) sowie von Dateien in ASCII UTF-8, jeweils in die Zielformate ORC, JSON oder CSV. Standardmäßig transkodiert der Dienst Datensätze aus dem Zeichensatz US EBCDIC Cp037; zusätzlich werden die regionalen EBCDIC-Zeichensätze Französisch (Cp297), Deutsch (Cp1141) und Spanisch (Cp1145) unterstützt. Ist kein passender Zeichensatz in der IBM-JVM enthalten, lässt sich ein eigener implementieren.
Kernfunktionen
- Vereinfachter Datentransfer: Verschiebt Mainframe-Daten direkt nach Cloud Storage und BigQuery.
- Integration mit Batch-Jobs: BigQuery-Jobs lassen sich aus bestehenden JCL-Batch-Jobs anstoßen.
- Gewohntes Monitoring: Mainframe-Betriebsteams überwachen weiterhin über die gewohnte JCL-Jobsteuerung.
- Reduzierte MIPS: JVM-basierte Verarbeitung und Auslagerung auf Zusatzprozessoren senken die Mainframe-Prozessorlast.
- Streaming-Transkodierung: Direkte Umwandlung von Mainframe-Datensätzen in ORC, JSON oder CSV, inklusive regionaler EBCDIC-Zeichensätze.
Typische Anwendungsfälle
Auslagerung von Reporting-Workloads
Ein Unternehmen verlagert rechenintensive Report-Batch-Jobs vom Mainframe nach BigQuery, um MIPS-Kosten zu senken und Kapazität auf dem Mainframe freizugeben.
ELT-Pipelines direkt aus z/OS
Ein Team steuert eine vollständige Extract-Load-Transform-Pipeline mit den JVM-basierten gsutil- und bq-Implementierungen direkt aus z/OS, ohne den bestehenden Job-Scheduler zu ersetzen.
Verarbeitung von COBOL-Copybook-Datensätzen
QSAM- oder VSAM-Datensätze mit COBOL-Copybooks werden automatisiert nach ORC transkodiert und stehen anschließend für Analysen in BigQuery zur Verfügung.
Mehrsprachige Mainframe-Landschaften
Für Datensätze aus regionalen EBCDIC-Zeichensätzen, etwa Deutsch (Cp1141), nutzt ein europäisches Unternehmen die entsprechende Zeichensatzunterstützung von Mainframe Connector.
Vorteile
- Geringerer Migrationsaufwand: Ein einzelner Befehl ersetzt eine mehrstufige Kopier-, Verarbeitungs- und Ladekette.
- Kostenkontrolle: Reduzierte MIPS-Nutzung durch JVM-basierte Verarbeitung senkt Mainframe-Betriebskosten.
- Vertraute Betriebsabläufe: Integration in bestehende JCL-Jobsteuerung ohne neue Betriebsumgebung.
- Direkte BigQuery-Anbindung: Mainframe-Daten stehen zeitnah für Analysen zur Verfügung.
- Mehrsprachige Zeichensatzunterstützung: Regionale EBCDIC-Zeichensätze für Deutsch, Französisch und Spanisch bereits integriert.
Integration mit innFactory
Als zertifizierter Google Cloud Partner unterstützt innFactory Sie bei der Migration von Mainframe-Workloads: Bewertung geeigneter Report- und Batch-Prozesse für die Auslagerung, Konzeption der Zielarchitektur in Cloud Storage und BigQuery sowie Integration von Mainframe Connector in Ihre bestehende JCL-Jobsteuerung.
Kontaktieren Sie uns für eine Beratung zu Mainframe Connector.
Typische Anwendungsfälle
Technische Spezifikationen
Häufig gestellte Fragen
Was ist Mainframe Connector?
Laut Google-Cloud-Dokumentation lässt sich mit Mainframe Connector Mainframe-Daten nach Google Cloud verschieben, um CPU-intensive Report-Workloads in die Cloud auszulagern. Der Dienst richtet sich an Organisationen, die von IBM-Mainframes in Richtung Cloud migrieren.
Wie reduziert Mainframe Connector die Mainframe-Auslastung (MIPS)?
Mainframe Connector nutzt laut Dokumentation für den Großteil der Verarbeitung eine Java Virtual Machine (JVM), um die Prozessorlast des Mainframes während der Datenübertragung zu minimieren und dadurch MIPS und Kosten zu senken. Der Großteil der prozessorintensiven Arbeit wird auf Zusatzprozessoren ausgelagert; sind diese stark ausgelastet, kann Transkodierung und Konvertierung zusätzlich über Compute Engine konfiguriert werden.
Welche Datenformate unterstützt die Transkodierung?
Mainframe Connector transkodiert laut Dokumentation QSAM- oder VSAM-Mainframe-Datensätze mit COBOL-Copybooks in EBCDIC sowie Dateien in ASCII UTF-8 in die Formate ORC, JSON oder CSV. Standardmäßig wird vom Zeichensatz US EBCDIC Cp037 ausgegangen; zusätzlich werden die regionalen EBCDIC-Zeichensätze für Französisch, Deutsch und Spanisch unterstützt. Bei Bedarf lässt sich ein eigener Zeichensatz implementieren.
Wie läuft eine typische Datenübertragung mit Mainframe Connector ab?
Statt der üblichen mehrstufigen Kette aus Kopieren auf einen Dateiserver, Weiterverarbeitung, Formatkonvertierung und Laden in eine Datenbank führt Mainframe Connector laut Dokumentation alle diese Schritte mit einem einzigen Befehl aus, wobei Cloud Storage als Zwischenspeicher dient. Das reduziert die Zeit, bis Mainframe-Daten in einer Datenbank oder einem Data Warehouse verfügbar sind.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von Google Cloud (offizielle Dokumentation). Diese Seite stellt kein Angebot von Google Cloud dar.
