STACKIT AI Model Experiments ist ein vollständig verwalteter MLflow Tracking Server für den gesamten Lebenszyklus von Machine-Learning-Modellen und GenAI-Anwendungen. Der Dienst trackt Experimente, versioniert Modelle und Prompts und macht Reasoning-Ketten von LLM-Agenten transparent: alles auf souveräner EU-Infrastruktur und ohne komplexes Setup. In Kombination mit STACKIT AI Model Serving und Notebooks entsteht ein durchgängiger MLOps-Workflow.
Kernfunktionen
- Experiment Tracking: Automatisches Logging von Parametern, Metriken, Datenversionen und Artefakten für reproduzierbare Trainingsläufe
- Modell- und Prompt-Registry: Zentrale Versionierung und Kontrolle, welche Modell- oder Prompt-Version in welcher Umgebung aktiv ist
- LLM-Tracing: Nachvollziehbare Reasoning-Ketten für agentenbasierte Workflows und RAG-Pipelines, inklusive Tool-Calls
- LLM-as-a-judge: Automatisierte Evaluierung nicht-deterministischer Ausgaben nach Relevanz, Korrektheit und Sicherheit
- Audit-Trail: Lückenloser, revisionssicherer Verlauf aller Experimente zur Unterstützung des EU AI Act
- Managed Service: Hochverfügbar und skalierbar, sofort einsatzbereit ohne Wartungsaufwand
Typische Anwendungsfälle
Klassisches ML-Training: Data-Science-Teams tracken Experimente für Prognosen, Betrugserkennung oder Empfehlungssysteme und registrieren die besten Modelle für das Deployment über STACKIT AI Model Serving.
GenAI und Agentensysteme: Teams verfolgen und debuggen komplexe Reasoning-Ketten agentenbasierter Systeme inklusive Prompt-Templates und Tool-Calls.
RAG-Optimierung: Entwicklerinnen und Entwickler evaluieren und debuggen Retrieval-Augmented-Generation-Prozesse, um die Antwortqualität ihrer Sprachmodelle gezielt zu verbessern.
Compliance-Dokumentation: Regulierte Branchen nutzen den automatischen Verlauf für nachvollziehbare Modellentscheidungen und Audit-Nachweise.
Vorteile
- Souveränität: Alle Experimente und Artefakte bleiben auf DSGVO-konformer EU-Infrastruktur
- Open-Source-Basis: MLflow ist ein etablierter Standard, Artefakte bleiben portabel
- GenAI-ready: ML-Tracking und LLM-Observability in einem Dienst
- Kein Vendor Lock-in: Experimente und Modelle lassen sich jederzeit migrieren
- Vollständiger MLOps-Stack: Im Zusammenspiel mit Notebooks, Workflows und AI Model Serving
Integration mit innFactory
Als offizieller STACKIT Partner unterstützt innFactory Sie beim Aufbau von MLOps- und LLMOps-Pipelines: von der Experimentverfolgung über LLM-Tracing und Evaluierung bis zum produktiven Modelleinsatz auf souveräner STACKIT-Infrastruktur.
Typische Anwendungsfälle
Häufig gestellte Fragen
Worauf basiert STACKIT AI Model Experiments?
Der Dienst ist ein vollständig verwalteter MLflow Tracking Server. Bestehender MLflow-Code und das gesamte MLflow-Ökosystem lassen sich ohne Umbau nutzen.
Unterstützt der Dienst auch GenAI und LLM-Anwendungen?
Ja. Neben klassischem ML-Tracking bietet er LLM-Tracing, das Reasoning-Ketten von Agenten und RAG-Pipelines transparent macht, sowie Prompt-Versionierung.
Wie funktioniert die Evaluierung von LLM-Ausgaben?
Mit LLM-as-a-judge bewerten Sie nicht-deterministische Ausgaben automatisiert nach Kriterien wie Relevanz, Korrektheit und Sicherheit.
Hilft der Dienst bei der EU-AI-Act-Compliance?
Ja. Alle Experimente, Metriken und Parameter werden lückenlos protokolliert. Dieser revisionssichere Verlauf unterstützt Audit-Anforderungen wie den EU AI Act.
In welchen Regionen ist der Dienst verfügbar?
Der Dienst läuft auf souveräner STACKIT-Infrastruktur in den Regionen EU-01 (Deutschland Süd) und EU-02 (Österreich West).
Entsteht ein Vendor Lock-in?
Nein. Da der Dienst auf Open-Source-MLflow basiert, sind Experimente, Artefakte und Modelle portabel und lassen sich jederzeit migrieren.
