Was ist Observability in Foundry Control Plane?
Observability in Foundry Control Plane ist die Beobachtbarkeits-Komponente von Microsoft Foundry für KI-Anwendungen und Agenten. Der Dienst bündelt drei Kernfähigkeiten: Evaluierung misst Qualität, Sicherheit und Zuverlässigkeit von KI-Antworten anhand integrierter Evaluatoren (u.a. Kohärenz, Groundedness, Relevance, Sicherheits- und Fairness-Metriken sowie agentenspezifische Metriken wie Tool-Call-Genauigkeit). Monitoring liefert über die Integration mit Azure Monitor Application Insights Echtzeit-Dashboards zu operativen Metriken, Token-Verbrauch, Latenz, Fehlerraten und Qualitätswerten. Tracing erfasst auf Basis von OpenTelemetry den vollständigen Ausführungspfad einer Anfrage über Modellaufrufe, Tool-Nutzung und Agent-Entscheidungen hinweg.
Observability begleitet den gesamten KI-Anwendungslebenszyklus: von der Modellauswahl über Pre-Production-Evaluierung mit eigenen Testdatensätzen bis zum kontinuierlichen Monitoring in Produktion, inklusive geplanter Evaluierungen zur Drift-Erkennung und eines KI-Red-Teaming-Agenten zur automatisierten Suche nach Sicherheitslücken.
Kernfunktionen
- Distributed Tracing auf OpenTelemetry-Basis für LLM- und Tool-Aufrufe, u.a. mit Unterstützung für LangChain, LangGraph, OpenAI Agents SDK und Microsoft Agent Framework
- Integrierte Evaluatoren für Qualität (Kohärenz, Fluency), RAG-spezifische Metriken (Groundedness, Relevance), Sicherheit (Hate/Unfairness, Violence, geschützte Inhalte) und Agentenverhalten (Tool-Call-Genauigkeit, Task Completion)
- Custom Evaluators für domänenspezifische Anforderungen
- Produktions-Monitoring mit Echtzeit-Dashboards über Azure Monitor Application Insights
- Geplante Evaluierungen und KI-Red-Teaming-Agent (basierend auf dem PyRIT-Framework) zur Sicherheitsprüfung vor und nach dem Deployment
Typische Anwendungsfälle
Engineering-Teams überwachen LLM- und Agent-Anwendungen in Produktion, verfolgen Latenz-Spitzen und Fehlerraten und nutzen Traces, um langsame oder fehlerhafte Tool-Aufrufe zu identifizieren.
Verantwortliche für Responsible AI und Compliance nutzen integrierte Sicherheits- und Fairness-Evaluatoren sowie den KI-Red-Teaming-Agenten, um Anwendungen vor dem Rollout auf Schwachstellen zu prüfen.
ML- und Plattform-Teams überwachen die Antwortqualität über die Zeit mit geplanten Evaluierungen, um Drift zu erkennen, etwa wenn Groundedness-Scores sinken und ein Modell beginnt zu halluzinieren.
FinOps-Teams nutzen die operativen Metriken zu Token-Verbrauch, um Kosten pro Anwendungsfall oder Feature nachzuvollziehen.
Vorteile
- Durchgängige Sichtbarkeit über den gesamten KI-Anwendungslebenszyklus, von Modellauswahl bis Produktionsbetrieb
- Standardisiertes Tracing auf offener OpenTelemetry-Basis, kompatibel mit gängigen Agent-Frameworks
- Vorgefertigte Evaluatoren reduzieren Aufwand für Qualitäts- und Sicherheitsbewertung
- Nahtlose Integration mit Azure Monitor Application Insights für Alerting und Dashboards
- Unterstützung bei Compliance- und Responsible-AI-Anforderungen durch Red-Teaming und Sicherheitsevaluatoren
Integration mit innFactory
Als Microsoft Solutions Partner unterstützt innFactory Sie bei Observability in Foundry Control Plane: Monitoring-Setup, Auswahl und Konfiguration passender Evaluatoren, Dashboard-Design und Alert-Konfiguration für Ihre KI- und Agent-Anwendungen.
Kontaktieren Sie uns für eine unverbindliche Beratung zu Observability in Foundry Control Plane und Microsoft Azure.
Typische Anwendungsfälle
Häufig gestellte Fragen
Was ist Observability in Foundry Control Plane?
Observability in Foundry Control Plane ist die Beobachtbarkeits-Komponente von Microsoft Foundry und umfasst drei Kernfunktionen: Evaluierung der Antwortqualität und -sicherheit, Produktions-Monitoring mit Echtzeit-Dashboards und Distributed Tracing von Modell- und Tool-Aufrufen.
Was wird erfasst und geloggt?
Erfasst werden u.a. Traces von LLM-Aufrufen, Tool-Nutzung und Agent-Entscheidungen, operative Metriken wie Latenz, Fehlerraten und Token-Verbrauch sowie Evaluierungsergebnisse zu Qualität und Sicherheit. Tracing basiert auf OpenTelemetry.
Wie integriere ich Observability in meine Anwendung?
Tracing wird über OpenTelemetry-Standards erfasst und unterstützt gängige Frameworks wie LangChain, LangGraph, das OpenAI Agents SDK und Microsoft Agent Framework. Monitoring und Evaluierungsergebnisse sind in Azure Monitor Application Insights integriert.
Kann ich Alerts für Qualitätsprobleme setzen?
Ja, über Azure Monitor lassen sich Benachrichtigungen konfigurieren, wenn Outputs definierte Qualitätsschwellen unterschreiten oder schädliche Inhalte erzeugt werden.
Was kostet Observability in Foundry Control Plane?
Die Abrechnung erfolgt nutzungsbasiert, etwa für Risk-&-Safety-Evaluierungen und Evaluierungen im Agent-Playground. Playground-Evaluierungen sind standardmäßig aktiv und werden über das Nutzungsmodell mit abgerechnet, lassen sich aber deaktivieren.
Hinweis: Alle Produktinformationen auf dieser Seite wurden sorgfältig zusammengestellt, sind jedoch ohne Gewähr und können veraltet oder unvollständig sein. Cloud-Services entwickeln sich schnell weiter — Funktionen, Preise, SLAs und Verfügbarkeit ändern sich laufend. Verbindliche und aktuelle Informationen finden Sie ausschließlich auf der offiziellen Produktseite von Azure (offizielle Dokumentation). Diese Seite stellt kein Angebot von Azure dar.
