Azure AI Foundry auf Microsoft Azure
Was ist Azure AI Foundry?
Azure AI Foundry ist Microsofts umfassende Plattform für die Entwicklung, Evaluierung und Bereitstellung von KI-Anwendungen. Die Plattform vereint den kompletten Lebenszyklus von KI-Projekten in einer einheitlichen Umgebung: von der Modellauswahl über Prompt Engineering bis hin zu Deployment und Monitoring. Damit löst AI Foundry ein zentrales Problem in Enterprise-KI-Projekten: die Fragmentierung zwischen Entwicklung, Testing und Produktion.
Der Kern von Azure AI Foundry ist der Model Catalog, der Zugriff auf über 50 KI-Modelle bietet. Dazu gehören OpenAI-Modelle wie GPT-4, GPT-4o und GPT-4 Turbo, Open-Source-Modelle wie Meta Llama 3.1, Mistral Large und Phi-3 sowie spezialisierte Modelle für Vision, Audio und Code. Diese Vielfalt ermöglicht es Unternehmen, das optimale Modell für ihren spezifischen Use Case zu wählen, ohne auf einen einzigen Anbieter fixiert zu sein. Die Modelle lassen sich direkt vergleichen, evaluieren und mit eigenen Daten fine-tunen.
Die Plattform bietet mit Prompt Flow ein Low-Code-Tool für die Orchestrierung komplexer KI-Workflows. Prompt Flow visualisiert den Datenfluss zwischen Prompts, Modellen und externen Tools, was die Entwicklung von RAG-Anwendungen (Retrieval-Augmented Generation) erheblich vereinfacht. Das Responsible AI Dashboard integriert Content Safety Filter, Fairness-Analysen und Hallucination Detection direkt in den Entwicklungsprozess. Damit unterstützt AI Foundry Unternehmen dabei, KI-Anwendungen zu bauen, die nicht nur funktionieren, sondern auch ethischen und regulatorischen Standards entsprechen.
Typische Anwendungsfälle
Chatbot-Entwicklung mit GPT-4
Unternehmen entwickeln mit Azure AI Foundry intelligente Kundenservice-Bots, die auf GPT-4 oder GPT-4o basieren. Über Prompt Flow werden Gesprächsabläufe orchestriert, durch Integration mit Azure AI Search werden Unternehmensdaten in Echtzeit eingebunden (RAG). Der Responsible AI Filter verhindert unangemessene Antworten. Typisches Szenario: Support-Chatbot für SaaS-Unternehmen, der in Confluence- und Jira-Daten sucht.
Document Intelligence mit RAG
Finanzdienstleister und Versicherungen nutzen AI Foundry für die automatisierte Verarbeitung von Verträgen, Policen und regulatorischen Dokumenten. Die RAG-Implementierung kombiniert Azure AI Search für semantische Suche mit GPT-4 für natürlichsprachige Zusammenfassungen. Das Evaluation Framework misst Groundedness und Hallucination Rate, um sicherzustellen, dass Antworten faktisch korrekt sind. Ergebnis: 70% Zeitersparnis bei Dokumentenprüfung.
Code-Generierung mit Copilot-Patterns
Softwareunternehmen implementieren interne Code-Assistenten nach dem GitHub Copilot Muster. Mit Fine-Tuning auf der eigenen Codebasis lernt das Modell unternehmensspezifische Patterns und Libraries. Prompt Flow orchestriert Code-Generierung, Testing und Review-Prozesse. PTUs (Provisioned Throughput Units) garantieren konstante Latenz für Entwickler-Workflows.
Content Moderation für User-Generated Content
Social-Media-Plattformen und Community-Anwendungen nutzen Azure AI Content Safety APIs aus AI Foundry für automatisierte Moderation. Die Modelle erkennen Hate Speech, Sexual Content, Violence und Self-Harm in Text und Bildern. Custom Categories ermöglichen branchenspezifische Filter (z.B. Finanzberatung ohne Lizenz). Integration via API in bestehende Content-Pipelines.
Multi-modale KI-Anwendungen
Marketing-Teams entwickeln Tools, die Text, Bilder und Audio kombinieren. Ein typischer Workflow: GPT-4 Vision analysiert Produktbilder, generiert Beschreibungen und erstellt Social-Media-Posts. DALL-E 3 erzeugt Varianten der Bilder. Azure Speech Services konvertieren Text zu Audio für Podcasts. Alles orchestriert über Prompt Flow, evaluiert mit Custom Metrics.
Fine-Tuning von Open-Source-Modellen
Unternehmen mit hochspezialisierten Anwendungsfällen nutzen Llama 3.1 oder Mistral als Basis und trainieren diese mit eigenen Daten nach. AI Foundry bietet dafür Managed Fine-Tuning: Upload der Trainingsdaten, automatisches Training, Evaluation gegen Baseline-Modelle. Ergebnis: Domain-spezifische Modelle mit besserer Performance als GPT-4 bei niedrigeren Kosten.
Enterprise Search mit semantischer Suche
Große Organisationen implementieren intelligente Suchsysteme über interne Wissensdatenbanken (SharePoint, OneDrive, interne Wikis). Azure AI Search indiziert Dokumente mit Embeddings, GPT-4 generiert Antworten basierend auf den relevantesten Dokumenten. Evaluation Metrics messen Relevance und Citation Accuracy. Nutzer erhalten nicht nur Antworten, sondern auch Quellenangaben für Compliance.
Best Practices für Azure AI Foundry
Modellauswahl aus dem Catalog
Beginnen Sie mit klaren Evaluierungskriterien: Latenz, Kosten, Qualität. Nutzen Sie das AI Foundry Playground, um GPT-4, GPT-4o, Llama 3.1 und Mistral Large direkt zu vergleichen. Für produktionsreife Entscheidungen: Erstellen Sie ein Evaluations-Dataset mit 100-200 repräsentativen Beispielen und messen Sie Groundedness, Relevance und Coherence. GPT-4o bietet oft den besten Kompromiss zwischen Qualität und Preis.
Prompt Engineering mit Prompt Flow
Entwickeln Sie Prompts nicht isoliert, sondern als Workflows in Prompt Flow. Nutzen Sie Varianten-Testing, um systematisch verschiedene Prompt-Formulierungen zu vergleichen. Implementieren Sie Chain-of-Thought Reasoning für komplexe Aufgaben. Versionieren Sie Ihre Flows in Git. Best Practice: Trennen Sie System-Prompts (Verhalten) von User-Prompts (Input) und nutzen Sie Few-Shot Examples für konsistente Outputs.
RAG-Implementierung mit Azure AI Search
Für produktionsreife RAG-Anwendungen: Nutzen Sie Hybrid Search (Keyword + Semantic) in Azure AI Search für bessere Retrieval-Qualität. Implementieren Sie Reranking mit Cross-Encoder-Modellen. Messen Sie Retrieval Precision und Answer Groundedness separat. Chunk-Größe und Overlap systematisch testen (Empfehlung: 500-1000 Tokens mit 10-20% Overlap). Nutzen Sie Citation Metadata, um Quellen nachvollziehbar zu machen.
Responsible AI Practices
Integrieren Sie Content Safety Filter von Anfang an, nicht nachträglich. Definieren Sie für Ihren Use Case Custom Categories (z.B. “Finanzberatung” oder “Medizinische Diagnosen”). Nutzen Sie das Responsible AI Dashboard für kontinuierliches Monitoring. Implementieren Sie Human-in-the-Loop für kritische Entscheidungen. Dokumentieren Sie Model Cards für Transparenz und Compliance.
Evaluation und Monitoring
Etablieren Sie von Tag 1 ein Evaluation Framework: Definieren Sie Metriken (Groundedness, Relevance, Coherence, Fluency), erstellen Sie Golden Datasets, automatisieren Sie Evaluationen bei jedem Deployment. In Produktion: Loggen Sie alle Inputs/Outputs, samplen Sie zufällige Requests für Human Review, tracken Sie Latenz und Fehlerraten. AI Foundry bietet Built-in Evaluation Tools für GPT-based Metrics.
Cost Optimization mit PTUs vs. Token-based Pricing
Für Workloads mit vorhersehbarem Traffic: PTUs (Provisioned Throughput Units) bieten bis zu 50% Kostenersparnis gegenüber Pay-per-Token. Kalkulieren Sie Break-Even: Bei mehr als 1 Million Tokens pro Tag lohnen sich PTUs. Für variable Workloads: Nutzen Sie Token-based Pricing mit Rate Limiting. Kombinieren Sie beide Modelle: PTUs für Baseline-Traffic, Token-based für Peaks.
Security mit Managed Identity und Private Endpoints
Vermeiden Sie API-Keys in Code. Nutzen Sie Azure Managed Identity für Authentication zwischen Services. Implementieren Sie Private Endpoints für AI Foundry, um Traffic im Azure-Netzwerk zu halten. Aktivieren Sie Customer-Managed Keys für Encryption at Rest. Für regulierte Industrien: Nutzen Sie EU-Regionen mit Data Residency Garantien und GDPR-Compliance.
Häufig gestellte Fragen zu Azure AI Foundry
Was ist der Unterschied zwischen Azure AI Foundry und Azure OpenAI Service?
Azure OpenAI Service bietet Zugriff speziell auf OpenAI-Modelle (GPT-4, DALL-E, Embeddings). Azure AI Foundry ist die übergeordnete Plattform, die Azure OpenAI Service einschließt, aber darüber hinaus Open-Source-Modelle (Llama, Mistral), Prompt Flow, Evaluation Tools und Responsible AI Dashboard bietet. AI Foundry ist die moderne Entwicklungsumgebung für alle KI-Modelle, Azure OpenAI Service ist eine Komponente davon.
Welche Modelle sind im Model Catalog verfügbar?
Der Catalog umfasst aktuell über 50 Modelle: OpenAI (GPT-4, GPT-4o, GPT-4 Turbo, GPT-3.5, DALL-E 3, Whisper), Meta Llama (Llama 3.1 8B, 70B, 405B), Mistral (Mistral Large, Mistral Small), Microsoft Phi-3, Cohere Command und Embed, sowie Vision-Modelle wie Florence. Modelle werden kontinuierlich ergänzt. Alle Modelle können direkt im Playground getestet werden.
Wie funktioniert Prompt Flow und wofür brauche ich es?
Prompt Flow ist ein visuelles Tool für die Orchestrierung von KI-Workflows. Statt Code zu schreiben, verbinden Sie Nodes (LLM-Calls, Python-Code, Datenbanken, APIs) in einem Flowchart. Use Cases: RAG-Pipelines (Retrieval → Reranking → LLM → Post-Processing), Multi-Step Reasoning, Agent-Workflows mit Tool-Calls. Der Vorteil: Workflows sind versionierbar, testbar mit verschiedenen Inputs und direkt deploybar als REST API.
Wie implementiere ich RAG (Retrieval-Augmented Generation) mit AI Foundry?
Der typische RAG-Flow: 1) Indexieren Sie Dokumente in Azure AI Search mit Embeddings. 2) In Prompt Flow erstellen Sie einen Flow: User Query → Azure AI Search (Retrieval) → Reranking → Top-K Dokumente → LLM mit Kontext → Antwort. 3) Evaluieren Sie mit Groundedness Metrics (misst, ob Antwort auf Dokumenten basiert). AI Foundry bietet Templates für RAG-Patterns. Integration mit SharePoint, OneDrive und Blob Storage ist out-of-the-box verfügbar.
Kann ich Modelle mit eigenen Daten fine-tunen?
Ja, AI Foundry unterstützt Fine-Tuning für GPT-3.5, GPT-4, Llama 3.1, Mistral und Phi-3. Sie laden Trainingsdaten (JSONL-Format mit Prompt/Completion-Paaren), AI Foundry trainiert das Modell und stellt es als Private Deployment bereit. Use Cases: Domain-spezifische Sprache (Legal, Medical), konsistenter Tone-of-Voice für Brands, Optimierung auf spezifische Tasks. Fine-Tuning kostet pro Training-Hour plus Hosting des Custom Models.
Was kostet Azure AI Foundry: PTUs vs. Token-based Pricing?
Es gibt zwei Preismodelle: 1) Token-based: Pay-per-Token (Input/Output), z.B. GPT-4o ca. $2.50 pro 1M Input-Tokens. Flexibel für variable Workloads. 2) PTUs (Provisioned Throughput Units): Monatliche Fixkosten für garantierten Durchsatz. 1 PTU ≈ 100-150K Tokens/Stunde. Break-Even bei ca. 1M Tokens/Tag. PTUs bieten planbare Kosten und niedrigere Latenz. Kombinierbar: PTUs für Baseline, Token-based für Peaks.
Wie funktioniert Content Filtering und Responsible AI?
AI Foundry integriert Azure AI Content Safety: Filter für Hate Speech, Sexual Content, Violence, Self-Harm in 4 Severity-Levels. Sie konfigurieren Thresholds pro Use Case. Custom Categories ermöglichen branchenspezifische Filter. Das Responsible AI Dashboard zeigt Fairness-Metriken (Bias Detection), Groundedness (Hallucination Detection) und Error Analysis. Filter sind in Echtzeit aktiv (Input + Output Filtering) und loggen Violations für Compliance.
Wo werden meine Daten gespeichert und ist AI Foundry GDPR-konform?
AI Foundry ist in allen Azure-Regionen verfügbar, inklusive EU-Regionen (West Europe, North Europe, Germany West Central). Bei Wahl einer EU-Region bleiben Daten in der EU (Data Residency). Microsoft bietet Data Processing Agreements für GDPR-Compliance. Wichtig: Azure OpenAI Service in AI Foundry speichert keine Prompts/Completions für Microsoft-Training (im Gegensatz zu OpenAI API). Für maximale Kontrolle: Customer-Managed Keys für Encryption.
Wie messe ich die Qualität meiner KI-Anwendung?
AI Foundry bietet Built-in Evaluation Metrics: Groundedness (basiert Antwort auf Fakten?), Relevance (passt Antwort zur Frage?), Coherence (ist Antwort logisch?), Fluency (ist Sprache natürlich?), Similarity (zu Referenz-Antworten). Für Custom Metrics: Nutzen Sie GPT-4 als Judge (bewertet Outputs nach Ihren Kriterien). Best Practice: Erstellen Sie ein Golden Dataset mit 100-200 Beispielen, evaluieren Sie bei jedem Deployment, tracken Sie Metriken über Zeit.
Kann ich AI Foundry on-premises oder in Hybrid-Szenarien nutzen?
AI Foundry ist ein Cloud-Service und läuft auf Azure. Für Hybrid-Szenarien: Sie können On-Premises-Daten über Azure Arc, VPN oder ExpressRoute anbinden. RAG-Implementierungen können lokale Datenquellen einbinden (z.B. On-Prem SharePoint via Connector). Modell-Inferenz erfolgt in Azure. Für vollständig On-Premises: Microsoft bietet ausgewählte Modelle über Azure Stack, aber nicht die komplette AI Foundry Plattform.
Integration mit innFactory
Als Microsoft Solutions Partner unterstützt innFactory Sie bei der Implementierung von Azure AI Foundry in Ihre bestehende Infrastruktur. Wir helfen bei der Modellauswahl, entwickeln Custom RAG-Lösungen, implementieren Responsible AI Practices und optimieren Kosten durch die richtige Kombination von PTUs und Token-based Pricing.
Unsere Expertise umfasst die Integration von AI Foundry mit Azure AI Search, Azure Machine Learning und Ihren Unternehmensdaten sowie die Entwicklung von Prompt Flow Workflows für komplexe KI-Anwendungen.
Kontaktieren Sie uns für eine unverbindliche Beratung zu Azure AI Foundry und Enterprise KI-Projekten.
