CompanyGPT: Enterprise-KI-Plattform mit Microsoft Foundry, Foundry Agent Service und Amazon Bedrock AgentCore

Vor zwei Jahren war die Frage in den meisten Unternehmen: „Wie bekommen wir ChatGPT sicher zu unseren Mitarbeitern?" Heute lautet sie: „Wie bekommen wir KI-Agenten in unsere Prozesse, ohne die Kontrolle über Daten, Kosten und Berechtigungen zu verlieren?" CompanyGPT beantwortet beide Fragen mit derselben Architektur: ein KI-Assistent mit vertrauter Chat-Oberfläche, der vollständig in Ihrer eigenen Cloud läuft, und darunter die Agenten-Plattformen der Hyperscaler, allen voran Microsoft Foundry mit dem Foundry Agent Service und Amazon Bedrock mit AgentCore. Dieser Beitrag zeigt, was CompanyGPT heute leistet, und warum wir die Modell- und Agentenschicht bewusst auf diese beiden Plattformen stützen.

Was CompanyGPT ist

CompanyGPT ist der DSGVO- und EU-AI-Act-konforme KI-Assistent, den wir gemeinsam mit der innFactory AI Consulting vertreiben. Die Oberfläche orientiert sich an ChatGPT, damit niemand eine Schulung braucht, um den ersten Prompt zu schreiben. Der Unterschied liegt unter der Haube: CompanyGPT wird per Infrastructure as Code in Ihrer Azure-, AWS-, Google-Cloud- oder STACKIT-Umgebung installiert. Es gibt keinen SaaS-Betreiber dazwischen, keine Weitergabe von Prompts an Dritte und keine Pro-Kopf-Lizenz. Die Anmeldung läuft über Microsoft Entra ID, Berechtigungen kommen aus Ihrem bestehenden Identity Management und werden regelmäßig synchronisiert.

Im Funktionsumfang stecken inzwischen deutlich mehr als Chat und Dateiupload:

• Multi-Modell: GPT-5.6 in den Varianten Sol, Terra und Luna über die EU Data Zone von Microsoft Foundry, Anthropic Claude (Opus 5, Sonnet 5, Haiku 4.5), Google Gemini 3.7 Flash und 3.5 Flash, Perplexity für quellenbelegte Webrecherche, Mistral OCR für gescannte Dokumente und Nano Banana für Bildgenerierung. Über Foundry kommen DeepSeek, Mistral und Llama hinzu, über STACKIT Model Serving souverän gehostete Modelle wie Llama, Gemma und GPT-OSS.
• Agenten-Modus und Agent Marketplace: Fachbereiche erstellen eigene Agenten in natürlicher Sprache. Ein zentraler Katalog führt alle internen und freigegebenen Agenten mit Zweck, Owner, Tags und Sensitivitätsstufe. Rollen und Rechte gelten auf Agentenebene, jede Agentenaktivität landet im Audit-Log.
• Model Context Protocol: MCP-Server binden Datenquellen und Werkzeuge an, von SharePoint über Fachsysteme bis n8n, das selbst als MCP-Server für Agenten dienen kann. Unser MCP-Server companyM365 bringt zusätzlich ein natives Office-Add-in mit: CompanyGPT steht als Aufgabenbereich direkt in Word, Excel, PowerPoint und Outlook zur Verfügung, ohne Copilot-Lizenz pro Nutzer.
• Wissen aus Ihren Daten: Die SharePoint-Integration synchronisiert Dokumente, Metadaten und Berechtigungen aus Cloud- und On-Premise-Instanzen. Die KI sieht nur, was der jeweilige Anwender sehen darf, weil das Entra-Token bis zum MCP-Server durchgereicht wird.
• Erweiterungen: companyDashboard für Nutzer-, Request- und Tokenstatistiken, companyRAG, companyTRANSLATE, companyTRANSCRIBE und companyFILES für die automatische Erzeugung von Word-, Excel-, PowerPoint- und PDF-Dokumenten.

Das Paket startet ab 14.990 EUR als Fixpreis für Aufbau, KI-Leitlinie und Mitarbeiterschulung. Laufend zahlen Sie nur die Token direkt beim Modellanbieter, für 10 bis 50 Nutzer erfahrungsgemäß 500 bis 1.500 EUR pro Monat, je nach Modellwahl. Der Wartungsvertrag mit Updates, Support und der Lizenzierung aller innFactory-Add-ons kostet 399 EUR pro Monat, wenn Sie die Infrastruktur über die innFactory GmbH als CSP beziehen. Alle Preise zuzüglich Umsatzsteuer.

Warum die Modellschicht auf Microsoft Foundry liegt

Microsoft hat Azure AI Foundry zum 1. Januar 2026 in Microsoft Foundry umbenannt. Der Name ist neu, die Plattform ist für uns seit dem ersten CompanyGPT-Deployment die Standardbasis, und zwar aus drei Gründen.

Erstens die Datenresidenz. Über die EU Data Zone laufen Inferenz und Datenverarbeitung ausschließlich in europäischen Regionen. Für Berufsgeheimnisträger kommt dazu, dass Azure der einzige Hyperscaler mit einer standardisierten § 203 StGB-Zusatzvereinbarung ist, die wir als indirekter CSP-Partner mitliefern. Wie das im Detail funktioniert, inklusive Modified Abuse Monitoring für Azure OpenAI, beschreiben wir im Beitrag § 203 StGB in der Public Cloud.

Zweitens die Modellbreite unter einem Vertrag. Die „Foundry Models sold by Azure" werden über Ihre Azure Subscription abgerechnet, laufen unter Azure-SLAs und dem Microsoft Customer Agreement. Sie wechseln zwischen GPT-5.6, DeepSeek, Mistral oder Llama, ohne einen neuen Vertrag zu verhandeln. Modelle aus dem Marketplace-Bereich „from partners and community" behandeln wir bewusst getrennt, weil dort andere Bedingungen gelten.

Drittens die Abrechnung. Als indirekter Microsoft-CSP-Reseller über TD SYNNEX stellen wir Ihnen die Azure-Verbrauchskosten zu Microsoft-Listenpreisen ohne Zuschlag in Rechnung, ohne Einrichtungspauschale und ohne Mindestumsatz. Ihre IT muss weder ein Enterprise Agreement aufstocken noch eine Kreditkarte hinterlegen.

Foundry Agent Service: Agenten mit Identität, Netzwerkgrenze und Toolbox

Der interessantere Teil von Microsoft Foundry ist inzwischen der Foundry Agent Service, Microsofts verwaltete Plattform für den Bau, Betrieb und die Skalierung von KI-Agenten. Er löst genau die Probleme, an denen selbstgebaute Agenten-Prototypen in Unternehmen scheitern.

Zwei Agententypen, ein Endpunkt. Prompt Agents definieren Sie rein deklarativ: Anweisungen, Modell, Werkzeuge, fertig. Foundry betreibt sie ohne eigenen Code oder Container. Hosted Agents bringen Ihren eigenen Code mit, geschrieben mit dem Microsoft Agent Framework, LangGraph, dem OpenAI Agents SDK, dem Anthropic Agent SDK oder dem GitHub Copilot SDK. Foundry betreibt sie als Container mit verwaltetem Endpunkt, automatischer Skalierung und eigener Identität. Wer bereits Agenten anderswo betreibt, nutzt die Responses API direkt.

Toolboxes als verwalteter MCP-Endpunkt. Werkzeuge wie Websuche, Dateisuche, Code Interpreter, eigene Funktionen und MCP-Server werden einmal in einer Toolbox kuratiert und dann über einen einzigen MCP-kompatiblen Endpunkt mit zentraler Authentifizierung, Governance und Versionierung bereitgestellt. Das ist der Punkt, an dem CompanyGPT andockt: Eine Foundry-Toolbox ist aus Sicht von CompanyGPT ein weiterer MCP-Server. Agenten, die Ihr Entwicklungsteam im Foundry Agent Service baut, stehen damit Ihren Anwendern im Agent Marketplace von CompanyGPT zur Verfügung, mit denselben Rollen und Audit-Logs.

Identität und Netzwerk. Jeder Agent kann eine eigene Microsoft-Entra-Identität erhalten, Zugriffe auf Ressourcen und externe MCP-Server laufen darüber, optional per OAuth On-Behalf-Of im Namen des Anwenders. Prompt Agents lassen sich in Ihrem virtuellen Netzwerk betreiben, Hosted Agents unterstützen Bring-your-own-VNet mit VM-isolierten Sessions. Konversationszustand kann in Ihren eigenen Ressourcen wie Azure Cosmos DB oder Azure AI Search liegen. Das ist dasselbe Muster mit privaten Endpunkten, das wir im CompanyGPT Cloud-Stack für Datenbanken und Storage nutzen.

Lebenszyklus. Tracing jedes Modellaufrufs und jeder Werkzeugentscheidung, Evaluierungen gegen Regressionen, automatische Versionierung, Veröffentlichung mit stabilem Endpunkt und Verteilung nach Microsoft Teams, Microsoft 365 Copilot oder in die Entra Agent Registry. Das A2A-Protokoll für die Kommunikation zwischen Agenten ist als Preview verfügbar.

Für Kunden heißt das: Der Weg vom Fachbereichs-Agenten in CompanyGPT zum produktiven, überwachten Unternehmensagenten führt nicht über eine zweite Plattform, sondern über dieselbe Subscription, dieselbe Identität und dieselbe Abrechnung.

Amazon Bedrock AgentCore: die zweite Agenten-Plattform

Nicht jeder Kunde lebt im Microsoft-Universum. Für AWS-zentrierte Unternehmen liefern wir CompanyGPT auf Amazon Bedrock, und die Agentenschicht heißt dort Amazon Bedrock AgentCore, seit dem 13. Oktober 2025 allgemein verfügbar, unter anderem in der Region Europa (Frankfurt).

AgentCore ist ausdrücklich Framework- und Modell-agnostisch. Es funktioniert mit CrewAI, LangGraph, LlamaIndex, dem Google ADK oder dem OpenAI Agents SDK und mit jedem Modell innerhalb oder außerhalb von Bedrock. Die Bausteine, die AWS zur GA freigegeben hat:

• AgentCore Runtime: serverlose Laufzeit mit Session-Isolation, unterstützt das A2A-Protokoll
• AgentCore Memory: Kurz- und Langzeitgedächtnis für Agenten
• AgentCore Gateway: verwandelt APIs und Lambda-Funktionen in Werkzeuge und verbindet bestehende MCP-Server
• AgentCore Identity: Identitäts- und Zugriffsverwaltung für Agenten
• AgentCore Observability: Tracing und Metriken über den gesamten Agentenlauf

Alle Dienste unterstützen VPC, AWS PrivateLink, CloudFormation und Resource Tagging. Ende 2025 hat AWS zusätzlich AgentCore Policy und AgentCore Evaluations als Preview vorgestellt: Richtlinien in natürlicher Sprache, die am Gateway jeden Werkzeugaufruf prüfen, und kontinuierliche Qualitätsbewertung gegen Produktionsverkehr.

Die Anbindung an CompanyGPT folgt demselben Prinzip wie bei Foundry: Das AgentCore Gateway stellt Werkzeuge und Agenten als MCP-Endpunkt bereit, CompanyGPT konsumiert sie. Für Anwender ist es unsichtbar, ob ein Agent auf Foundry oder AgentCore läuft. Für Sie als Betreiber zählt, dass beide Plattformen dieselben Anforderungen an Identität, Netzwerkisolation und Nachvollziehbarkeit erfüllen.

Ein Gateway über allen Providern

Sobald mehrere Teams, Anwendungen und Agenten Modelle aus Foundry, Bedrock, Google und STACKIT nutzen, fehlt eine Schicht: Wer hat welche Token verbraucht, welches Budget gilt für welchen Agenten, und wo liegen die Provider-Schlüssel? Dafür haben wir das innFactory AI Gateway gebaut, seit August 2026 verfügbar.

Das Gateway ist in Rust geschrieben, OpenAI-kompatibel und sitzt als zentraler Proxy vor allen Providern: OpenAI, Azure OpenAI, Anthropic Claude, Google Gemini, Mistral, AWS Bedrock, STACKIT, Ollama und eigene OpenAI-kompatible Endpunkte. Nutzer werden über Entra ID authentifiziert, Budgets kaskadieren über Kostenstellen, Teams, Nutzer und Agenten, Provider-Credentials liegen im Azure Key Vault. Der Latenz-Overhead liegt im P95 unter 50 Millisekunden, eine Instanz verarbeitet über 700 Anfragen pro Sekunde. Die Lizenz startet bei 299 EUR pro Monat für bis zu 50 Nutzer, beim Modellbezug über das Reselling der innFactory GmbH mit 10 Prozent Rabatt.

CompanyGPT funktioniert auch ohne Gateway. Mit Gateway wird aus der KI-Plattform aber ein steuerbares System: Ein Agent, der im Foundry Agent Service läuft, ein Workflow in n8n und ein Entwicklerteam mit Claude Code teilen sich dieselbe Kostenkontrolle und dieselben Guardrails.

Wie ein Projekt abläuft

Der Aufwand auf Kundenseite ist überschaubar. Wenn die Authentifizierung über Microsoft Entra ID läuft, liegt der Beitrag Ihrer IT erfahrungsgemäß bei etwa einer Stunde, im Wesentlichen die Freigabe in Ihrem Tenant. Den Rest übernehmen wir:

1. Aufbau zum Fixpreis: CompanyGPT wird per Terraform und Helm in Ihrer Subscription ausgerollt, mit privaten Endpunkten, Entra-SSO und den gewünschten Modellen aus Microsoft Foundry oder Bedrock.
2. KI-Leitlinie: Nach einer rechtlichen Anamnesebefragung erhalten Sie eine individuelle KI-Leitlinie für den EU AI Act.
3. Mitarbeiterschulung: Die Schulung deckt KI-Kompetenz nach EU AI Act ab und, für die Kostenkontrolle mindestens so wichtig, die richtige Modellwahl. Wer weiß, wann Haiku oder Luna reichen und wann Opus oder Sol nötig sind, spart bis zu 80 Prozent der Modellkosten.
4. Go-Live und Betrieb: Rollout, Wartungsvertrag, Updates über unsere DevSecOps-Pipelines, und bei Bedarf der Ausbau um eigene Agenten im Foundry Agent Service oder auf AgentCore.

Die KI-Lösung ist in wenigen Wochen einsatzbereit. Wer eine vollständig souveräne Variante braucht, bekommt dieselbe Plattform auf STACKIT, wie wir im Beitrag CompanyGPT Sovereign zeigen.

Fazit

Die Diskussion um Unternehmens-KI hat sich verschoben: Es geht nicht mehr darum, ob Mitarbeiter ein Sprachmodell nutzen dürfen, sondern darum, wie Agenten mit Identität, Budget und Audit-Trail in bestehende Prozesse kommen. Microsoft Foundry mit dem Foundry Agent Service und Amazon Bedrock mit AgentCore liefern dafür die Plattformen. CompanyGPT liefert die Oberfläche, die Berechtigungslogik und die Integration in Microsoft 365, das AI Gateway die Kostenkontrolle über alle Provider. Zusammen ergibt das eine KI-Plattform, die Sie besitzen, statt sie zu mieten.

Sie möchten CompanyGPT in Ihrer Umgebung sehen? Demo anfragen oder direkt mit unserem Cloud-Team sprechen.