Für regulierte Workloads ist KI kein reines Hyperscaler-Thema mehr. Sensible Datenklassen, branchenspezifische Vorgaben und die Kosten von Inferenz im großen Maßstab treiben Finanzdienstleister, Gesundheitswesen, öffentlichen Sektor und Betreiber von KI-Plattformen hin zu souveräner KI-Infrastruktur — GenAI, Inferenz und Analytics auf eigener Hardware des Kunden, in der Rechtsordnung seiner Wahl und unter seiner Governance.
Ænix baut und betreibt diese Plattformen von Anfang bis Ende: eine Architektur, eine Installation und ein Betriebsmodell, mit dem Ihr Team tatsächlich arbeiten kann.
Passt zu: Ænix AI Platform — mandantenfähiges GPU-Scheduling, Inferenz, Fine-Tuning und RAG auf einer Plattform, mit Vektordatenbank und Object Storage; ergänzen Sie die Private Cloud Platform für eine umfassendere souveräne Cloud, oder lesen Sie den kostenlosen Sovereign-AI-Entscheidungsleitfaden →.
Wer Sovereign AI braucht
Sovereign AI ist nicht für jeden Workload das Richtige. Es ist die richtige Antwort, wenn mindestens drei der folgenden Punkte zutreffen:
- Die Datenklasse ist sensibel — regulierte personenbezogene Daten, Finanzdaten, Gesundheitsdaten, internes geistiges Eigentum, das Modellanbietern nicht zugänglich werden darf.
- Die Aufsicht bindet KI-Verarbeitung an eine Rechtsordnung — DORA, NIS2, branchenspezifische Vorgaben, Auflagen für souveräne Clouds (EU-Mitgliedstaaten, Kasachstan, mehrere Länder im asiatisch-pazifischen Raum).
- Inferenz im großen Maßstab ist beim Hyperscaler wirtschaftlich schmerzhaft — GPU-Preise, Egress-Kosten und unvorhersehbare Ausgaben machen dedizierte Infrastruktur für Inferenz rund um die Uhr attraktiver.
- Das Modellverhalten muss reproduzierbar und prüfbar sein — im Dialog mit der Aufsicht muss feststehen, welches Modell mit welchen Weights und welchen Eingabedaten ein Ergebnis erzeugt hat.
- Air-Gap oder eingeschränkter Egress ist vorgeschrieben — Workloads im öffentlichen Sektor oder in kritischer Infrastruktur, bei denen ausgehende Verbindungen nicht erlaubt sind.
Trifft keiner dieser Punkte zu, ist Sovereign AI Over-Engineering.
Sie leiten ein ML-Plattform-Team? Der Leitfaden für Leiter AI/ML behandelt GPU-Zuteilung, Model Serving und das Betriebsmodell. Treffen drei oder mehr Punkte zu, stellt sich nicht mehr die Frage, ob — sondern wie, bis wann und zu welchen Kosten.
Was Sovereign AI tatsächlich bedeutet
1. Das Modell läuft auf Ihrer Hardware Inferenz (und, wo nötig, Training) auf GPUs, die Sie besitzen oder betreiben — nicht auf GPU-Instanzen oder der Modell-API eines Hyperscalers. NVIDIA-GPUs für Rechenzentren sind der übliche Weg, automatisiert über den NVIDIA GPU Operator; andere Beschleuniger lassen sich als PCI-Geräte an VMs durchreichen.
2. Die Daten verlassen nie den Perimeter Trainingsdaten, Prompts, Antworten, Embeddings und alle daraus abgeleiteten Artefakte bleiben in der kundenkontrollierten Umgebung. Kein Datenverkehr zu Endpunkten von Modellanbietern, keine Observability-Daten an SaaS-Anbieter, die außerhalb des Perimeters verarbeiten.
3. Die Modell-Weights liegen unter Ihrer Kontrolle Open-Weight-Modelle (Llama, Mistral, Qwen, DeepSeek, Phi usw.) laufen lokal, oder feinjustierte Varianten, deren Weights Ihnen gehören. Keine Modell-API, die Prompts an das Modell eines Dritten weiterleitet.
4. Sie betreiben die Plattform, unter Ihrer Governance Eine Kubernetes-native KI-Plattform mit klarer Verantwortung für GPU-Scheduling, Autoscaling, Modellverwaltung und Audit-Trails. Keine Blackbox-Appliance, deren Betrieb der Hersteller kontrolliert.
Das ist nicht „Private AI“ als Etikett für einen SaaS-Endpunkt mit Datenschutzklausel, sondern ein architektonisch souveräner Stack mit benannten Komponenten und nachweisbaren Kontrollen.
Woran gängige KI-Plattform-Ansätze beim Souveränitätstest scheitern
„Private Bereitstellung“ einer SaaS-Modell-API Der Modellanbieter betreibt die Inferenz; die Daten fließen zu seinem Endpunkt. Trotz Datenschutzklausel haben die Daten den Perimeter verlassen. Souveränität verfehlt.
Hyperscaler-GPU mit proprietären Diensten Die GPU steht in der richtigen Region, aber Modell-Orchestrierung, Observability und Storage-Anbindungen binden den Workload an proprietäre Dienste. Die Ausstiegskosten wachsen, das Konzentrationsrisiko ebenso.
Single-Tenant-SaaS in einer „souveränen“ Hyperscaler-Region Die Region ist souverän, aber die Service-Ebene betreibt der Hyperscaler. Verschlüsselungsschlüssel, Zugriff auf die Control Plane und Update-Kanäle bleiben bei einem nicht souveränen Anbieter.
Selbst gehostetes LLM ohne Plattform darunter Ein Team betreibt vLLM oder llama.cpp auf ein paar Bare-Metal-Servern und nennt das Private AI. Für einen PoC reicht das. Im Produktivbetrieb scheitert es an Mandantenfähigkeit, GPU-Autoscaling, Auditfähigkeit oder betrieblicher Verfügbarkeit.
Die ehrliche Antwort ist meist eine Kubernetes-native KI-Plattform auf kundenkontrollierter Hardware mit einem klar definierten Betriebsmodell.
Wie Ænix hilft
Das Sovereign-AI-Projekt läuft als Teil unseres Platform Readiness Assessment, mit Schwerpunkt auf den Arbeitssträngen Souveränität und KI-Plattform. Führt das Projekt zur Umsetzung, liefert Ænix die Plattform von Anfang bis Ende.
Die Assessment-Phase liefert:
- Architekturoptionen — konkrete Plattformdesigns für Inferenz, Training und Fine-Tuning in Ihrer Größenordnung, mit Hardware-Dimensionierung.
- Souveränitätskontrollen — Datenresidenz, Schlüsselverwahrung und Audit-Trail, speziell für KI-Workloads ausgelegt.
- GPU-Strategie — GPU-Dimensionierung, Zuteilungsart pro Workload (dediziert, vGPU oder anteilig), Passung von Modell und Hardware, Annahmen zur Skalierung.
- Betriebsmodell — wer die Plattform betreibt, welche Self-Service-Oberfläche Produkt- und Data-Science-Teams bekommen, wie die Rufbereitschaft aussieht.
- Umsetzungs-Roadmap für Phase 2 — Aufbau durch Ænix, mit Zeitplan, Aufwandsschätzung und Erfolgskriterien.
Die Umsetzungsphase liefert:
- KI-Plattform auf Basis von Cozystack mit KubeVirt für VMs und Kubernetes für Inferenz-Workloads. GPU-Zuteilung: Passthrough ganzer GPUs oder NVIDIA vGPU für VMs, ganze GPUs, MIG-Partitionen oder Time-Slicing über HAMi für Pods.
- Model Serving — vLLM, Triton oder Alternativen, passend zur Modellarchitektur.
- GPU-Nutzung pro Tenant erfasst — Abrechnung oder interne Verrechnung erfolgt in Ihrem Billing-System.
- Self-Service für Data-Science-Teams — Bereitstellungswege, Observability, Audit-Trails.
- Air-Gap-Installation, wo die Aufsicht sie verlangt.
Warum gerade Ænix
- KI-Infrastruktur ist unser Alltag. Vier GPU-Projekte sind als Fallstudien dokumentiert (siehe unten) — zu Inferenz, Multi-Cloud-GPU-Kapazität und internen KI-Plattformen. Cozystack wurde in das Programm CNCF Kubernetes AI Conformance aufgenommen (September 2026).
- Keine Bindung an einen Modellanbieter. Wir haben keine Geschäftsbeziehung zu einem bestimmten LLM-Anbieter. Die Architektur empfiehlt das Open-Weight-Modell, das zu Datenklasse, Aufsicht und Wirtschaftlichkeit passt — Llama, Mistral, Qwen, DeepSeek, Phi oder feinjustierte Varianten — und den passenden Serving-Stack.
- Open-Source-Plattform als Fundament. Cozystack, das Ænix entwickelt hat und gemeinsam mit Maintainern anderer Unternehmen pflegt, ist ein CNCF-Sandbox-Projekt und läuft auf der vom Kunden gewählten Hardware in der gewählten Rechtsordnung. Der Zugriff auf Cluster-Ebene bleibt beim Kunden; wir arbeiten unter Ihrer Governance, nicht an ihr vorbei.
So läuft das Projekt ab
Tag 0 ist ein kostenloses 30-minütiges Discovery-Gespräch, in dem der Umfang festgelegt wird. An den Tagen 1–13 (oder 1–27) laufen vier parallele Arbeitsstränge mit Schwerpunkt auf Souveränität und KI-Plattform. An Tag 14 (oder 28) folgt eine 60- bis 90-minütige Ergebnispräsentation für die Geschäftsleitung auf Basis des schriftlichen Berichts — Architekturoptionen, Souveränitätskontrollen, GPU-Strategie, Betriebsmodell und Roadmap für Phase 2. Phase 2 ist der Aufbau durch Ænix, typischerweise 3–12 Monate bis zur produktiven Plattform und Übergabe, je nach Umfang. Das vollständige Vorgehen Tag für Tag: Platform Readiness Assessment.
Fallstudien zu GPU und KI
Vier GPU-Projekte sind in anonymisierter Form dokumentiert:
- GPU-Inferenz auf Bare Metal — eine Inferenz-Plattform mit 8×H100 auf eigener Hardware.
- Multi-Cloud-GPU für eine akademische Plattform — eigene GPUs plus Burst-Kapazität.
- Universeller KI-Installer — ein wiederholbar installierbarer KI-Stack für einen Telekommunikationsbetreiber und Integrator.
- Interne Daten- und KI-Plattform — gemeinsame GPU-Pools mit interner Verrechnung pro Team.
"Running Nuvolos on sovereign bare metal meant we needed hyperscaler-grade multi-tenancy without the hyperscaler. Cozystack delivered exactly that — isolated tenants, shared GPUs, KubeVirt for legacy workloads — and it's why we can promise our customers infrastructure control, not just a workspace."
Alexandru PopescuCEO, Nuvolos
Preise und Projektumfang
Das Sovereign-AI-Projekt läuft in zwei Phasen.
Assessment (14 oder 28 Tage)
Architekturoptionen, GPU-Strategie, Souveränitätskontrollen, Betriebsmodell, Roadmap für Phase 2. Festpreis. Auf Anfrage
Umsetzung in Phase 2
Aufbau der Sovereign-AI-Plattform durch Ænix. Fester Leistungsumfang oder nach Aufwand, je nach Anzahl und Komplexität der Workloads. Typischerweise 3–12 Monate. Angebot per RFP
Folgt Phase 2 auf das Assessment, werden die Kosten des Assessments je nach Umfang auf das Umsetzungsprojekt angerechnet.
Die Ænix AI Platform wird per RFP angeboten. RFIs und RFPs nehmen wir über die üblichen Beschaffungskanäle entgegen; EU-Verträge laufen über die AENIX s.r.o. (Tschechien).
Starten Sie mit einem 30-minütigen Discovery-Gespräch
Wir prüfen die Passung, grenzen den Umfang auf Ihre Datenklasse und Ihre Aufsicht ein und legen fest, ob die 14- oder die 28-tägige Variante passt.
Oder lesen Sie weiter:
- Leitfaden für den Betrieb privater LLMs — praxisnahe Architektur
- Datensouveränität — verwandter regulatorischer Auslöser
- DORA-Compliance — regulatorischer Auslöser im Finanzsektor
- Platform Readiness Assessment — Vorgehen beim Assessment
- Cozystack — die Plattform, auf der wir KI-Workloads betreiben
Ænix hat Cozystack entwickelt — ein CNCF-Sandbox-Projekt, eine CNCF Certified Kubernetes Distribution mit CNCF Kubernetes AI Conformance und OpenSSF Best Practices — und pflegt es gemeinsam mit Maintainern anderer Unternehmen. Wir bauen Sovereign-AI-Plattformen für GPU-Betreiber und regulierte Organisationen.