Der Sovereign-AI-Architektur-Leitfaden ist ein kostenloses elfseitiges PDF für Organisationen, die souveräne KI-Infrastruktur prüfen — also KI-Workloads auf Infrastruktur, die sie selbst kontrollieren, statt über die API eines Hyperscalers. Er richtet sich an Verantwortliche für KI-Infrastruktur, CTOs und Platform-Engineering-Teams. Ein Flussdiagramm führt durch sieben Entscheidungen: Auslöser, regulatorischer Rahmen (DORA, NIS2, Vorgaben für souveräne Clouds), Auswahl von Open-Weight-Modellen, Dimensionierung der GPU-Hardware, Mandantenmodell, Souveränitätskontrollen und Betriebsmodell; die Antworten führen zu einem von vier Architekturmustern. Ænix nutzt dieses Framework, um Projekte für souveräne KI abzustecken. Das Ergebnis lässt sich direkt auf die Ænix AI Platform übertragen, die auf Cozystack, einem CNCF-Sandbox-Projekt, basiert und mandantenfähiges GPU-Scheduling mit Blueprints für Inferenz, Fine-Tuning und RAG bietet.
Ein elfseitiger Leitfaden für Organisationen, die souveräne KI-Infrastruktur prüfen. Ein zentraler Entscheidungsbaum führt durch sieben Schlüsselentscheidungen: Auslöser, regulatorischer Rahmen, Modellauswahl, Hardware-Dimensionierung, Mandantenmodell, Souveränitätskontrollen, Betriebsmodell. Ænix setzt ihn ein, um Projekte für souveräne KI abzustecken.
Passt zu: Ænix AI Platform — schlüsselfertige KI-Infrastruktur mit mandantenfähigem GPU-Scheduling, fertigen Blueprints für Inferenz, Fine-Tuning und RAG sowie Souveränitätskontrollen. Der Leitfaden liefert ein Architekturmuster, das sich direkt auf den Umfang eines AI-Platform-Deployments übertragen lässt.
Was der Leitfaden enthält
Entscheidungsbaum
Ein Flussdiagramm, das Sie durch folgende Schritte führt:
- Auslöser — regulierte Daten, Wirtschaftlichkeit der Inferenz, Auditierbarkeit, Air-Gap
- Regulatorischer Rahmen — DORA, NIS2, branchenspezifische Vorgaben, Vorgaben für souveräne Clouds
- Modellauswahl — Llama, Mistral, Qwen, DeepSeek, Phi, Gemma; Open-Weight vs. proprietär
- Hardware-Dimensionierung — NVIDIA-GPU-Generationen für Rechenzentren als Eingangsgrößen; CPU, Arbeitsspeicher, Netzwerk
- Mandantenmodell — Tenant-CRD, Namespace pro Team, Cluster pro Tenant
- Souveränitätskontrollen — Verschlüsselung und Schlüsselverwaltung, Transparenz über Lieferanten, Auditfähigkeit
- Betriebsmodell — vom Kunden betrieben, vom Anbieter betrieben, hybrid
Fragen und Antworten
Zu jeder Entscheidung ausführliche Fragen und Antworten mit den jeweiligen Abwägungen.
Architekturmuster
Vier gängige Muster mit kommentierten Diagrammen:
- Single-Tenant-Inferenzcluster
- Mandantenfähige Inferenzflotte
- Inferenz + Fine-Tuning + RAG
- Souveränes Air-Gap-Deployment
Referenz zur Dimensionierung
Praktische Tabellen zur Dimensionierung für gängige Workload-Profile.
7 SchlüsselentscheidungenAuslöserRegulatorischer RahmenModell + Hardware-Dimensionierung
führt zu
ArchitekturmusterEines von vier Mustern
umgesetzt als
Ænix AI PlatformMandantenfähiges GPU-SchedulingInferenz + Fine-Tuning + RAG
Wer ihn nutzt
- Verantwortliche für KI-Infrastruktur / CTOs in Organisationen mit hohem KI-Anteil
- Architekten, die souveräne KI gegen KI beim Hyperscaler abwägen
- Platform-Engineering-Leads, die KI-Infrastruktur planen
- CTOs von KI-Start-ups, die eigene Infrastruktur planen
Nach dem Download
Der Leitfaden liefert den architektonischen Rahmen für Ihre Entscheidungen. Für ein konkretes Projekt siehe Sovereign AI oder AI Platform Build.
Verwandte Ressourcen
Ænix hat Cozystack (ein CNCF-Sandbox-Projekt) entwickelt und pflegt es gemeinsam mit Maintainern anderer Unternehmen. Darauf aufbauend bietet Ænix drei Plattformen an: Public Cloud, Private Cloud und AI.
Häufig gestellte Fragen
Was ist souveräne KI-Infrastruktur?
Souveräne KI-Infrastruktur betreibt KI-Workloads (Inferenz, Fine-Tuning, RAG) auf Infrastruktur, die eine Organisation selbst kontrolliert — on-premises oder in einer gewählten Rechtsordnung — statt über die KI-API eines Hyperscalers. Daten, Modelle und Schlüssel bleiben unter der Kontrolle des Betreibers, um Anforderungen an Regulierung, Datenresidenz und Auditierbarkeit zu erfüllen.
Für wen ist der Sovereign-AI-Leitfaden gedacht?
Für Verantwortliche für KI-Infrastruktur und CTOs in Organisationen mit hohem KI-Anteil, für Architekten, die souveräne KI mit KI beim Hyperscaler vergleichen, für Platform-Engineering-Leads, die KI-Infrastruktur planen, und für CTOs von KI-Start-ups, die eigene Infrastruktur planen. Der Leitfaden gibt ihnen einen strukturierten Rahmen für die wichtigsten Architekturentscheidungen, bevor sie sich auf einen Aufbau festlegen.
Welche KI-Modelle und GPUs behandelt der Leitfaden?
Er behandelt die Auswahl von Open-Weight-Modellen aus Familien wie Llama, Mistral, Qwen, DeepSeek, Phi und Gemma und wägt Open-Weight gegen proprietäre Modelle ab. Für die Hardware-Dimensionierung dienen NVIDIA-GPU-Generationen für Rechenzentren (A100, H100, H200, L40S, Blackwell) als Eingangsgrößen, mit praktischen Tabellen für gängige Workload-Profile. Es handelt sich um Planungswerte, nicht um eine Liste getesteter Hardware.
Wie hängt der Leitfaden mit der Ænix AI Platform zusammen?
Der Leitfaden liefert ein Architekturmuster, das sich direkt auf den Umfang eines Deployments der Ænix AI Platform übertragen lässt — schlüsselfertige KI-Infrastruktur mit mandantenfähigem GPU-Scheduling und Blueprints für Inferenz, Fine-Tuning und RAG, aufgebaut auf Cozystack mit Souveränitätskontrollen.
Wie ermöglicht Cozystack mandantenfähige souveräne KI?
Cozystack betreibt VMs über KubeVirt und Container auf einer Kubernetes-API, nutzt Cilium (eBPF) für das Networking und LINSTOR/DRBD für Storage und trennt Teams über die Tenant-CRD. Damit lassen sich Namespace pro Team, Cluster pro Tenant und mandantenfähiges GPU-Scheduling umsetzen, unter der Apache-2.0-Lizenz und ohne Lizenzkosten pro Core. GPUs werden über den NVIDIA GPU Operator bereitgestellt: Passthrough ganzer GPUs an VMs, NVIDIA vGPU für VMs (erfordert Ihre NVIDIA-vGPU-Lizenz) und für Pods in Tenant-Kubernetes-Clustern MIG-Partitionen oder Time-Slicing über HAMi.
Was kostet der Leitfaden?
Der Leitfaden ist ein kostenloser PDF-Download. Die Ænix AI Platform, auf die er abzielt, wird nach einem Assessment per RFP angeboten, weil GPU-Bestand, Modelle und Betriebsmodell stark variieren.
