Private LLM: Self-Hosted und On-Prem GenAI auf Ihren GPUs

Discovery-Call buchen Live-Demo öffnen →

Open-Source Cozystack (CNCF-Projekt, von Ænix initiiert) → Ænix Public Cloud, Private Cloud und AI Platform → Ænix baut, betreibt und migriert sie.

Ein Private LLM ist ein großes Sprachmodell, das Sie auf Ihren eigenen GPUs und in Ihrem eigenen Netzwerk betreiben — Prompts, Embeddings, Modell-Weights und der Audit-Trail verlassen nie Ihre Kontrolle. Typischerweise kommen Open-Weight-Modelle wie Llama, Mistral oder Qwen zum Einsatz, die für Inferenz bereitgestellt, per Retrieval (RAG) mit Ihren eigenen Dokumenten verknüpft und bei Bedarf mit Ihren Daten feinjustiert werden. Ænix baut diese Plattformen auf Cozystack (ein CNCF-Sandbox-Projekt unter Apache 2.0, aufgenommen in das Programm CNCF Kubernetes AI Conformance): GPU-Scheduling, eine Vektordatenbank für RAG und effiziente Inferenz, alles auf Infrastruktur, die Ihnen gehört. Das passt zu Banken, dem Gesundheitswesen, dem öffentlichen Sektor und jedem Unternehmen, das sensible Texte nicht an die KI-API eines Drittanbieters schicken darf. Anders als bei einem gehosteten Assistenten bleiben Weights, Daten und Logs auf Ihrer Seite der Grenze.

Auf einen Blick

Was es ist Ein großes Sprachmodell auf eigenen GPUs und im eigenen Netzwerk; Weights, Daten und Logs bleiben unter Ihrer Kontrolle.
Modelle Open-Weight-Modelle — Llama, Mistral, Qwen und ähnliche — für Inferenz; keine Abhängigkeit von der KI-API eines Drittanbieters.
RAG Retrieval-Augmented Generation über Ihre eigenen Dokumente mit einer Qdrant-Vektordatenbank direkt neben den GPU-Workloads.
Effiziente Inferenz NVIDIA Dynamo für disaggregiertes Serving und KV-Cache-bewusstes Routing — höhere GPU-Auslastung ohne zusätzliche Herstellerlizenzen.
Datengrenze Prompts, Embeddings und Fine-Tuning-Daten bleiben innerhalb Ihrer Rechtsordnung und Infrastruktur.
Lizenz von Cozystack Cozystack ist Open Source unter Apache 2.0 — keine Lizenzkosten pro GPU oder CPU.
Abgrenzung zu Sovereign AI Private LLM ist der Workload; Sovereign AI ist die übergeordnete Strategie für Rechtsordnung und Kontrolle, in die er sich einfügt.

Quelle: Fallstudie AI Universal Installer

Betreiben Sie Ihr eigenes großes Sprachmodell auf Hardware, die Sie kontrollieren — Open-Weight-Modelle wie Llama, Mistral und Qwen, bereitgestellt für Inferenz, per RAG auf Ihre Dokumente gestützt und bei Bedarf mit Ihren Daten feinjustiert. Ein Private LLM hält Prompts, Embeddings, Weights und den Audit-Trail auf Ihrer Seite der Grenze: Sie nutzen moderne GenAI, ohne sensible Texte an die API eines Drittanbieters zu schicken. Ænix baut diese Plattformen auf Cozystack, auf Ihren eigenen GPUs.

Passt zu: Ænix AI Platform — GPU-Scheduling und anteiliges Sharing für Inferenz und Fine-Tuning, Angebot per RFP. Für die elastische GPU-Kapazität darunter kombinieren Sie sie mit GPU-Cloud-Bursting. Die übergeordnete Strategie beschreibt Sovereign AI. Für Verantwortliche von ML-Plattformen: der Leitfaden für Leiter AI/ML.

Gespräch vereinbaren Zur Fallstudie →

Warum ein Private LLM statt einer Cloud-KI-API?

Für viele Organisationen scheitert GenAI nicht am Modell, sondern am Datenpfad. Ein gehosteter Assistent bedeutet, Prompts — und oft die Dokumente dahinter — an eine externe API zu schicken, die Sie nicht prüfen können.

Daten dürfen die Grenze nicht verlassen. Banken, Gesundheitsdienstleister und öffentliche Stellen verarbeiten personenbezogene, finanzielle oder anderweitig sensible Texte, die die Datenverarbeitungsbedingungen einer Drittanbieter-API nicht ausreichend abdecken. Ein selbst gehostetes LLM hält diese Texte schon konstruktionsbedingt in der eigenen Rechtsordnung und Infrastruktur.
Planbare Kosten bei hohem Volumen. Preise pro Token sind für einen Pilot in Ordnung, im großen Maßstab aber teuer. Eigene GPUs verwandeln eine variable API-Rechnung in Kapazität, die Sie selbst steuern — dieselbe Logik wie beim GPU-Cloud-Bursting.
Stabile Versionen. Ein festgeschriebenes Open-Weight-Modell ändert sein Verhalten nicht unbemerkt, nur weil ein Anbieter ein neues Release ausliefert. Das zählt, wenn Ihre Workflows und Evaluierungen auf konsistente Ergebnisse angewiesen sind.

Genau das ist das Thema „Private LLM / selbst gehostetes LLM / On-Prem GenAI“. Es ist Teil der übergeordneten Sovereign-AI-Strategie, aber enger gefasst: Diese umfasst KI-Rechenleistung, Daten und Governance für eine ganze Rechtsordnung.

Woraus eine Private-LLM-Plattform besteht

Eine On-Prem-GenAI-Plattform ist mehr als eine Modelldatei. Ænix setzt den gesamten Stack aus offenen, an der CNCF ausgerichteten Bausteinen zusammen, sodass Sie nichts zurück zu einem proprietären KI-Dienst zwingt.

Ihre Daten + Open-Weight-Modell

PromptsDokumenteLlama / Mistral / Qwen

für Inferenz bereitgestellt auf

Cozystack-GPUs

NVIDIA DynamoQdrant-RAGDaten verlassen nie die Grenze

ergibt

Private Inferenz

Antworten bleiben innerhalb der GrenzeWeights und Logs bei Ihnen

Bereitstellung von Open-Weight-Modellen. Modelle wie Llama, Mistral und Qwen laufen für Inferenz auf Ihren GPUs und stehen Teams als gewöhnliche Kubernetes-Services zur Verfügung statt als externer Endpoint.
RAG über Ihre Dokumente. Eine Qdrant-Vektordatenbank indexiert Ihre eigenen Inhalte und ruft zum Zeitpunkt der Anfrage die relevanten Passagen ab, sodass sich Antworten auf Ihre Daten stützen. Quelldokumente und generierte Antworten bleiben innerhalb der Grenze.
Effiziente Inferenz. NVIDIA Dynamo liefert disaggregiertes Serving und KV-Cache-bewusstes Routing über die gesamte GPU-Flotte und erhöht so die Auslastung teurer Karten ohne zusätzliche Herstellerlizenzen.
GPU-Scheduling und Isolation. Der Kubernetes-Scheduler und der NVIDIA GPU Operator machen GPUs zu einer vollwertigen, einplanbaren Ressource (ganze GPUs für Pods oder per Passthrough an VMs, NVIDIA vGPU für VMs mit Ihrer NVIDIA-vGPU-Lizenz, anteiliges Sharing über HAMi); Hosted Control Planes pro Tenant halten Teams auf gemeinsamer Hardware voneinander getrennt.
Fine-Tuning vor Ort. Weil GPUs und Daten auf derselben Plattform liegen, können Sie Open-Weight-Modelle mit proprietären Daten anpassen, ohne dass diese Daten Ihre Infrastruktur verlassen.

Vergleichen Sie noch? Preise & Plattformen ansehen →

Weights, Daten und Audit-Trail auf Ihrer Seite halten

Das entscheidende Merkmal eines Private LLM ist die Verfügungsgewalt. Auf dieser Plattform liegen die Modell-Weights auf Storage, der Ihnen gehört; Single Sign-on läuft über Ihr eigenes Keycloak; und jede Anfrage erzeugt Logs, die bei Ihnen liegen — nicht die Telemetrie eines Anbieters. Für eine Aufsichtsbehörde oder ein internes Risikoteam wird aus „die KI ist sicher“ so eine überprüfbare Aussage: Sie können zeigen, wohin die Daten gegangen sind, wer das Modell aufgerufen hat und dass nichts die Grenze überschritten hat. Volume-Verschlüsselung lässt sich pro Storage Class optional aktivieren, und ein verschlüsseltes WireGuard-Mesh verbindet die Standorte, wenn die Plattform mehr als ein Rechenzentrum umfasst.

Beleg: eine RAG- und Inferenz-Plattform, ausgeliefert in die Umgebung eines Kunden

Das Muster läuft bereits produktiv. In unserer anonymisierten Fallstudie AI Universal Installer hat ein Telekommunikations-Integrator eine unternehmensweite KI-Plattform auf Cozystack gebaut — LLM-Assistenten für das Unternehmen, RAG-Suche über regulatorische Dokumentation und Computer Vision — und mit derselben Distribution diese Dienste in die Umgebung eines Endkunden ausgeliefert, wobei die Daten innerhalb der Grenze des Kunden blieben.

Konkret hat das Team Qdrant als Plattform-App für RAG neben den GPU-Workloads paketiert, NVIDIA Dynamo als vollständigen Inferenz-Stack zur besseren GPU-Auslastung paketiert und einen geografisch verteilten GPU-Cluster betrieben, der über ein verschlüsseltes WireGuard-Mesh mit dem Hauptcluster verbunden war — die Modelle waren für jeden Tenant als gewöhnliche Services erreichbar. Das ist eine Private-LLM-Plattform im echten Einsatz: alle verwalteten Plattformkomponenten bereitgestellt und funktionsfähig, Single Sign-on, Mandantenfähigkeit, und kein Prompt verlässt die Rechtsordnung des Kunden.

Welche Modelle, welche Workloads?

„Private LLM“ ist nicht ein einzelner Workload, sondern eine kleine Familie — und jeder davon stellt andere Anforderungen an die Infrastruktur.

Inferenz und Assistenten. Ein Open-Weight-Chat- oder Instruct-Modell hinter einer internen API für Copiloten, Support-Triage oder Fragen an Dokumente. Das ist der häufigste Einstieg und am empfindlichsten gegenüber GPU-Latenz.
RAG-Suche. Antworten über eine Vektordatenbank auf Ihren eigenen Bestand stützen, damit das Modell Ihre Dokumente zitiert, statt zu halluzinieren. Oft mit einem Assistenten kombiniert, aber auch allein wertvoll für die interne Wissenssuche.
Fine-Tuning und Anpassung. Ein Open-Weight-Basismodell mit proprietären Daten an Ihre Domäne, Terminologie oder Aufgabe anpassen — innerhalb der Grenze, sodass der Trainingsdatensatz sie nie verlässt.
Batch und Klassifizierung. Latenztolerante Jobs mit hohem Durchsatz — Zusammenfassung, Extraktion, Verschlagwortung in großen Mengen —, bei denen anteiliges GPU-Sharing und Scheduling außerhalb der Spitzenzeiten die Auslastung hoch halten.

Die GPU-Flotte passend zu diesem Mix zu dimensionieren, ist genau das, was ein Assessment klärt, bevor Hardware bestellt wird.

Umstieg planen? Discovery-Call buchen →

Wie Ænix Private-LLM-Projekte umsetzt

Das Projekt läuft als AI Platform Build: GPU-Architektur und Dimensionierung, der Inferenz-Stack, eine Qdrant-Vektordatenbank für RAG, Isolation zwischen Tenants und SSO sowie — wo sinnvoll — eine Fine-Tuning-Pipeline, alles auf Ihrer eigenen Hardware. Schwankt der GPU-Bedarf stark, kombinieren wir es mit GPU-Cloud-Bursting: Sie besitzen die Grundlast und bursten die Spitzen. Geht es eher um Rechtsordnung und Governance als um einen einzelnen Workload, wird es Teil eines Sovereign-AI-Programms auf der AI Platform.

Ænix hat Cozystack entwickelt und pflegt es gemeinsam mit Maintainern anderer Unternehmen — ein CNCF-Sandbox-Projekt (der Antrag auf CNCF Incubation befindet sich in der Due-Diligence-Prüfung) unter Apache 2.0. Ænix verkauft auf dieser Engine drei Plattformen: Public Cloud, Private Cloud und AI. Wir bauen Private-LLM- und On-Prem-GenAI-Plattformen für Unternehmen und Organisationen des öffentlichen Sektors.

Häufig gestellte Fragen

Was ist ein Private LLM?

Ein Private LLM ist ein großes Sprachmodell, das Sie auf Ihren eigenen GPUs und in Ihrem Netzwerk hosten, statt die KI-API eines Drittanbieters aufzurufen. Prompts, abgerufene Dokumente, Embeddings, Modell-Weights und der Audit-Trail bleiben in Ihrer Infrastruktur und Rechtsordnung, sodass sensible Texte nie Ihre Kontrolle verlassen. Die meisten Private-LLM-Installationen nutzen Open-Weight-Modelle wie Llama, Mistral oder Qwen.

Warum ein selbst gehostetes LLM statt einer Cloud-KI-API?

Regulierte Organisationen dürfen Prompts und Dokumente mit personenbezogenen oder finanziellen Daten oft nicht an eine externe API schicken, deren Datenverarbeitung sie nicht prüfen können. Ein selbst gehostetes LLM hält die Daten innerhalb der Grenze, beseitigt Preise pro Token bei Workloads mit hohem Volumen und erlaubt es, die Modellversion festzuschreiben, damit sich das Verhalten nicht unbemerkt ändert.

Wie funktioniert RAG auf einer Private-LLM-Plattform?

Retrieval-Augmented Generation indexiert Ihre eigenen Dokumente in einer Vektordatenbank — auf dieser Plattform Qdrant — und ruft zum Zeitpunkt der Anfrage die relevantesten Passagen ab, auf die sich die Antwort des Modells stützt. Das läuft neben den GPU-Inferenz-Workloads innerhalb derselben Grenze, sodass Quelldokumente und generierte Antworten privat bleiben.

Kann ich Modelle mit meinen eigenen Daten feinjustieren?

Ja. Weil GPUs und Daten auf derselben Plattform liegen, können Sie Open-Weight-Modelle mit proprietären Daten feinjustieren oder anpassen, ohne dass diese Daten Ihre Infrastruktur verlassen. Die AI Platform bietet GPU-Scheduling, Passthrough ganzer GPUs an VMs, NVIDIA vGPU für VMs (erfordert Ihre NVIDIA-vGPU-Lizenz) sowie MIG-Partitionen und Time-Slicing über HAMi in Tenant-Kubernetes-Clustern, für Inferenz- wie für Fine-Tuning-Workloads.

Wie unterscheidet sich ein Private LLM von Sovereign AI?

Beides ist verwandt, aber nicht dasselbe. Private LLM bezeichnet den konkreten Workload — ein selbst gehostetes Modell auf Ihren GPUs. Sovereign AI ist die übergeordnete Strategie, KI-Rechenleistung, Daten und Governance innerhalb einer Rechtsordnung zu halten, die Sie kontrollieren. Ein Private LLM ist meist ein Baustein eines Sovereign-AI-Programms; das Gesamtbild zeigt die Seite zu Sovereign AI.

Was umfasst ein Private-LLM-Projekt mit Ænix?

Es läuft als AI Platform Build: GPU-Architektur, ein Inferenz-Stack, eine Qdrant-Vektordatenbank für RAG, Isolation zwischen Tenants und Single Sign-on, bereitgestellt auf Ihrer eigenen Hardware. In einem veröffentlichten Projekt hat dieselbe Plattform NVIDIA-Dynamo-Inferenz und einen Qdrant-RAG-Stack paketiert und in die Umgebung eines Endkunden ausgeliefert; die Daten blieben dabei innerhalb dieser Grenze.