Kubermatic AI

Die Kosten für ungenutzte GPUs

Enterprise-KI führt zu beispiellosen Investitionen in die GPU-Infrastruktur, doch viele Unternehmen haben Schwierigkeiten, einen Nutzen aus diesen Investitionen zu ziehen.
Teams setzen doppelte KI-Modelle ein, reservieren GPU-Ressourcen für einzelne Projekte und bauen isolierte KI-Umgebungen auf, die schwer zu steuern und teuer im Betrieb sind. Das Ergebnis ist ein Paradoxon: Einige Teams warten wochenlang auf GPU-Kapazitäten, während andere GPUs ungenutzt bleiben.

Die Herausforderung besteht nicht mehr darin, GPUs zu beschaffen, sondern darin, sie effizient zu nutzen.
Kubermatic AI verwandelt eine fragmentierte GPU-Infrastruktur in eine gemeinsam genutzte, kontrollierte KI-Plattform, die es Unternehmen ermöglicht, Modelle einmalig bereitzustellen, mehrere Mandanten zu bedienen und ihre bereits vorhandene GPU-Kapazität besser zu nutzen.

Was ist Kubermatic AI?

Kubermatic AI ist eine Kubernetes-native AI-Platform-as-a-Service zum Aufbau, Betrieb und zur Skalierung von KI-Infrastrukturen in lokalen, Cloud-, Hybrid- und souveränen Umgebungen.

Sie bietet eine gemeinsame Plattform für Infrastrukturteams, Plattformingenieure und KI-Entwickler. Plattformteams verwalten Cluster, GPUs, Modelle, Netzwerke, Sicherheit und Richtlinien zentral, während Entwickler KI über Self-Service-Schnittstellen und APIs nutzen.

Kubermatic AI vereint Kubernetes-Flottenmanagement, den Betrieb von KI-Modellen, GPU-Orchestrierung, Netzwerkfunktionen und Sicherheit in einer einzigen Plattform.

Ein anderer Ansatz für die KI-Infrastruktur

Beim herkömmlichen Infrastrukturmanagement werden GPUs, Cluster, Netzwerke und storage als Ressourcen behandelt, die von einzelnen Teams bereitgestellt und verwaltet werden.
Kubermatic AI verfolgt einen anderen Ansatz. Es fügt eine Plattformebene hinzu, die diese zugrunde liegende Infrastruktur in gemeinsam genutzte, geregelte KI-Dienste verwandelt. Infrastruktur- und Plattformteams verwalten Kapazitäten, Modelle, Richtlinien und Sicherheit zentral, während Entwickler KI über Self-Service-Schnittstellen und APIs nutzen.

Anstatt dass jedes Team seinen eigenen KI-Stack aufbaut und verwaltet, können Unternehmen die Lösungen einmalig bereitstellen, sicher gemeinsam nutzen und die bereits vorhandene GPU-Kapazität besser ausschöpfen.

Wichtigste Funktionen und Vorteile

Hard-Multi-Tenancy

Vollständige Trennung der Ressourcen und API-Schnittstellen zwischen Mandanten: Isolierung der Mandanten bei gleichzeitiger sicherer gemeinsamer Nutzung der zugrunde liegenden Infrastruktur.

Lebenszyklusmanagement für Bare-Metal-Systeme

Effiziente Bereitstellung, Verwaltung und Außerbetriebnahme der physischen Infrastruktur bei sich änderndem Kapazitätsbedarf. Unterstützt durch Integrationen mit KubeOne und Metal3/Tinkerbell.

Fortgeschrittene KI-Netzwerktechnik

Intelligente Zuweisung von KI-Workloads auf Basis der GPU-Auslastung und der Anforderungen an die Inferenz, mit integrierten Sicherheits- und Datenverkehrskontrollen. Unterstützt durch KubeLB + Gateway-API.

Kubernetes-as-a-Service

Kubernetes-Umgebungen einheitlich auf Bare-Metal-Systemen, virtuellen Maschinen und in der Cloud-Infrastruktur bereitstellen und verwalten.

Vorlagenbasierte Bereitstellungen

Standardisieren Sie die Infrastruktur und KI-Workloads mithilfe wiederverwendbarer, deklarativer Bereitstellungsvorlagen.

Überwachung und Protokollierung

Zentralisieren Sie Richtlinien, Zugriffskontrollen und Audit-Informationen über die gesamte KI-Infrastruktur hinweg. Langfristige historische Audit-Protokolle für Compliance und Governance, im Einklang mit CRA und DORA.

GPU-Optimierung

Verbessern Sie die GPU-Auslastung durch GPU-Sharing, disaggregierte Inferenz, Gang-Scheduling, topologiebewusste Platzierung und DRA.

So funktioniert Kubermatic AI

Modelle einmal bereitstellen

Die Plattformteams stellen KI-Modelle zentral bereit und verwalten sie, anstatt für jedes Team oder jeden Kunden separate Bereitstellungen zu erstellen.

Modelle sicher über Multi-Tenancy freigeben

Mehrere Mandanten nutzen dieselbe Modellbereitstellung, wobei der API-Zugriff, die Kontingente, Budgets und Richtlinien voneinander isoliert bleiben. Die Infrastruktur wird gemeinsam genutzt; der Zugriff bleibt jedoch isoliert.

LLMs als Dienstleistung bereitstellen

Zentral verwaltete Modelle werden über APIs bereitgestellt, sodass Entwickler LLMs nutzen können, ohne sich um GPUs, die Bereitstellung der Modelle oder die zugrunde liegende Infrastruktur kümmern zu müssen.

GPU-Auslastung optimieren

Kubermatic AI verwaltet die GPU-Zuweisung, die Planung, die Netzwerkkonfiguration, Richtlinien und geheime Daten über alle Workloads hinweg und unterstützt Unternehmen dabei, die verfügbare GPU-Kapazität effizient zu nutzen und gleichzeitig eine zentralisierte Kontrolle zu gewährleisten.

Kubermatic AI-PaaS-Referenzarchitektur

Die Kubermatic AI-PaaS-Referenzarchitektur ist ein mehrschichtiger, Kubernetes-nativer Stack. Sie verbindet die zugrunde liegende Infrastruktur mit den KI-Diensten, die von Entwicklern und Datenwissenschaftlern genutzt werden.

Jede Schicht ist modular aufgebaut und wird deklarativ verwaltet, während die Verwaltungs- und Steuerungsebene ein einheitliches Betriebsmodell für die gesamte Umgebung bereitstellt.

Anwendungsschicht

KI- und ML-Anwendungen von Kunden, darunter RAG-Anwendungen, agentenbasierte KI, Computer Vision, Codegenerierung, digitale Zwillinge und virtuelle Assistenten.

Anwendungsplattform-Ebene

KI-Dienste und Workload-Frameworks zur Bereitstellung und zum Betrieb von Modellen und KI-Workloads, darunter KServe, llm-d, Slinky/Slurm, NVIDIA AI Enterprise, NIM Operator und der KDP-Servicekatalog.

Plattformschicht

Kubernetes-as-a-Service, Bare-Metal-Lebenszyklus, Virtual Private Cloud sowie Public-Cloud-Integrationen, koordiniert von KKP.

Rechenschicht

Betriebssysteme, Container-Laufzeitumgebung, GPU-Treiber, Beschleunigerverwaltung und Zuweisung von GPU-Ressourcen.

Infrastruktur-Ebene

Physische und virtuelle Rechenressourcen, GPUs, Hochleistungsnetzwerke und „ storage “.

Verwaltungs- und Steuerungsebene

KKP, KDP und KubeOne bieten zentralisiertes Flottenmanagement, Lebenszyklusmanagement für Cluster und Knoten, Durchsetzung von Richtlinien, Automatisierung von Betriebsabläufen, Observability und Self-Service.

Plattformkomponenten

Kubermatic AI basiert auf modularen, Kubernetes-nativen Komponenten, die je nach den Anforderungen der Organisation an Infrastruktur und Workloads kombiniert werden können.