KI-Inferenz und Training sind rechenintensiv und setzen leistungsfähige GPUs voraus. Für Organisationen im KRITIS-Bereich entsteht daraus ein Dilemma: Managed-Services scheiden als Option aus, da sie den strengen Datenschutz- und Compliance-Anforderungen nicht gerecht werden. Gefragt sind stattdessen Lösungen, die vollständige Workload-Isolation und Datensouveränität gewährleisten.
Gleichzeitig ist die Orchestrierung von Workloads im eigenen Rechenzentrum eine große Herausforderung. Der Aufwand, den ein Service Provider in die Orchestrierung der Infrastruktur und der gebotenen Services steckt, muss eigenverantwortlich übernommen werden.
metal-stack.io reduziert den Aufwand zur Orchestrierung von Bare-Metal Kubernetes-Clustern. Die GPU-Unterstützung ist bereits gegeben, da die benötigten Images mit den aktuellen NVIDIA-Treibern ausgeliefert werden. So sind für die Maschinen mit GPUs die grundlegenden Komponenten bereits enthalten.
Die hohen Anforderungen an die Isolation werden durch dedizierte Maschinen und eine automatisierte Konfiguration der Switches und Firewalls erfüllt. Durch die exklusive Nutzung bleiben die eigenen Workloads geschützt vor Leistungseinbußen und Sicherheitsrisiken.
Der Stack im Überblick:
- Bare-Metal-Node mit dedizierter GPU. Ein physischer Server mit fest zugewiesenem Grafikprozessor, der über metal-stack installiert wird.
- NVIDIA-Treiber vorinstalliert im OS-Image. Die notwendige Treiber-Software ist bereits im Betriebssystem-Image enthalten.
- Im Cluster wird der GPU-Operator ohne Treiber installiert. Der GPU-Operator ist eine Kubernetes-Erweiterung, die das Management von GPUs im Cluster übernimmt. Da die Treiber bereits vorhanden sind, entfällt deren separate Installation
- Workloads, die eine GPU benötigen, nutzen einfach
nvidia.com/gpuals Ressourcen-Request. Anwendungen können damit auf standardisierte Weise beim Cluster anfragen, dass ihnen eine GPU zugeteilt wird.
Weitere technische Details finden Sie unter: https://metal-stack.io/docs/gpu-workers
