Fortgeschritten 8 Begriffe · 40 Min Lesezeit

KI-Infrastruktur: GPUs, Inferenz und MLOps

Wie KI-Modelle eigentlich laufen — von der GPU-Hardware über Inference Cost und KV Cache bis zu MLOps und Skalierung. Der Pfad für CTOs, Engineering Leads und Architekten, die KI-Systeme bauen oder einkaufen.

Dein Fortschritt 0 / 8

GPU

Eine GPU (Graphics Processing Unit) ist ein Prozessor mit Tausenden Kernen für parallele Berechnungen – das Arbeitstier hinter KI-Training und Inferenz.
Latenz

Latenz ist die messbare Zeitspanne zwischen einer Eingabe und der Systemantwort – in KI-Systemen typischerweise in Millisekunden.
KV Cache

Der KV Cache speichert Key- und Value-Vektoren aus Transformer-Attention-Berechnungen zwischen – und macht LLM-Inferenz damit drastisch schneller.
Inference Cost

Inference Cost bezeichnet die Rechen- und Geldkosten, die beim Betrieb trainierter KI-Modelle entstehen – pro Abfrage, Token oder Transaktion.
Edge AI

Edge AI führt KI-Inferenz direkt auf Endgeräten am Netzwerkrand aus – ohne Umweg über die Cloud, mit minimaler Latenz und maximaler Datenkontrolle.
Skalierung

Skalierung bezeichnet den Prozess, KI-Modelle und Workloads von Prototypen auf produktive Großsysteme zu erweitern – technisch und organisatorisch.
MLOps

MLOps (Machine Learning Operations) verbindet ML, Software-Engineering und DevOps, um ML-Modelle reproduzierbar zu trainieren, deployen und in Produktion zu betreiben.
AI Total Cost of Ownership (TCO)

AI Total Cost of Ownership (TCO) erfasst alle Kosten einer KI-Lösung über ihren gesamten Lebenszyklus — von Entwicklung und Integration bis Betrieb, Wartung und Ablösung.

GPU

Latenz

KV Cache

Inference Cost

Edge AI

Skalierung

MLOps

AI Total Cost of Ownership (TCO)