Anfänger 10 Begriffe · 45 Min Lesezeit

KI-Grundlagen: Vom Token zum Transformer

Der ideale Einstieg: In 10 Begriffen verstehst du, wie moderne KI-Sprachmodelle funktionieren — von der kleinsten Einheit (Token) bis zur Architektur (Transformer).

Dein Fortschritt 0 / 10

Token

Ein Token ist die kleinste Verarbeitungseinheit in KI-Sprachmodellen – ein Wort, Wortteil oder Zeichen, das LLMs als Eingabe und Ausgabe verarbeiten.
Tokenizer

Ein Tokenizer zerlegt Text in kleinste Einheiten (Token), damit Large Language Models ihn verarbeiten können.
Embedding

Ein Embedding ist eine numerische Vektordarstellung von Text, Bildern oder anderen Daten, die semantische Bedeutung und Beziehungen in einem hochdimensionalen Raum kodiert.
Word Embedding

Word Embeddings sind numerische Vektordarstellungen von Wörtern, die semantische Beziehungen im Vektorraum abbilden – die Grundlage moderner KI-Sprachmodelle.
Transformer

Ein Transformer ist eine neuronale Netzwerk-Architektur, die auf dem Self-Attention-Mechanismus basiert und RNNs bei der Verarbeitung sequenzieller Daten ablöst.
LLM

Ein LLM (Large Language Model) ist ein KI-Modell auf Transformer-Basis, das auf Billionen von Tokens trainiert wurde, um Sprache zu verstehen und zu generieren.
GPT (Generative Pre-trained Transformer)

GPT (Generative Pre-trained Transformer) ist eine Klasse großer Sprachmodelle, die auf Transformer-Architektur basieren und menschlichen Text generieren.
Context Window

Das Context Window ist die maximale Tokenmenge, die ein LLM pro Anfrage verarbeiten kann – Eingabe und Ausgabe zusammen.
Temperature

Temperature ist ein Hyperparameter in LLMs, der die Zufälligkeit der Ausgaben steuert – von 0 (deterministisch) bis 1 (kreativ-divers).
Fine-Tuning

Fine-Tuning passt ein vortrainiertes KI-Modell per zusätzlichem Training auf eine spezifische Aufgabe an – schneller und günstiger als ein Neustart.

Token

Tokenizer

Embedding

Word Embedding

Transformer

LLM

GPT (Generative Pre-trained Transformer)

Context Window

Temperature

Fine-Tuning