In-Context Learning — PromptLoop Glossar

Was ist In-Context Learning?

In-Context Learning (ICL) bezeichnet eine Inferenzmethode bei Large Language Models (LLMs) und Foundation Models, bei der das Modell eine neue Aufgabe löst, ohne seine Gewichte auch nur ein einziges Mal anzupassen. Der entscheidende Unterschied zu klassischen Ansätzen: Alle relevanten Informationen – Beispiele, Anweisungen, Datenkontext – werden direkt im Prompt zur Laufzeit mitgeliefert. Das Modell trifft seine Vorhersage und "vergisst" den Kontext anschließend vollständig. Kein persistentes Lernen, kein Update, kein Speichern. Das kontrastiert fundamental mit ressourcenintensiven Alternativen wie Fine-Tuning oder Retrieval Augmented Generation (RAG), die entweder Modellgewichte verändern oder externe Wissensdatenbanken anbinden. ICL ist konzeptionell näher an einem Offene-Unterlagen-Examen: Du weißt, was du weißt – aber du darfst das Lehrbuch aufschlagen.

Wie funktioniert In-Context Learning?

Technisch läuft ICL vollständig während der Inferenzzeit ab. Dem Modell werden im Prompt ein oder mehrere Demonstrations-Beispiele mitgegeben – das nennt sich Few-Shot Prompting. Bei null Beispielen spricht man von Zero-Shot, bei einem von One-Shot. Der Transformer verarbeitet diese Beispiele als Teil der Eingabesequenz und leitet daraus das gewünschte Ausgabemuster ab, indem er über seinen Attention-Mechanismus die relevanten Token-Beziehungen gewichtet. Entscheidend: Die Modellgewichte bleiben eingefroren. Was sich "anpasst", ist ausschließlich die Aktivierungsstruktur innerhalb des Forward-Pass – weshalb ICL in der Forschung auch als implizites Meta-Learning diskutiert wird. SAPs RPT-1 treibt dieses Prinzip für strukturierte, relationale Unternehmensdaten auf die Spitze: Statt tokenisierte Texte zu verarbeiten, nimmt das Modell tabellarische ERP-Daten direkt auf und liefert Vorhersagen ohne jede Trainingsphase dazwischen.

In-Context Learning in der Praxis

Drei Use Cases zeigen, wie ICL über die reine Textgenerierung hinauswächst. Erstens: Echtzeit-Fraud-Detection – SAPs RPT-1 ("Speedster"-Variante) analysiert Transaktionsmuster in Millisekunden, indem Kundendaten ausschließlich zur Laufzeit als Kontext eingespeist werden. Klassische ML-Pipelines mit Retraining-Zyklen wären hier strukturell zu langsam. Zweitens: Lieferkettenprognosen – Engpässe in ERP-Systemen lassen sich mit ICL-basierten Foundation Models antizipieren, ohne dass für jede neue Produktkategorie ein eigenes Modell trainiert werden müsste. Drittens: IT-Operations-Monitoring – Batch-Job-Fehlerprognosen, bei denen konventionelle Pipelines Stunden für Datenaufbereitung und Modellanpassung benötigen, werden mit ICL zu einem reinen Inferenzproblem, das instantan lösbar ist.

Vorteile und Grenzen

Der größte Vorteil von ICL ist seine Geschwindigkeit und Flexibilität: Kein Retraining, keine Datenlabeling-Sprints, keine DevOps-Zyklen für Modell-Updates. Für dynamische Domänen – Finanzbetrug, Lieferketten, Sicherheitsanomalien – ist das ein struktureller Vorteil gegenüber Fine-Tuning. Dazu kommt die Ressourceneffizienz: Wer keine Gewichte anpasst, spart Compute. Auf der anderen Seite gilt: ICL ist strikt kontextlimitiert. Was nicht im Prompt steht, existiert für das Modell nicht. Bei sehr langen oder komplexen Aufgaben stoßen selbst große Context Windows an ihre Grenzen – Stichwort Lost-in-the-Middle-Problem, bei dem Informationen in der Mitte langer Prompts systematisch schlechter verarbeitet werden. Zudem ist ICL anfällig für die Qualität und Reihenfolge der mitgegebenen Beispiele: Schlechte Demonstrations führen zu schlechten Outputs, ohne dass das Modell selbst "merkt", dass etwas nicht stimmt. Für hochspezialisierte, datenreiche Domänen bleibt Fine-Tuning in vielen Fällen überlegen.

❓ Häufig gestellte Fragen

▶ Was ist der Unterschied zwischen In-Context Learning und Fine-Tuning?

Fine-Tuning verändert die Gewichte eines Modells durch weiteres Training auf domänenspezifischen Daten – das kostet Zeit, Rechenleistung und erfordert labeled Data. In-Context Learning lässt die Gewichte vollständig unangetastet: Alle aufgabenrelevanten Informationen werden zur Laufzeit im Prompt bereitgestellt. ICL ist schneller und flexibler, Fine-Tuning liefert in spezialisierten Domänen oft präzisere Ergebnisse.

▶ Wie unterscheidet sich In-Context Learning von RAG?

RAG (Retrieval Augmented Generation) erweitert den Prompt dynamisch durch Informationen, die aus einer externen Wissensdatenbank abgerufen werden – es ist also ein Mechanismus zur Kontextbefüllung. In-Context Learning beschreibt dagegen das Lernprinzip selbst: das Lösen von Aufgaben allein auf Basis des Prompt-Inhalts ohne Gewichtsanpassung. RAG und ICL schließen sich nicht aus – RAG ist oft die Methode, mit der der Kontext für ICL befüllt wird.

▶ Für welche Aufgaben ist In-Context Learning besonders geeignet?

ICL eignet sich besonders gut für Aufgaben, die hohe Anpassungsgeschwindigkeit erfordern, sich häufig verändern oder bei denen kein gelabeltes Trainingsdataset verfügbar ist – etwa Echtzeit-Fraud-Detection, Klassifikation neuer Kategorien oder dynamische Textgenerierung. Weniger geeignet ist ICL für hochspezialisierte, stabile Domänen mit großen Datenmengen, wo Fine-Tuning strukturell überlegen ist.

Stand: 20. März 2026