Epoch
Was ist eine Epoch?
Eine Epoch beschreibt genau einen vollständigen Durchlauf des Trainingsalgorithmus über den gesamten Trainingsdatensatz. Das bedeutet: Jedes einzelne Beispiel wurde dem Modell genau einmal gezeigt, der Gradientenabstieg hat die Modellparameter — also die Gewichte des neuronalen Netzes — entsprechend angepasst. Das Konzept existiert, weil ein einzelner Durchlauf in der Regel nicht ausreicht, um ein Modell zu konvergieren. Erst durch das wiederholte Sehen der Daten lernt das Modell stabile, generalisierende Muster. Verwandte Begriffe sind der Batch (ein Teilmenge des Datensatzes pro Update-Schritt) und die Iteration (ein einzelner Gewichts-Update-Schritt innerhalb einer Epoch).
Wie funktioniert eine Epoch?
Zu Beginn jeder Epoch wird der Trainingsdatensatz typischerweise neu gemischt (Shuffling), um Overfitting durch Reihenfolge-Effekte zu verhindern. Anschließend wird er in Mini-Batches aufgeteilt. Für jeden Batch berechnet das Modell einen Forward Pass (Vorhersage), ermittelt den Loss via einer Verlustfunktion und aktualisiert die Gewichte durch Backpropagation und den gewählten Optimizer — etwa Adam oder SGD. Dieser Zyklus wiederholt sich, bis alle Batches verarbeitet sind: Epoch abgeschlossen. Moderne Frameworks wie PyTorch und TensorFlow tracken Epoch-Metriken wie Verlust und Accuracy automatisch — auch für Zwecke der Erklärbarkeit und Bias-Erkennung. In der Nachhaltigkeitsforschung fließen Epoch-basierte Metriken wie per-epoch emissions oder energy per epoch in die Bewertung des Ressourcenverbrauchs von Trainingsprozessen ein.
Epoch in der Praxis
Im Pretraining großer Large Language Models (LLMs) werden häufig nur wenige Epochs gefahren — der Datensatz ist so groß, dass ein einziger Durchlauf bereits Milliarden von Parametern formt. Anders sieht es beim Fine-Tuning aus: Hier werden spezialisierte, oft kleine Datensätze über deutlich mehr Epochs trainiert, etwa 3 bis 10, um domänenspezifisches Wissen einzuprägen. Ein dritter, kritischer Anwendungsfall ist das Early Stopping: Dabei überwacht man nach jeder Epoch die Performance auf einem Validierungsdatensatz und bricht das Training ab, sobald die Metriken stagnieren — ein direkt an die Epoch gebundener Mechanismus zur Qualitätskontrolle.
Vorteile und Grenzen
Der klare Vorteil der Epoch als Trainingseinheit: Sie bietet eine natürliche, gut verständliche Granularität zur Steuerung und Beobachtung des Lernprozesses. Checkpoints, Logging und Hyperparameter-Tuning lassen sich sauber an Epoch-Grenzen ausrichten. Die Schwächen sind real: Zu wenige Epochs führen zu Underfitting, zu viele zu Overfitting — das Modell memorisiert statt zu generalisieren. Kritisch ist auch, dass Epoch-basierte Effizienzmessungen für kontinuierliches Lernen kaum taugen; sie setzen einen klar abgegrenzten, statischen Datensatz voraus, den viele moderne Produktivsysteme schlicht nicht haben. Mit dem von Epoch AI prognostizierten „Peak Human Data" zwischen 2026 und 2032 — dem Punkt, ab dem kaum noch neue menschliche Trainingsdaten verfügbar sein werden — gerät das klassische Epoch-Training zusätzlich unter Druck.