talkie-1930: Ein 13B-Sprachmodell trainiert auf historischen Texten vor 1931

Ein Sprachmodell, das nie von Einsteins Relativitätstheorie gehört hat, kein Python kennt und den Zweiten Weltkrieg nicht vorhersagen kann – das klingt nach einem Rückschritt, ist aber ein gezieltes Forschungsdesign. Das Projekt talkie, vorgestellt am 28. April 2026, bringt ein 13B-Sprachmodell heraus, das auf 260 Milliarden Token ausschließlich aus englischen Texten vor 1931 trainiert wurde. Die Entwickler Nick Levine, David Duvenaud und Alec Radford – Letzterer bekannt für seine Arbeit an GPT, GPT-2 und Whisper – stellen damit eine fundamentale Frage: Was kann ein Modell über die Welt wissen, das nur das weiß, was die Menschheit bis dato herausgefunden hatte? Und was sagt das über die Fähigkeit von Sprachmodellen zur echten Generalisierung? Das Basismodell talkie-1930-13b-base umfasst 53,1 GB und ist unter der Apache-2.0-Lizenz verfügbar. Daneben existiert mit talkie-1930-13b-it eine für Chat-Interaktion feinabgestimmte Variante mit 26,6 GB. Beide Modelle sind offen zugänglich auf Hugging Face. Die Trainingsdaten stammen ausnahmslos aus dem urheberrechtsfreien Bereich: In den USA gilt der 1. Januar 1931 als Stichtag, ab dem ältere Werke gemeinfrei sind – das bedeutet, die gesamte Datenbasis von talkie ist rechtlich sauber. Ob die Daten selbst später ebenfalls veröffentlicht werden, lassen die Entwickler noch offen. Die Hoffnung darauf ist jedenfalls explizit vorhanden. Was dieses Projekt für Forscher, Entwickler und auch für kommerzielle Nutzer bedeutet, steckt tiefer als der erste Blick vermuten lässt – und beginnt mit der Frage, was ein Modell eigentlich „wissen" muss, um nützlich zu sein.

Forschungsziele: Zukunftsvorhersage, Generalisierung und Programmieren ohne Syntax-Wissen

Das Forschungsdesign hinter talkie folgt keinem nostalgischen Impuls. Es geht um drei konkrete wissenschaftliche Fragen, die mit Standardmodellen nur schwer untersuchbar sind. Erstens: Wie gut können Modelle mit einem harten Wissenscutoff zukünftige Ereignisse vorhersagen? Das talkie-Team hat dafür die „Überraschung" kurzer Beschreibungen historischer Ereignisse gemessen – also wie unwahrscheinlich ein 13B-Modell auf Basis von Pre-1931-Texten bestimmte spätere Entwicklungen einschätzt. Das ist im Kern ein Proxy für das, was Modelle aus Mustern interpolieren können, die zur Trainingszeit noch nicht explizit aufgetreten sind.

Zweitens, und das ist die philosophisch reizvollste Frage: Kann ein Modell Konzepte eigenständig entwickeln, die über seinen Wissenstand hinausgehen? Als Demis Hassabis diese Frage stellte – könnte ein Modell mit Cutoff 1911 die Allgemeine Relativitätstheorie selbst entdecken, wie Einstein es 1915 tat? – formulierte er damit ein Kriterium für echte Generalisierung jenseits von Retrieval. talkie bietet genau den experimentellen Rahmen, um diese Frage empirisch anzugehen, ohne durch moderne Daten kontaminierte Vergleiche.

Drittens: Kann das Modell Programmieren lernen? Das klingt absurd für ein Modell, dessen Trainingsdaten aus einer Zeit stammen, in der Computer noch nicht existierten. Aber genau das ist der Punkt: Abbildung 3 im Forschungsbericht zeigt frühe Tests, in denen talkie durch wenige Demonstrationsbeispiele von Python-Programmen korrekte neue Programme schreiben konnte. Wenn ein Modell ohne jedes Vorwissen über Programmiersprachen durch In-Context-Learning funktionierenden Code produziert, sagt das etwas Grundsätzliches über die Abstraktionsfähigkeit von Transformer-Architekturen – unabhängig vom spezifischen Wissenskorpus.

• Messung der Vorhersagekraft durch Überraschungs-Scoring historischer Ereignisbeschreibungen
• Experiment zur eigenständigen Entdeckung wissenschaftlicher Konzepte (Relativitätstheorie als Benchmark)
• In-Context-Learning für Programmieraufgaben trotz fehlendem Syntax-Vorwissen

Das Kontaminationsproblem: Wenn moderne KI die Vergangenheit verunreinigt

Der größte technische Knackpunkt beim Bau eines "Vintage-Modells" ist nicht die Datenbeschaffung – öffentliche Domäne-Texte sind in großer Menge verfügbar. Das eigentliche Problem ist Kontamination: sowohl aus unbeabsichtigt eingeschleusten Post-1931-Texten im Trainingskorpus als auch aus dem Feintuning-Prozess selbst. Und hier wird die Sache komplex.

Das Basismodell gilt nach Einschätzung von Simon Willison als "vegan" – also trainiert ausschließlich auf lizenzierten oder gemeinfreien Daten. Die feinabgestimmte Chat-Variante talkie-1930-13b-it ist das hingegen nicht vollständig. Für das Instruction-Tuning wurden zunächst Instruction-Response-Paare aus historischen strukturierten Werken extrahiert: Etikette-Handbücher, Brief-Schreibratgeber, Kochbücher, Wörterbücher, Enzyklopädien sowie Gedicht- und Fabeln-Sammlungen. Dann aber kamen moderne Modelle ins Spiel.

Konkret nutzte das talkie-Team Claude Sonnet 4.6 als Bewerter im Rahmen von Online Direct Preference Optimization – einem Verfahren, das Modellausgaben nach menschlichen oder KI-basierten Präferenzen optimiert. Anschließend wurden Multi-Turn-Synthetic-Chats zwischen Claude Opus 4.6 und talkie selbst als Trainingsdaten für einen weiteren Supervised-Fine-Tuning-Schritt genutzt. Das hat funktioniert, um Konversationsfähigkeiten zu glätten – aber es hat auch einen Preis: Die 7B-Version von talkie begann nach dem Reinforcement-Learning-Training, Listicles zu produzieren. Ein anachronistischer Kommunikationsstil, der in keinem Text vor 1931 vorkommt.

Das ist kein Randproblem. Es zeigt, wie tief die Präferenzen moderner Modelle in Feintuning-Pipelines eingebrannt werden – selbst wenn das Ziel das genaue Gegenteil ist. Das Team ist sich dessen bewusst und formuliert das langfristige Ziel, die Vintage-Basismodelle selbst als Bewerter einzusetzen, um eine vollständig "zeitgemäße" Post-Training-Pipeline zu ermöglichen. Bis dahin bleibt jedes Chat-Modell dieser Klasse in gewissem Maß anachronistisch gefärbt.

Das "Vegan-Modell"-Konzept und seine Relevanz für Copyright-Diskussionen

Simon Willison, einer der prominentesten KI-Kommentatoren, beobachtet seit Längerem, was er als "Vegan-Modelle" bezeichnet – Sprachmodelle, die ausschließlich auf lizenzkonformen oder gemeinfreien Daten trainiert sind. talkie ist eines der wenigen konkreten Projekte, die dieses Konzept auf Basismodell-Ebene tatsächlich umsetzen. Und es kommt zum richtigen Zeitpunkt.

Die rechtliche Debatte um Trainingsdaten für große Sprachmodelle hat in den vergangenen Jahren erheblich an Schärfe gewonnen. Klagen von Verlagen, Autoren und Medienhäusern gegen KI-Anbieter drehen sich zentral um die Frage, ob das ungenehmigte Training auf urheberrechtlich geschützten Texten eine Rechtsverletzung darstellt. Der US-amerikanische Copyright-Stichtag 1. Januar 1931 bietet für talkie eine saubere Antwort: Alle Daten sind gemeinfrei. Keine Lizenzfragen, keine Klagewellen.

Das macht talkie zu einem interessanten Referenzpunkt für Organisationen, die Modelle ohne Rechtsrisiko betreiben wollen. Für kommerzielle Deployments – etwa in Bildungseinrichtungen, Archiven, kulturellen Institutionen oder der historischen Forschung – bietet ein Apache-2.0-lizenziertes Modell auf gemeinfreier Datenbasis eine ungewöhnlich saubere Ausgangslage. Kein Vendor-Lock-in, keine versteckten Nutzungsbedingungen, keine Urheberrechtsrisiken beim Einsatz der Modellartefakte selbst.

Die erhoffte Veröffentlichung der Trainingsdaten würde das Paket vervollständigen: Vollständige Reproduzierbarkeit, vollständige Transparenz über die Datenbasis. Das ist in der aktuellen LLM-Landschaft, in der Trainingsdaten oft proprietär sind und selbst gut dotierte Forschungsteams keinen vollständigen Einblick haben, eine echte Ausnahme. Wann oder ob diese Veröffentlichung kommt, ist offen – aber der explizite Wunsch der Entwickler ist dokumentiert.

So setzt du es um: talkie in der Praxis testen und einbinden

Du musst kein Forscher sein, um talkie auszuprobieren. Der schnellste Einstieg ist das öffentliche Chat-Interface auf talkie-lm.com/chat, das die feinabgestimmte Variante nutzt. Für tiefergehende Experimente oder eigene Deployments folgen hier die konkreten Schritte:

1. Demo im Browser testen: Öffne talkie-lm.com/chat direkt im Browser. Kein Account erforderlich. Gib historische Anfragen oder anachronistische Prompts ein, um das Modellverhalten zu beobachten. Erwartetes Ergebnis: Antworten im Stil des frühen 20. Jahrhunderts, mitunter mit faktischen Lücken zu post-1930-Ereignissen.
2. Modell von Hugging Face laden: Navigiere zu huggingface.co/talkie-lm/talkie-1930-13b-base für das Basismodell oder talkie-lm/talkie-1930-13b-it für die Chat-Variante. Klicke auf "Files and versions" → lade die GGUF- oder SafeTensors-Dateien herunter, je nach deinem lokalen Inference-Setup. Achte auf den Speicherbedarf: Base ist 53,1 GB, das Chat-Modell 26,6 GB.
3. Lokale Inference einrichten: Für CPU/GPU-Inference eignet sich llama.cpp oder Ollama. Nach dem Download: ollama create talkie --from ./talkie-1930-13b-it.gguf, danach ollama run talkie. Erwartetes Ergebnis: Lokale Inferenz ohne Cloud-Abhängigkeit, kein Datenschutzproblem.
4. Anachronismus-Tests durchführen: Teste das Modell mit Prompts aus der Gegenwart, etwa technischen Begriffen, modernen Konzepten oder Ereignissen nach 1930. Der Haken: Das Chat-Modell zeigt durch das moderne Feintuning gelegentlich Wissensbrüche. Dokumentiere diese Inkonsistenzen – sie sind Forschungsdaten, keine Fehler.
5. EU AI Act Compliance prüfen: Wenn du talkie für kommerzielle Zwecke oder im DACH-Raum deployest: Apache 2.0 erlaubt kommerzielle Nutzung ohne Einschränkungen. Da keine personenbezogenen Daten im Training verwendet wurden, ist das DSGVO-Risiko bei Inferenz auf eigenen Servern minimal. Bei Cloud-Deployment: Drittlandtransfer nach Art. 46 DSGVO prüfen.

Was sich rechnet: ROI für kommerzielle und institutionelle Nutzung

Für die meisten kommerziellen Anwendungen ist talkie kein Ersatz für aktuelle Modelle wie GPT-5.5 oder Claude Opus 4.7. Aber es gibt Szenarien, in denen der Einsatz klar sinnvoll ist – und die Kostenrechnung überzeugend wird.

Szenario: Historische Content-Produktion für Verlage, Museen oder Bildungsplattformen

Manuell: Ein Texter mit historischem Fachbackground produziert in einer Stunde ca. 600–800 Wörter historisch stimmigen Content. Bei einem Stundensatz von 80 EUR entspricht das 80 EUR pro ~700 Wörtern. Für eine Kampagne mit 20 Texten: rund 1.600 EUR plus Recherchezeit.

Mit talkie lokal: Setup-Aufwand ca. 2 Stunden einmalig. Inference auf einem A100-Server: ca. 0,80 EUR pro Stunde bei Cloud-Anbietern wie RunPod. 20 Texte à 700 Wörter in ca. 3 Stunden Inferenzzeit = ca. 2,40 EUR Compute-Kosten plus Redaktionszeit für Qualitätssicherung (~2h à 50 EUR = 100 EUR). Gesamtkosten: ~102 EUR. ROI gegenüber Fremdleistung: ca. 15×.

Der Haken: talkie liefert keinen qualitätsgesicherten Output ohne menschliche Redaktion. Das Modell kann anachronistische Formulierungen aus dem modernen Feintuning einbringen. Einplane immer eine Runde manuelles Review.

Für Forschungsinstitutionen und Archive kommt ein weiterer Faktor hinzu: Lizenzfreiheit der Datenbasis bedeutet, dass keine nachträglichen Klagen oder Lizenzgebühren das Projekt gefährden. Das allein kann für öffentlich-rechtliche Einrichtungen oder Drittmittel-finanzierte Projekte entscheidend sein.

Die typischen Fallstricke

Fallstrick 1: Anachronistische Outputs trotz historischer Datenbasis. Das Chat-Modell talkie-1930-13b-it wurde mit Hilfe moderner LLMs feinabgestimmt. Das bedeutet: Stilelemente aus dem 21. Jahrhundert – Listicle-Struktur, moderne Phrasen, erklärende Klammerzusätze – können im Output auftauchen. Lösung: Nutze das Basismodell für Forschungszwecke, die historische Reinheit erfordern. Das Instruction-Tuned-Modell nur für Anwendungen, bei denen Konversationsfähigkeit wichtiger ist als historische Korrektheit.

Fallstrick 2: Speicheranforderungen unterschätzen. Das Basismodell mit 53,1 GB passt nicht in den VRAM der meisten Consumer-GPUs. Wer auf einer RTX 4090 (24 GB VRAM) arbeitet, muss auf quantisierte GGUF-Versionen zurückgreifen oder CPU-Offloading nutzen, was die Inferenz deutlich verlangsamt. Lösung: Prüfe vorab, ob eine 4-bit-quantisierte Variante für deinen Use Case ausreicht. Die Qualitätseinbußen sind bei historischen Generierungsaufgaben oft tolerierbar.

Fallstrick 3: Faktenvertrauen bei historischen Inhalten. Das Modell generiert plausibel klingende historische Aussagen – die aber falsch sein können. Als Simon Willison das Modell bat, ein SVG eines Pelikans auf einem Fahrrad zu generieren, antwortete talkie, ein solches SVG sei bereits 1860 erstellt worden – mit einer vollständig erfundenen Provenienz. Lösung: Jede historische Behauptung aus talkie-Outputs muss gegen verlässliche Quellen geprüft werden. Behandle den Output wie den Entwurf eines Praktikanten mit guten Sprachkenntnissen, aber fehlendem Fakten-Check.

So What? Warum talkie für den DACH-Raum relevant ist

talkie ist kein Produkt – es ist ein Experiment. Aber ein mit strategischer Konsequenz gebautes. Für Entscheider und Praktiker im DACH-Raum stellt es mehrere Fragen, die über das Forschungskuriositäten-Niveau hinausgehen.

Erstens die Copyright-Frage: Die Debatte um rechtskonforme Trainingsdaten ist in der EU durch den AI Act zusätzlich verschärft worden. Wer Modelle im kommerziellen Kontext einsetzt oder selbst trainiert, muss zunehmend Transparenz über die Datenbasis nachweisen können. talkie ist hier ein funktionierender Proof-of-Concept, dass ein qualitativ ernstzunehmendes Modell auf vollständig gemeinfreien Daten trainiert werden kann. Das ist kein Ersatz für moderne Frontier-Modelle – aber ein Argument dafür, dass lizenzreines Training keine akademische Utopie ist.

Zweitens die Frage nach der Generalisierungsfähigkeit: Wenn ein Modell mit Wissenscutoff 1930 durch wenige Demonstrationsbeispiele funktionierenden Python-Code schreiben kann, was sagt das über die eigentliche Kompetenz hinter modernen Coding-Modellen? Es stellt in Frage, wie viel des Erfolgs aktueller Modelle auf echtes Generalisieren zurückgeht und wie viel schlicht Retrieval aus einem enormen Trainingskorpus ist. Für alle, die Modelle für spezifische Domänen einsetzen oder fine-tunen, ist diese Unterscheidung fundamental.

Drittens der EU AI Act: Die ab August 2026 greifenden Hochrisiko-KI-Regeln verlangen Transparenz über Trainingsdaten und Risikobewertungen. Modelle auf vollständig gemeinfreier Datenbasis vereinfachen diese Compliance-Anforderungen erheblich. Für Anwendungen in sensiblen Bereichen – Bildung, Archivierung, kulturelles Erbe – könnte der talkie-Ansatz ein Blaupause-Charakter entwickeln.

Was heißt das für dich konkret? Wenn du Modelle für historische, kulturelle oder archivarische Anwendungen evaluierst: talkie ist einen ernsthaften Test wert. Wenn du an der Copyright-Debatte um KI-Training interessiert bist: Das Projekt liefert einen seltenen, vollständig verifizierbaren Ankerfall. Und wenn du Benchmarks für Generalisierungsfähigkeit suchst: Die Forschungsfragen des talkie-Teams sind präziser gestellt als die meisten Standard-Evals.

Fazit: Ein Modell ohne Gegenwart – mit echter Zukunft in der Forschung

talkie ist das seltenste Ding in der aktuellen KI-Landschaft: ein Projekt, das bewusst weniger weiß als seine Konkurrenten – und gerade deshalb etwas leistet, was kein modernes Frontier-Modell reproduzieren kann. Die Frage, ob ein Modell mit Cutoff 1930 die Relativitätstheorie erfinden kann, klingt wie ein Gedankenexperiment. Das talkie-Team baut die Infrastruktur, um sie empirisch zu beantworten.

Das Basismodell erfüllt das Versprechen lizenzreiner KI auf einem Niveau, das bisher kaum erreicht wurde. Die Chat-Variante ist kompromissbehaftet – Modern-KI-Spuren im Verhalten sind nachweisbar und dokumentiert. Aber das Team verschweigt diese Kompromisse nicht, sondern benennt sie präzise und formuliert den Weg heraus. Das ist wissenschaftliche Ehrlichkeit, die in der KI-Branche nicht selbstverständlich ist.

Der Haken für kommerzielle Anwender: talkie ist kein Tool für allgemeine Produktionsumgebungen. Es ist ein Forschungsmodell mit spezifischen Nischen-Stärken – historische Content-Generierung, Copyright-sichere Deployments, Grundlagenforschung zur Modell-Generalisierung. Wer es in diesem Rahmen einsetzt, bekommt ein gut dokumentiertes, offenlizenziertes Modell mit einem Entwicklerteam, das erkennbar weiß, was es tut. Das allein ist mehr, als viele aktuelle Open-Weight-Releases bieten.

Die entscheidende offene Frage bleibt, ob das Team die Trainingsdaten tatsächlich veröffentlicht. Wenn ja, wäre talkie das erste vollständig transparente, lizenzreine 13B-Modell mit veröffentlichter Datenbasis – ein Referenzprojekt, das die Copyright-Debatte in der KI konkret verankert. Das wäre kein kleiner Schritt.