Meta JiT-Testing: 4x mehr Bugs erkannt durch KI-generierte Tests im Code-Review

Meta hat ein Just-in-Time-Testsystem (JiT) eingeführt, das Tests nicht statisch pflegt, sondern dynamisch bei jedem Pull Request aus dem Code-Diff generiert. Eine Analyse von über 22.000 generierten Tests zeigt, dass dieser Ansatz eine viermal höhere Fehlererkennungsrate im Vergleich zu traditionellen Härtungstests und eine 20-fach höhere Rate gegenüber zufällig fehlschlagenden Tests erreicht. Von 41 identifizierten Kandidaten wurden 8 als echte Defekte bestätigt, wobei vier davon ohne dieses System zu schwerwiegenden Produktionsfehlern geführt hätten.

Das System, genannt "Dodgy Diff and Intent-Aware Workflow", interpretiert Code-Änderungen semantisch, um Entwicklerabsichten zu erkennen und Risikobereiche zu modellieren. Diese Informationen werden einer Mutations-Engine zugeführt, die realistische Fehlerszenarien synthetisiert. Ein LLM-basiertes Schicht generiert daraus gezielte Tests, die auf der vorgeschlagenen Änderung fehlschlagen, auf der Parent-Revision jedoch erfolgreich sind. Regel- und LLM-basierte Prüfer filtern unzuverlässige Tests heraus, was die manuelle Überprüfungsarbeit um 70 Prozent reduziert. Das JiT-System ist bereits für Facebook, Instagram, WhatsApp und Meta Wearables im Einsatz, wobei der Fokus zunächst auf Privacy-Testing in Kotlin liegt.

Für Entwicklungsteams, die mit agentenbasierten Workflows und KI-generiertem Code arbeiten, löst JiT-Testing ein grundlegendes Problem: traditionelle Test-Suites werden schnell zu einer Wartungsbelastung, da Assertions veralten und Deckungslücken entstehen. Metas Ansatz dreht die Logik um: Tests entstehen genau dann und dort, wo und wann Code entwickelt wird, ohne langfristigen Pflegeaufwand. Die Forschungsergebnisse wurden auf der FSE 2025 und EuroSTAR 2025 vorgestellt. Die Frage, ob der Ansatz über das Privacy-Testing hinaus auf andere Domänen und Sprachen skalierbar ist, bleibt laut Metas eigener Forschungsagenda noch offen.