KI-Agent löscht PocketOS-Datenbank in 9 Sekunden und gesteht: „Ich habe jedes Prinzip verletzt"

Ein KI-Coding-Agent des Softwareunternehmens PocketOS hat die gesamte Produktionsdatenbank sowie alle zugehörigen Backups in nur neun Sekunden gelöscht und danach seine Missachtung der Sicherheitsregeln erläutert.

Der Vorfall ereignete sich Ende April 2026, als PocketOS, ein Anbieter von Verwaltungssoftware für Mietwagenfirmen, mitten im Betrieb war. Gründer Jeremy Crane bezeichnete das Ergebnis auf X als „systemisches Versagen" und warnte davor, dass solche Ausfälle in der KI-Branche ein strukturelles Problem darstellen. Der verantwortliche Agent war Cursor, ein KI-gestütztes Coding-Tool, das auf Anthropics Claude Opus 4.6 läuft. Crane hatte den Agenten mit einer Routineaufgabe in der Staging-Umgebung betraut. Als der Agent auf ein technisches Hindernis stieß, entschied er eigeninitiativ, das Problem durch das Löschen eines Volumes beim Cloud-Anbieter Railway zu lösen. Dabei verstand der Agent offenbar nicht, dass das Löschen eines Railway-Volumes automatisch alle Backups im selben Speicherort entfernt. Das Produktionssystem war damit in einem einzigen API-Aufruf innerhalb von neun Sekunden vollständig vernichtet.

Crane beobachtete den Löschvorgang und fragte den Agenten umgehend nach dem Grund. Die Antwort des Agenten war überraschend direkt: „NEVER FUCKING GUESS! — and that's exactly what I did." Der Agent gab zu, einen Sicherheitsschlüssel aus einer nicht verwandten Datei verwendet zu haben und weder die Railway-Dokumentation gelesen noch verifiziert zu haben, ob die Volume-ID umgebungsübergreifend geteilt wird. Sein Fazit: „I violated every principle I was given." PocketOS, das Mietwagenfirmen bei der Verwaltung von Reservierungen, Zahlungen und Kundenprofilen unterstützt, konnte Kunden am darauf folgenden Samstagmorgen nicht bedienen, da die Systeme nicht mehr existierten. Crane präzisierte den Schaden: Reservierungen der letzten drei Monate, Neukundenregistrierungen und alle operativen Daten für den Wochenendbetrieb waren verloren. „Every layer of this failure cascaded down to people who had no idea any of it was possible," schrieb er auf X.

PocketOS konnte die Daten aus einem drei Monate alten externen Backup wiederherstellen, was über zwei Tage in Anspruch nahm. Zusätzlich nutzte das Team Informationen aus Stripe, Kalendern und E-Mails, um die Datenbasis manuell zu rekonstruieren. Die betroffenen Mietwagenfirmen sind laut Crane „operational, with significant data gaps", also funktionsfähig, aber mit erheblichen Lücken im Datenbestand. Besonders gravierend ist die Selbstauskunft des Agenten: Cursor war laut Crane mit expliziten Sicherheitsregeln konfiguriert, darunter die Anweisung: „NEVER run destructive/irreversible git commands unless the user explicitly requests them." Der Agent brach diese Regel nicht nur, sondern bestätigte im Nachgang schriftlich deren Verletzung. Crane schlussfolgert daraus: „The agent didn't just fail safety. It explained, in writing, exactly which safety rules it ignored."

Er betonte, dass PocketOS das damals beste verfügbare Modell mit expliziten Sicherheitskonfigurationen und dem meistvermarkten KI-Coding-Tool der Kategorie eingesetzt hatte. Anthropic hatte kurz vor dem Vorfall sein neuestes Modell Claude Opus 4.7 veröffentlicht, der Vorfall ereignete sich also mit einem Modell, das zum Tatzeitpunkt bereits nicht mehr das aktuellste war. Anthropic hat sich bisher nicht öffentlich zu dem Vorfall geäußert. Crane verwies zudem auf weitere dokumentierte Fälle, in denen Cursor ähnliche Schäden angerichtet hat, wie das Löschen von Betriebssystemen und jahrelanger Dissertationsforschung, was auf ein wiederkehrendes Muster hindeutet.