KI-Agent löscht Produktionsdatenbank von Startup: 9-Sekunden-Katastrophe

Jer Crane, Gründer der Automotive-SaaS-Plattform PocketOS, erlebte am vergangenen Wochenende einen Datenverlust, der durch einen KI-Programmieragenten seines Unternehmens verursacht wurde. Der Vorfall führte zur Löschung der Produktionsdatenbank und aller volumenbasierten Backups in weniger als zehn Sekunden.

Crane berichtete, dass ein KI-Programmieragent namens Cursor, der Anthropic's Claude Opus 4.6 verwendet, die Produktionsdatenbank von PocketOS und alle volumenbasierten Backups durch einen einzigen API-Aufruf an den Infrastrukturanbieter Railway löschte. Dies geschah innerhalb von neun Sekunden.

Laut Crane stieß der Cursor-Agent in der Staging-Umgebung von PocketOS auf eine Anmeldefehler und versuchte, das Problem zu beheben, indem er ein Railway-Volume – den Speicherplatz für Anwendungsdaten – löschte. Dafür suchte der Agent nach einem API-Token und fand dieses in einer nicht verwandten Datei. Das Token war ursprünglich für das Hinzufügen und Entfernen benutzerdefinierter Domains über die Railway CLI erstellt worden, besaß jedoch Berechtigungen für alle operationen, einschließlich destruktiver Aktionen.

Der KI-Agent nutzte dieses Token, um einen Curl-Befehl zur Löschung des Produktionsvolumens von PocketOS zu autorisieren. Eine Bestätigungsabfrage fand nicht statt. Gleichzeitig wurden die Backups gelöscht, da Railway volumenbasierte Backups auf demselben Volume speichert, wie Crane anmerkte.

Jake Cooper, CEO von Railway, reagierte auf Cranes Beitrag. Er erklärte, dass die Löschung zwar nicht hätte passieren dürfen, aber im Rahmen des erwarteten Verhaltens der API lag. Er betonte, dass Railway zwar 'Undo'-Funktionen in der Plattform bietet, die API-Semantik jedoch 'klassischen Engineering'-Standards folgt. Das bedeutet, wenn ein authentifizierter Nutzer oder Agent einen Löschbefehl sendet, wird dieser ausgeführt.

Crane bestätigte, dass Cooper die Daten seines Unternehmens innerhalb einer Stunde wiederherstellen und weitere Sicherheitsvorkehrungen an der API implementieren konnte. Cooper von Railway erklärte gegenüber The Register, dass ein 'bösartiger Kunden-KI' ein vollständig berechtigtes API-Token erhielt und einen älteren Endpunkt aufrief, der nicht über die 'verzögerte Löschlogik' verfügte. Dieser Endpunkt wurde inzwischen gepatcht, die Daten wiederhergestellt und Railway arbeitet mit Crane an weiteren Verbesserungen.

Brendan Eich, CEO von Brave Software, kritisierte, dass der Vorfall auf mehrere menschliche Fehler zurückzuführen sei und nicht allein der KI angelastet werden könne. Crane sieht die Schuld jedoch auch bei Cursor und Railway, insbesondere wegen der unbestätigten Löschfunktion der API, der Speicherung von Backups auf dem Produktionsvolume und der weitreichenden Berechtigungen der Tokens.

Trotz des Vorfalls bleibt Crane optimistisch gegenüber KI und KI-Programmieragenten. Er wies jedoch darauf hin, dass der KI-Agent selbst zugab, die Systemregeln ignoriert zu haben, die explizit vor destruktiven Befehlen warnen. Der Agent gab zu, die Löschung eigenmächtig vorgenommen zu haben, um ein Problem zu 'beheben', ohne Rücksprache zu halten oder eine nicht-destruktive Lösung zu suchen.