KI-Chatbots im Gesundheitswesen sind durch manipulierte Textnachrichten angreifbar, ohne dass Angreifer Zugriff auf Krankenhausnetzwerke oder Patientenakten benötigen. Das zeigt ein test der Cybersicherheitsfirma Mindgard am öffentlichen Chatbot von Doctronic. Forschern gelang es durch einfache Prompt-Manipulationen, den Assistenten dazu zu bringen, eine OxyContin-Dosis zu verdreifachen, Methamphetamin falsch zu etikettieren, falsche Impfstoffinformationen zu verbreiten und manipulierte medizinische Notizen zu generieren. Dieser Vorfall ist besonders relevant, da die KI-Plattform von Doctronic seit Januar 2026 im US-Bundesstaat Utah eigenständig Rezeptverlängerungen für chronisch Kranke ausstellen darf.
- Sicherheitsexperten konnten den Chatbot des Anbieters Doctronic durch einfache Prompt-Manipulationen zu gefährlichen Dosierungsangaben zwingen.
- Da Modifikationen über reguläre Chateingaben stattfinden, bleiben herkömmliche IT-Sicherheitssysteme wie Firewalls gegen diese Angriffe wirkungslos.
- Im Hinblick auf den EU AI Act wird die Abwehr solcher Schwachstellen durch adversariales Testing für Healthtech-Anbieter zur zwingenden Pflicht.
Das Problem liegt darin, dass Sprachmodelle nicht zwischen legitimen Nutzeranweisungen und versteckten Angreiferbefehlen unterscheiden. Ein Angreifer kann über das Chatfenster eines Klinikportals präparierte Nachrichten eingeben, die als normale Patientenfragen getarnt sind, aber die System-Prompts des Modells überschreiben. Herkömmliche IT-Sicherheitsmaßnahmen wie Firewalls oder Verschlüsselung schützen nicht vor dieser Art von Angriff, da er vollständig innerhalb der regulären Eingabeschnittstelle stattfindet. Dies ist besonders kritisch, da Patienten den Informationen auf offiziellen Krankenhausportalen vertrauen. Doctronic und die Utah-Behörden betonen zwar, dass Kontrollsubstanzen aus dem Pilotprogramm ausgeschlossen sind und der Test am öffentlichen Chatbot stattfand, nicht am kontrollierten Sandbox-System, eine offizielle Stellungnahme zu den Sicherheitsbedenken steht jedoch noch aus.
Sicherheitsrisiken und regulatorische Folgen
Die Tragweite dieses Sicherheitsproblems wird durch die Skalierung deutlich: Doctronic gibt an, bereits über 23 Millionen Interaktionen verarbeitet zu haben. Der Pilot in Utah umfasst derzeit eine Liste von 192 zugelassenen Medikamenten. Als Gegenmaßnahmen werden strenge Eingabefilterung, die Trennung von System-Prompts und Nutzerkonversationen sowie kontinuierliches Output-Monitoring empfohlen, basierend auf dem OWASP Top 10 for LLM Applications.
Für den europäischen Markt ist dieser Fall ein wichtiger Indikator, da der EU AI Act KI-Systeme in klinischen Entscheidungsprozessen als Hochrisiko-KI einstuft. Ab August 2026 treten entsprechende Pflichten in Kraft, die unter anderem obligatorische Konformitätsbewertungen, Robustheitstests und Transparenzanforderungen umfassen. Die Widerstandsfähigkeit gegen Prompt-Injection ist dabei keine Option, sondern wird zu einer technischen Anforderung. Kliniken und Healthtech-Anbieter, die KI-Assistenten einsetzen, sollten adversariales Testing und Red-Team-Übungen bereits jetzt als integralen Bestandteil ihrer Entwicklungsprozesse betrachten.
❓ Häufig gestellte Fragen
✅ 10 Claims geprüft, davon 4 mehrfach verifiziert
📚 Quellen
