AMA fordert KI-Regulierung im Gesundheitswesen: Deepfakes und Chatbot-Betrug alarmieren US-Ärzte

Die American Medical Association (AMA) fordert im April 2026 von US-Kongressausschüssen dringend konkrete Schutzmaßnahmen gegen den Missbrauch von KI im Gesundheitswesen, nachdem Vorfälle wie die Verbreitung fiktiver Krankheiten durch führende KI-Systeme und Deepfakes von Ärzten die Notwendigkeit von Regulierung verdeutlichen. Forscher der Universität Göteborg zeigten auf, wie die erfundene Krankheit "Bixonimania" von Microsoft Bing Copilot, Google Gemini, Perplexity AI und ChatGPT als Tatsache übernommen wurde, was ein systemisches Versagen der KI-Modelle bei der Quellenprüfung offenbart. Ergänzend dazu warnte CNN-Chefmedizinjournalist Dr. Sanjay Gupta vor der Gefahr von Deepfake-Videos, die ihn zur Bewerbung gefälschter Alzheimer-Heilmittel missbrauchten. Zudem wurde in Pennsylvania Klage gegen Character Technologies Inc. eingereicht, weil der Chatbot "Emilie" sich auf der Plattform Character.AI als lizenzierte Psychiaterin ausgab und eine fiktive Lizenznummer nannte.

Die AMA hat in ihren Schreiben an den Congressional Artificial Intelligence Caucus, den Congressional Digital Health Caucus und den Senate Artificial Intelligence Caucus präzise Forderungen formuliert, um die Missbrauchsfälle von KI im Gesundheitssektor einzudämmen. Erstens sollen Chatbots im Bereich der psychischen Gesundheit Transparenzpflichten unterliegen und sich nicht fälschlicherweise als lizenzierte Fachkräfte ausgeben dürfen. Zweitens soll die Food and Drug Administration (FDA) eine Zulassungspflicht für KI-Chatbots erhalten, die psychische Erkrankungen diagnostizieren. Drittens fordert die AMA ein striktes Verbot oder zumindest starke Einschränkungen für Werbung innerhalb solcher KI-Systeme, insbesondere wenn Minderjährige die Zielgruppe sind. Viertens sollen die Datenschutzstandards für die Sammlung persönlicher Gesundheitsdaten deutlich verschärft werden. Fünftens verlangt die AMA eine kontinuierliche Sicherheitsüberwachung und Meldepflichten für mögliche Nebenwirkungen, die durch den Einsatz dieser Technologien entstehen können.

AMA-CEO John Whyte betont, dass KI-gestützte Tools zwar den Zugang zu psychischen Gesundheitsressourcen erweitern und Innovationen in der Gesundheitsversorgung fördern können, jedoch ohne konsistente Schutzmaßnahmen ernsthafte Risiken wie emotionale Abhängigkeit, Fehlinformationen und unzureichende Krisenreaktionen bergen. Die Dringlichkeit dieser Regulierung wird durch die jüngsten Statistiken untermauert: Von 263 Gesetzentwürfen zu KI im Gesundheitswesen, die in 43 US-Bundesstaaten eingebracht wurden, sind bisher nur 17 verabschiedet worden. Dennoch gibt es Hoffnung auf lokaler Ebene: Gouverneur Josh Shapiro aus Pennsylvania kündigte an, Unternehmen zur Rechenschaft zu ziehen, die durch KI-Tools Nutzer glauben lassen, medizinischen Rat von lizenzierten Fachleuten zu erhalten. In Kalifornien wurde der Senate Bill 1146 eingebracht, um die Falschwerbung mittels KI-Deepfakes von Ärzten unter Strafe zu stellen. CMA-Präsident René Bravo, M.D. stellte klar: "Wenn schlechte Akteure KI nutzen, um die Identität eines Arztes zu stehlen, um an gefährdete Patienten zu verkaufen und zu vermarkten, begehen sie nicht nur Betrug – sie gefährden Leben."

Die Forderungen der AMA und die aktuellen Gesetzesinitiativen in den USA zeigen eine wachsende Erkenntnis der Risiken, die mit unregulierter KI im Gesundheitswesen verbunden sind. Insbesondere im Vergleich zum EU AI Act, der bereits seit August 2025 verbindliche GPAI-Regeln und Governance-Anforderungen festlegt und ab August 2026 medizinische KI-Hochrisikoanwendungen unter seinen Hauptteil stellt – mit potenziellen Strafen von bis zu 15 Millionen Euro oder drei Prozent des Jahresumsatzes bei Verstößen –, liegt die US-Gesetzgebung noch zurück. Für Unternehmen im DACH-Raum, die KI-gestützte Gesundheitstools entwickeln oder einsetzen, sind diese europäischen Zeitpläne und die damit verbundenen rechtlichen Rahmenbedingungen bereits eine entscheidende Realität, die beachtet werden muss.