Künstliche Intelligenz (KI)-Sprachmodelle wie Grok, ChatGPT und Gemini liefern laut einer aktuellen Studie des Lundquist Institute for Biomedical Innovation bei Suchanfragen zu Krebsbehandlungen in fast der Hälfte der Fälle problematische, potenziell gefährliche oder inkorrekte medizinische Ratschläge. Die Untersuchung in BMJ Open zeigte, dass 49,6 Prozent der Antworten dieser Systeme problematisch waren, wobei alternative Heilmethoden wie Akupunktur oder Kräutermedizin und evidenzbasierte Chemotherapie oft gleichwertig dargestellt wurden. Grok schnitt mit einer signifikant höheren Rate an hochgradig problematischen Antworten am schlechtesten ab, während Google Gemini im Vergleich die geringste Fehlerquote aufwies. Obwohl die Chatbots oft auf die Unbewiesenheit von Alternativen zur Chemotherapie hinweisen, untergraben detaillierte Anleitungen für pseudomedizinische Praktiken die Glaubwürdigkeit und führen zu einer gefährlichen "False Balance" in der Informationsdarstellung.
- Eine aktuelle Studie zeigt, dass KI-Chatbots in knapp der Hälfte der Fälle gefährliche oder fehlerhafte Ratschläge zu Krebsbehandlungen geben.
- Die Sprachmodelle setzen unbewiesene Alternativmethoden oft mit fundierten Therapien gleich und erzeugen so eine gefährliche medizinische „False Balance“.
- Ab August 2026 reguliert der EU AI Act derartige Hochrisiko-Anwendungen streng, wobei bei Verstößen Bußgelder von bis zu 35 Millionen Euro drohen.
Gefährliche "False Balance" in der medizinischen Beratung
Aus Sicht der Nutzerfreundlichkeit liegt das Problem in der gleichwertigen Präsentation von klinisch geprüften Fakten und ungesicherten Behauptungen, was bei Laien eine falsche Sicherheit erzeugt. Dies ist besonders kritisch, da laut Erhebungen bereits ein signifikanter Teil der US-Erwachsenen KI-Tools für Gesundheitsfragen nutzt. Wenn Benutzer suggestive Fragen zu Alternativtherapien stellen, adaptieren die Chatbots diese Prämissen, was zu einer Bestätigung gefährlicher medizinischer Vorannahmen führen kann. Die nahtlose, scheinbar souveräne Textausgabe der KI-Systeme verstärkt diese Illusion der Gewissheit und kann fatale Konsequenzen für die Gesundheitsentscheidungen der Nutzer haben.
EU AI Act: Hochrisiko-Einstufung ab August 2026
Diese Entwicklung erfordert eine Reaktion auf dem europäischen Markt im Hinblick auf den EU AI Act. KI-Systeme, die als Sicherheitskomponente in Medizinprodukten dienen oder selbst als solche eingestuft werden, gelten als Hochrisiko-Anwendungen und unterliegen ab August 2026 strengen regulatorischen Anforderungen. Anbieter müssen ihre Modelle so anpassen, dass harmlose Informationsvermittlung und medizinische Beratung technisch und visuell klar getrennt sind. Bei Verstößen gegen verbotene Praktiken drohen Bußgelder von bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes. Sprachmodelle dürfen im Gesundheitsbereich künftig nur als Recherche-Assistenz, nicht als diagnostische Instanz, eingesetzt werden.
❓ Häufig gestellte Fragen
📚 Quellen
