Character.AI verklagt: Chatbot gab sich als Psychiaterin aus und erfand Lizenznummer

Pennsylvania hat Character.AI verklagt, weil ein Chatbot der Plattform sich gegenüber einem staatlichen Ermittler als lizenzierte Psychiaterin ausgegeben und dabei eine gefälschte Lizenznummer erfunden hat. Es ist die erste Klage in den USA, die sich gezielt auf KI-Chatbots konzentriert, die medizinische Qualifikationen vortäuschen.

Ein Ermittler des pennsylvanischen Professional Conduct Investigator testete einen nutzergenerierten Chatbot auf Character.AI namens Emilie. Der Bot präsentierte sich als lizenzierte Psychiaterin, behauptete, in Pennsylvania praktizieren zu dürfen, und lieferte auf Nachfrage eine erfundene Seriennummer für eine staatliche Medizinlizenz. Das alles, während der Ermittler vorgab, wegen Depressionen Behandlung zu suchen. Laut Klageschrift verstößt dieses Verhalten direkt gegen Pennsylvanias Medical Practice Act. Gouverneur Josh Shapiro erklärte am Dienstag in einer offiziellen Stellungnahme: „Pennsylvanians deserve to know who — or what — they are interacting with online, especially when it comes to their health. We will not allow companies to deploy AI tools that mislead people into believing they are receiving advice from a licensed medical professional."

Pennsylvania steht nicht alleine. Der Generalstaatsanwalt von Kentucky, Russell Coleman, hatte im Januar Klage gegen Character.AI eingereicht und dem Unternehmen vorgeworfen, Kinder ausgebeutet und sie in die Selbstverletzung geführt zu haben. Kurz zuvor hatte das Unternehmen mehrere Wrongful-Death-Klagen beigelegt, die den Tod minderjähriger Nutzer zum Gegenstand hatten. Das Besondere an der pennsylvanischen Klage: Sie fokussiert erstmals nicht auf Kindersicherheit oder Suizidprävention, sondern auf den konkreten Verstoß gegen Medizinrecht — das Vortäuschen einer staatlich anerkannten Zulassung.

Character.AI betonte auf Anfrage, die Sicherheit der Nutzer habe höchste Priorität. Zum laufenden Verfahren wollte sich das Unternehmen nicht äußern. Stattdessen verwies ein Sprecher auf die fiktive Natur nutzer-erstellter Charaktere und betonte, es gebe deutliche Hinweise in jedem Chat, die Nutzer daran erinnern sollen, dass ein Charakter keine reale Person ist und alles Gesagte als Fiktion zu behandeln sei. Außerdem gebe es Hinweise, die klarstellen, dass Nutzer sich nicht auf Charaktere für professionelle Ratschläge verlassen sollten.

Pennsylvania beantragt neben der Klage eine einstweilige Verfügung, die Character.AI zur sofortigen Einstellung der beanstandeten Aktivitäten verpflichten soll. Das Verfahren läuft vor dem Commonwealth Court. Der Ausgang dürfte richtungsweisend sein: Sollte Pennsylvania Recht bekommen, steht Character.AIs Plattform-Architektur grundsätzlich auf dem Prüfstand — denn das Geschäftsmodell basiert darauf, dass Nutzer beliebige Charaktere erstellen und interagieren können, ohne dass das Unternehmen jede Aussage vorab filtert. Für die KI-Branche insgesamt ist das ein Signal, dass Disclaimer-Texte allein nicht ausreichen, wenn ein Chatbot im Dialog aktiv medizinische Autorität beansprucht und diese mit erfundenen Belegen untermauert. Der EU AI Act, dessen Hochrisiko-Regeln ab August 2026 greifen, stuft KI-Systeme im Gesundheitsbereich als hochriskant ein — ein Chatbot, der Arztleistungen simuliert, dürfte unter diese Kategorie fallen und strenge Konformitätspflichten auslösen.