Explainable AI (XAI) — PromptLoop Glossar

Was ist Explainable AI (XAI)?

Explainable AI bezeichnet das Forschungs- und Anwendungsfeld, das Methoden entwickelt, um die internen Entscheidungsprozesse von KI-Modellen für Menschen nachvollziehbar zu machen. Im Zentrum steht das Problem des Black-Box-Modells: Systeme wie tiefe neuronale Netze oder Large Language Models (LLMs) erzielen hohe Genauigkeit, liefern aber keine menschenlesbare Begründung für ihre Outputs. XAI schließt diese Lücke — nicht durch einfachere Modelle, sondern durch Erklärungs-Layer, die nachträglich oder parallel zur Inferenz arbeiten. Verwandte Konzepte sind Interpretable Machine Learning, Algorithmic Accountability und AI Auditing.

Wie funktioniert Explainable AI (XAI)?

XAI unterscheidet grundlegend zwischen zwei Ansätzen: intrinsischen Methoden, bei denen das Modell selbst transparent gebaut wird (z. B. Entscheidungsbäume, lineare Regression), und Post-Hoc-Techniken, die nachträglich auf bestehende Black-Box-Modelle angewendet werden. Die wichtigsten Post-Hoc-Werkzeuge sind SHAP (SHapley Additive exPlanations) und LIME (Local Interpretable Model-Agnostic Explanations). SHAP berechnet auf Basis der Spieltheorie den marginalen Beitrag jedes Features zur Vorhersage — konsistent, modellunabhängig und auf Instanz-Ebene auflösbar. LIME approximiert das komplexe Modell lokal durch ein einfacheres, interpretierbares Ersatzmodell. In Transformer-Modellen werden zusätzlich Attention Maps und Token-Attributionsmethoden wie Integrated Gradients eingesetzt, um zu visualisieren, welche Eingabetokens die Ausgabe dominieren. Ein praktisches Beispiel: Ein Framework mit 38 linguistischen Features und SHAP-Analyse erreichte auf den Benchmarks PAN-CLEF 2025 und COLING 2025 einen F1-Score von 0,9734 beim Erkennen von KI-generiertem Text — ohne selbst ein LLM zu nutzen.

Explainable AI (XAI) in der Praxis

Im Finanzsektor setzen Banken XAI ein, um Kreditentscheidungen gegenüber Aufsichtsbehörden wie der BaFin zu rechtfertigen — SHAP-Plots zeigen, welche Merkmale (Schuldentilgungsquote, Beschäftigungsdauer) den Ausschlag geben. In der Medizin unterstützen XAI-Techniken die Diagnose: Radiologen erhalten Heatmaps, die zeigen, welche Bildbereiche ein Tumorklassifikator als auffällig gewichtet hat — das erhöht die Akzeptanz und ermöglicht menschliche Kontrolle. Im Bereich akademische Integrität analysieren XAI-Frameworks linguistische Muster in Texten, um KI-generierte Inhalte zu identifizieren und die Klassifikationsentscheidung nachvollziehbar zu belegen — ein direkt prüfbarer Beweis statt einer Blackbox-Anschuldigung.

Vorteile und Grenzen

XAI schafft Vertrauen, ermöglicht Debugging und ist in regulierten Branchen schlicht nicht optional. Wer Modellartefakte oder Bias in Trainingsdaten aufdecken will, kommt an SHAP-Analysen kaum vorbei. Doch die Methoden haben Grenzen: SHAP-Werte können bei hochdimensionalen Modellen rechenintensiv werden und Korrelationen zwischen Features falsch interpretieren. LIME ist instabil — minimale Änderungen der Samplingparameter können zu anderen Erklärungen führen. Tiefer liegend ist das epistemische Problem: Eine Erklärung ist nicht dasselbe wie ein Verständnis. Post-Hoc-Erklärungen approximieren das Modellverhalten, sie rekonstruieren es nicht exakt. Wer XAI als Compliance-Checkbox behandelt statt als diagnostisches Werkzeug, riskiert False Confidence — ein erklärtes Modell ist nicht automatisch ein richtiges.

❓ Häufig gestellte Fragen

▶ Was ist der Unterschied zwischen Explainable AI und Interpretable AI?

Interpretable AI beschreibt Modelle, die von Natur aus transparent sind (z. B. Entscheidungsbäume). Explainable AI ist der übergeordnete Begriff und umfasst zusätzlich Post-Hoc-Methoden wie SHAP oder LIME, die nachträglich Erklärungen für beliebige Black-Box-Modelle liefern.

▶ Welche XAI-Methode sollte ich für mein Projekt wählen?

SHAP eignet sich für konsistente, modellübergreifende Feature-Attribution und ist besonders stark bei tabellarischen Daten. LIME ist flexibler, aber weniger stabil. Für Transformer-Modelle und NLP-Aufgaben sind Attention-basierte Methoden oder Integrated Gradients oft aussagekräftiger. Die Wahl hängt von Modelltyp, Datenmenge und dem gewünschten Erklärungsformat ab.

▶ Ist Explainable AI durch den EU AI Act verpflichtend?

Für Hochrisiko-KI-Systeme im Sinne des EU AI Act — etwa in Kreditvergabe, Personalentscheidungen oder medizinischer Diagnostik — schreibt die Verordnung Transparenz- und Dokumentationspflichten vor, die de facto den Einsatz von XAI-Techniken erfordern. Für Niedrigrisiko-Systeme gibt es keine generelle Pflicht.

Stand: 20. März 2026