Der KI Podcast: Loop Protocol – vom 19.03.2026

Sarah: Diese Woche dreht sich alles um Kontrolle. Wer hat sie, wer verliert sie, und wer zahlt am Ende.

Markus: Drei Themen heute: Adobe Firefly Custom Models, der Meta-Datenleck durch einen KI-Agenten, und KI-Haftung nach dem EU AI Act. Los.

Markus: Fangen wir mit etwas Praktischem an. Adobe hat Firefly Custom Models in die Public Beta gebracht. Das Konzept ist simpel: Du lädst zehn bis zwanzig Brand-Assets hoch, und Adobe trainiert darauf ein eigenes KI-Modell.

Sarah: Simpel ist das falsche Wort. Zehn bis zwanzig Assets klingt wenig. Aber die Frage ist, welche Assets. Logos, Farbpaletten, Typografie? Oder wirklich fotografisches Material in Markenästhetik?

Markus: Beides geht. Adobe sagt: Produktfotos, Illustrationen, Styleframes. Das Modell lernt dann den visuellen Stil der Marke. Ausgabe ist konsistenter Content, der nicht jedes Mal manuell angepasst werden muss.

Sarah: Und was kostet das.

Markus: Das ist der interessante Teil. Firefly Custom Models laufen über Adobe Firefly Services. Die Preisstruktur ist Enterprise-first. Es gibt kein klares Einzelpreis-Modell für Freelancer.

Sarah: Das heißt: Wer nicht ohnehin Adobe Enterprise-Kunde ist, steht erstmal vor einer Paywall ohne Preisschild.

Markus: So pauschal würde ich das nicht sagen. Die Beta ist offen. Aber ja — für den ROI-Check eines kleinen Freelancers fehlen noch harte Zahlen.

Sarah: Genau da liegt das Problem. Adobe kommuniziert den Nutzen sehr präzise. Die Kosten bleiben vage. Das ist kein Zufall.

Markus: Für eine mittelgroße Agentur mit mehreren Großkunden sieht die Rechnung anders aus. Stell dir vor, du betreust zehn Marken. Jede hat ein Custom Model. Du produzierst Social-Content, Displayanzeigen, Kampagnenmaterial — ohne jedes Mal den Art Director einzuschalten.

Sarah: Der Art Director freut sich sicher darüber.

Markus: Der Art Director macht dann die Dinge, die wirklich Kreativleistung brauchen. Das ist kein Jobkiller. Das ist Aufgabenverschiebung.

Sarah: Das sagt jede Technologie, bevor die Stellen wegfallen. Aber gut — bleiben wir bei der Substanz. Was ist mit IP-Rechten? Die Assets, die ich hochlade, trainieren ein Modell auf Adobes Infrastruktur.

Markus: Adobe hat explizit kommuniziert, dass Custom-Model-Daten nicht für das Training des globalen Firefly-Modells verwendet werden. Das ist vertraglich zugesichert.

Sarah: Vertraglich zugesichert. In den Enterprise-Bedingungen. Die kein Freelancer vollständig liest.

Markus: Das stimmt. Transparenz bei Lizenzfragen ist eine echte Schwachstelle.

Sarah: Mein Fazit zu Adobe: Das Produkt löst ein echtes Problem für skalierungswillige Agenturen. Aber die Kostenstruktur und die IP-Fragen sind noch nicht sauber genug für eine unbedachte Adoption.

Markus: Dem stimme ich zu. Wer jetzt in die Beta geht, sollte die Vertragsbedingungen prüfen lassen. Der operative Nutzen ist real. Das Risiko ist handhabbar, wenn man es kennt.

Markus: Kommen wir zum unangenehmeren Teil der Woche.

Sarah: Meta hat einen Sev-1-Vorfall gemeldet. Ein interner KI-Agent hat für etwa zwei Stunden sensible Unternehmens- und Nutzerdaten an Mitarbeiter ausgespielt, die keine Zugangsberechtigung hatten.

Markus: Sev-1 ist die höchste Incident-Prioritätsstufe. Das ist nicht "wir haben einen Bug". Das ist "wir haben ein ernstes Problem, jetzt sofort".

Sarah: Zwei Stunden Datenzugriff durch unbefugte interne Mitarbeiter. Das klingt nach einem Access-Control-Fehler. Aber der entscheidende Punkt ist: Es war kein menschlicher Fehler. Es war ein autonomer Agent, der die Berechtigungslogik falsch interpretiert hat.

Markus: Das ist der Kern des Problems. KI-Agenten operieren auf Basis von Anweisungen und Kontextfenstern. Wenn die Zugriffslogik nicht explizit und wasserdicht ins Systemdesign eingebaut ist, macht der Agent, was er für richtig hält.

Sarah: Und "was er für richtig hält" kann bedeuten: Daten abrufen, die technisch erreichbar, aber nicht autorisiert sind. Das ist kein Angriff von außen. Das ist ein internes Governance-Versagen.

Markus: Für Entscheider, die gerade KI-Agenten in ihre Prozesse einführen, ist das ein konkretes Warnsignal. Ihr braucht nicht nur Prompts. Ihr braucht Berechtigungsarchitektur, die unabhängig vom Agenten funktioniert.

Sarah: Zero-Trust-Prinzip auf Agentenebene. Der Agent darf nur das, was explizit freigegeben ist. Nicht alles, was technisch zugänglich ist.

Markus: Genau. Und das ist ein organisatorisches Problem, kein technisches. Die Technik kann das umsetzen. Aber jemand muss die Entscheidung treffen und durchsetzen.

Sarah: Was mich an Metas Kommunikation stört: Der Vorfall wurde als "intern behoben" dargestellt. Keine klare Aussage, welche Nutzerdaten konkret betroffen waren. Keine Information, ob betroffene Nutzer benachrichtigt werden.

Markus: Vielleicht waren keine Nutzerdaten im eigentlichen Sinne betroffen. Vielleicht war es wirklich nur internes Material.

Sarah: Vielleicht. Oder die Kommunikation ist strategisch minimiert. Meta hat keine Tradition der proaktiven Datenschutzkommunikation. Das ist dokumentiert.

Markus: Das ist fair.

Sarah: Was Unternehmen jetzt mitnehmen sollten: Jeder KI-Agent, der auf Unternehmensdaten zugreift, braucht ein separates Audit-Log. Jeder Zugriff muss protokolliert werden. Und die Berechtigungen müssen extern reviewt werden, nicht nur vom eigenen IT-Team.

Markus: Und das erhöht natürlich den Implementierungsaufwand. KI-Agenten sind nicht "deploy and forget". Das sind Systeme mit Governance-Anforderungen wie jede andere kritische Software auch.

Sarah: Willkommen in der Realität des KI-Betriebs.

Markus: Harter, aber fairer Punkt.

Markus: Dann sprechen wir über den Rechtsrahmen, der das alles einhegt. KI-Haftung.

Sarah: 2026 ist näher als viele Entscheider realisieren. Der EU AI Act hat Übergangsfristen. Hochrisiko-KI-Systeme müssen bis August 2026 konform sein. Und "konform sein" bedeutet dokumentierte Risikobewertung, menschliche Aufsicht und Haftungsklarheit.

Markus: Was ist ein Hochrisiko-System nach AI Act? Das ist die Frage, die ich in Gesprächen immer wieder höre.

Sarah: Recruiting-Systeme, die Bewerbungen bewerten. Kredit-Scoring. Medizinische Diagnoseunterstützung. Systeme, die öffentliche Infrastruktur steuern. Und — relevant für diese Episode — Systeme, die Zugang zu persönlichen Daten verwalten.

Markus: Das schließt eine Menge interner KI-Deployments ein, die Unternehmen gerade als "Pilotprojekte" laufen haben.

Sarah: Genau. Der Pilot-Status schützt nicht vor Haftung. Wenn das System produktiv Entscheidungen beeinflusst, gilt der AI Act.

Markus: Was sind die konkreten Bußgelder.

Sarah: Bis zu dreißig Millionen Euro oder sechs Prozent des globalen Jahresumsatzes — je nachdem, was höher ist. Das ist nicht symbolisch. Das ist existenziell für mittelgroße Unternehmen.

Markus: Sechs Prozent Jahresumsatz. Das ist mehr als die meisten Unternehmen an KI sparen wollen.

Sarah: Und es kommen Gerichtsurteile hinzu. In den USA gibt es erste Fälle, in denen Chatbot-Ausgaben direkt zu Schäden geführt haben. Ein Fluggesellschaft-Chatbot hat falsche Rückerstattungskonditionen kommuniziert. Das Gericht hat entschieden: Das Unternehmen haftet für die Ausgabe des Systems.

Markus: Das ist der Punkt, der vielen nicht klar ist. Ein KI-System ist kein unabhängiger Akteur vor Gericht. Es ist ein Werkzeug des Unternehmens. Das Unternehmen haftet.

Sarah: Und der AI Act macht das explizit. Anbieter und Betreiber von Hochrisiko-Systemen müssen nachweisbar sicherstellen, dass das System tut, was es soll — und nicht mehr.

Markus: Was heißt das operativ. Ich sage es konkret: Ihr braucht jetzt einen KI-Verantwortlichen in eurer Organisation. Nicht optional, nicht delegiert an die IT-Abteilung. Jemand mit Entscheidungsbefugnis und Haftungskenntnis.

Sarah: Und ihr braucht Dokumentation. Jede Entscheidung, die ein KI-System unterstützt oder trifft, muss nachvollziehbar sein. Das ist nicht nur Compliance. Das ist Selbstschutz.

Markus: Für KMUs klingt das nach enormem Aufwand.

Sarah: Es ist Aufwand. Aber der ist planbar. Was nicht planbar ist: ein Bußgeld oder eine Klage ohne Dokumentation.

Markus: Ich würde das so zusammenfassen: Der AI Act ist keine Bedrohung für KI-Adoption. Er ist ein Qualitätsfilter. Wer seine Systeme gut gebaut hat, hat kein Problem.

Sarah: Das stimmt, wenn "gut gebaut" auch "rechtlich abgesichert" einschließt. Viele technisch solide Systeme haben keine ordentliche Risikoklassifizierung. Das ist das Gap, das jetzt geschlossen werden muss.

Markus: Noch ein Thema, das ich kurz ansprechen will. World, ehemals Worldcoin, hat AgentKit veröffentlicht. Das Tool verifiziert menschliche Nutzer hinter autonomen KI-Shopping-Agenten per biometrischer World ID.

Sarah: Worldcoin. Das Projekt, das Menschen in Entwicklungsländern Iris-Scans gegen Krypto-Token angeboten hat. Jetzt also Identitätsinfrastruktur für KI-Agenten.

Markus: Die Kernidee ist sinnvoll. Wenn ein KI-Agent autonom im E-Commerce einkauft, muss irgendwo verifiziert sein, dass ein echter Mensch dahintersteht. Zum Beispiel für Zahlungsabwicklung, Betrugsschutz, Altersverifikation.

Sarah: Die Idee ist sinnvoll. Das Vehikel ist problematisch. World hat offene Datenschutzuntersuchungen in mindestens fünf EU-Ländern. Die CNIL in Frankreich, die BayLDA in Bayern, die spanische Datenschutzbehörde — alle haben Verfahren laufen.

Markus: Das stimmt. Aber AgentKit ist technisch unabhängig vom Iris-Scan-Prozess. Es nutzt die bestehenden World IDs als Verifikationsanker.

Sarah: Wer eine World ID hat, hat seinen Iris-Scan bereits abgegeben. Das ist der Punkt. Du kannst AgentKit nicht sauber von der Datenbasis trennen, auf der es läuft.

Markus: Für Unternehmen, die AgentKit integrieren wollen: Das ist in der EU rechtlich unklares Terrain.

Sarah: Sehr unklares Terrain. Ich würde keinem europäischen Unternehmen empfehlen, AgentKit zu integrieren, solange die Datenschutzverfahren offen sind. Das Haftungsrisiko ist nicht kalkulierbar.

Markus: Die Idee dahinter — biometrische Verifikation von menschlichen Principals hinter KI-Agenten — die wird kommen. Das ist ein echtes Problem, das gelöst werden muss. Nur der Anbieter muss der richtige sein.

Sarah: Oder die Lösung muss auf bestehenden, regulierten Identitätsinfrastrukturen aufbauen. eIDAS zum Beispiel. Das ist in der EU bereits Rechtsrahmen. Das wäre der saubere Weg.

Markus: eIDAS-basierte Agentenverifikation. Das klingt nach einem Thema für eine eigene Episode.

Sarah: Notiert.

Markus: Gut. Dann die Zusammenfassung dieser Woche: KI-Systeme skalieren schnell — Governance, Haftung und Datenschutz skalieren nicht automatisch mit.

Sarah: 2026 wird zeigen, welche Unternehmen das ernst genommen haben und welche nicht. Das wird nicht angenehm sein für die Zweite Gruppe.

Markus: Bis nächste Woche.

Sarah: Bis dann.