CAISI: 40 Tests und bis zu 10 Mio. Dollar für US-Checks von Frontier-KI

Die US-Regierung führt obligatorische Sicherheitsprüfungen für Frontier-KI-Modelle vor und nach deren Veröffentlichung durch, wobei das Center for AI Standards and Innovation (CAISI) Vereinbarungen mit Google DeepMind, Microsoft und xAI getroffen hat, um "government safety checks" an deren Modellen durchzuführen.

CAISI präsentiert diese neuen Vereinbarungen als Ausbau "im öffentlichen Interesse" und hebt deren nationale Sicherheitsdimension hervor, wobei Direktor Chris Fall betont, dass unabhängige und rigorose Messwissenschaften unerlässlich sind, um Frontier-KI und ihre nationalen Sicherheitsauswirkungen zu verstehen. Trotzdem liefert CAISI kaum Details zu den konkreten Standards, die angewendet werden sollen, was zu Kritik führt: Ohne klare Prüfmaßstäbe ist unklar, ob die Regierung reale Bedrohungen testet oder politische Output-Kontrolle betreibt.

CAISI hat bereits 40 unabhängige Evaluierungen durchgeführt, darunter auch Prüfungen noch nicht veröffentlichter Frontier-Modelle. Für diese Tests erhält CAISI häufig Zugriff auf Systeme mit reduzierten oder entfernten Schutzmaßnahmen, um nationale Sicherheitsrisiken gründlich zu prüfen. Eine eigens gebildete Taskforce aus "interagency experts" soll zudem neue nationale Sicherheitsbedenken aus der Regierung einfließen lassen, was Washingtons Bestreben verdeutlicht, sich enger in die technischen Realitäten der Labs einzuklinken.

Die Industrie zeigt sich teilweise kooperativ: Tom Lue von Google DeepMind äußert sich erfreut über die Testpläne, und Microsoft argumentiert, dass Tests zur nationalen Sicherheit und großflächigen öffentlichen Sicherheitsrisiken kollaborativ mit Regierungen erfolgen müssen. Microsoft hebt CAISIs einzigartige Expertise hervor, räumt aber auch ein, dass Standards noch gemeinsam mit CAISI und NIST entwickelt werden müssen, was auf einen Compliance-Prozess mit sich ändernden Anforderungen hindeutet.

Kritiker wie Devin Lynch fordern, dass CAISI klar definieren und veröffentlichen muss, was getestet wird, nicht nur, mit wem getestet wird. Sarah Kreps warnt vor staatlichen Prüfprozessen, die sowohl positive als auch negative Ergebnisse liefern können, während Gregory Falco vor politischer Output-Kontrolle warnt und für unabhängige Audits plädiert, da die Bundesregierung derzeit nicht über die notwendige interne technische Expertise verfügt, um diese Systeme eigenständig zu bewerten. Ein weiteres Problem ist die Finanzierung: Der Kongress bewilligte nur bis zu 10 Millionen Dollar, was im internationalen Vergleich als unterfinanziert gilt.