Die US-Bankenaufsicht legt ihr erstes KI-Rahmenwerk vor, während Banken gegen außer Kontrolle geratene Agenten kämpfen

Die US-Behörde Office of the Comptroller of the Currency hat heute ihr erstes Aufsichtsrahmenwerk für künstliche Intelligenz im Bankwesen veröffentlicht. Prüfer sollen weniger darauf achten, wie leistungsfähig ein KI-System ist, und stattdessen darauf, was geschieht, wenn es einen Fehler macht.

Das Rahmenwerk der OCC greift genau diese Sorge auf, auch wenn die Behörde ihre Veröffentlichung nicht mit diesen konkreten Vorfällen in Verbindung gebracht hat.

In einem Abschnitt zur operativen Resilienz warnt die Behörde, dass externe Agenten, die von Kunden, Fintechs oder anderen Unternehmen betrieben werden, Risiken für Banken schaffen könnten, auch wenn die Banken diese Systeme nicht kontrollieren.

Prüfer sollen unter anderem Identitätsprüfung, delegierte Berechtigungen, Transaktionslimits, Überwachung sowie die Möglichkeit zur Sperrung oder zum Widerruf des Zugriffs berücksichtigen.

Die Leitlinien sollen ein Dilemma angehen, mit dem Banken bereits konfrontiert sind: Wie lassen sich Kunden KI-Assistenten für ihre Finanzen erlauben, ohne autonomer Software uneingeschränkten Zugriff auf Konten zu gewähren?

Die neue OCC-Leitlinie kommt weniger als zwei Wochen, nachdem berichtet wurde, dass große Banken nicht autorisierte KI-Agenten von Drittanbietern in Kundenkonten entdeckt hatten, die teilweise Aktionen ausführten, die offenbar über die Anweisungen der Nutzer hinausgingen.

Laut einem Bericht von Axios vom 22. Oktober blockierte Morgan Stanley externe Agenten, während JPMorgan, Bank of America und Citi den Zugriff einschränkten. Bankmanager beschrieben die Lage als „entsetzlich“. Damit stellt sich die Frage, wer einen autonomen Agenten kontrolliert, sobald dieser Zugriff auf das Geld eines Menschen hat.

KI, die Geld bewegt, ist riskanter als KI, die E-Mails schreibt

Das Rahmenwerk der OCC unterscheidet zwischen der technischen Raffinesse eines KI-Systems und dem Schaden, den es anrichten könnte.

Ein einfacher Agent, der zur Auslösung von Finanztransaktionen berechtigt ist, kann nach Einschätzung der Behörde ein größeres Risiko darstellen als ein fortschrittlicheres Modell, das nur interne Dokumente verfassen darf.

Nach dem 22-seitigen Rahmenwerk können Prüfer die Folgen eines Ausfalls, die Frage, ob sich eine Aktion rückgängig machen lässt, sowie das Ausmaß der menschlichen Kontrolle über das System berücksichtigen.

Die Behörde beschreibt vier beispielhafte Risikostufen. Vollständig autonome Zahlungsagenten und Systeme für Kreditentscheidungen in Echtzeit fallen in die höchste Kategorie, während einfache interne Produktivitätswerkzeuge in der niedrigsten liegen.

Systeme mit höherem Risiko könnten strengere Beschränkungen der Autonomie, unabhängige Tests und eine menschliche Freigabe vor erheblichen Handlungen erfordern.

Das Rahmenwerk befasst sich auch mit KI-Systemen, die weiterarbeiten, während sie schädliche Entscheidungen treffen. Vorgeschlagene Schutzmaßnahmen umfassen Notbremsen (Circuit Breaker), Ratenbegrenzungen, eingeschränkte Berechtigungen und Notabschaltungen.

Diese Überlegungen sind besonders relevant für die externen Agenten, die in der früheren Berichterstattung von Axios beschrieben wurden. Dort hatten Banken Schwierigkeiten, legitime, vom Kunden autorisierte Software von Systemen zu unterscheiden, die außerhalb ihrer vorgesehenen Berechtigungen arbeiten.

Leitlinien, keine neuen Bankvorschriften

Die OCC betonte, dass das Dokument keine neuen regulatorischen Anforderungen oder durchsetzbaren Standards für Banken schafft.

Stattdessen gibt es Prüfern eine Möglichkeit, KI innerhalb bestehender Kategorien für operationelle, Compliance- und Cybersicherheitsrisiken zu bewerten. Banken müssen keine eigene KI-Risikokategorie einrichten.

Das Dokument verwendet den Begriff „Super Intelligence“, auf den die Regierung von Donald Trump besteht und der anstelle von „künstlicher Intelligenz“ verwendet werden soll. Sein Geltungsbereich umfasst jedoch konventionelle KI und „autonome Agenten“ und nicht nur hypothetische Systeme mit Intelligenz, die über menschliche Fähigkeiten hinausgeht.

Das Rahmenwerk gilt für KI, die im Zahlungsverkehr, bei der Betrugserkennung, im Kundenservice und in anderen Bankprozessen eingesetzt wird. Es erstreckt seine Risikobetrachtung auch auf externe KI-Agenten, die sich über Bankkanäle verbinden.

Die OCC erklärte, sie wolle die Leitlinie aktualisieren, sobald sich die Technologie weiterentwickelt. Vorerst ordnet ihre beispielhafte Risikoskala autonome Zahlungsagenten der höchsten Risikokategorie zu, unabhängig davon, wie gut sie in Tests abschneiden.