
In vielen Banken, Versicherungen und anderen Schweizer Finanzinstituten laufen derzeit Projekte zum Einsatz von künstlicher Intelligenz – einige davon seit Jahren, andere sind neu. Während der Bundesrat noch überlegt, wo und wie KI spezifisch reguliert werden soll, hat die FINMA ihre Erwartungen in Form von vier Leitsätzen für KI bereits definiert. Doch was bedeuten diese Leitsätze? Wir geben eine Antwort in diesem Teil 22 unserer KI-Blog-Serie.
Zunächst einmal: Trotz dem aktuellen Hype um KI ist der Einsatz von künstlicher Intelligenz in der Schweizer Finanzindustrie nicht neu. So kommen mit maschinellem Lernen trainierte Anwendungen schon seit vielen Jahren zum Einsatz, beispielsweise in der Erkennung von Geldwäscherei oder Betrug, bei Anlageentscheiden oder für Prognosen in der Versichererungsbranche. Neu sind vor allem Anwendungen basierend auf generativer KI. Sie kommen in Finanzinstituten einerseits über Werkzeuge wie "ChatGPT" zum Einsatz, aber auch verbaut in Applikationen für spezifische Anwendungen. Beispiele, die wir bei unseren Klienten sehen, sind die Protokollierung und Auswertung von Besprechungen, die Extraktion von Inhalten aus Dokumenten, die Analyse von Call-Center-Gesprächen, das Zusammenfassen von News oder die automatisierte Analyse und Gestaltung von Verträgen.
"Aufsichtserwartungen" und Kontrollen
Diese Aktivitäten sind natürlich auch der FINMA nicht entgangen. Sie hat sich bereits im November 2023 in ihrem "Risikomonitor 2023" zu den Herausforderungen von KI geäussert und ihre Aufsichtserwartungen an Schweizer Finanzinstitute formuliert. Es sei zu erwarten, dass KI auch im Finanzmarkt diverse Veränderungen mit sich bringen werde, schreibt sie darin. In ihrem "Geschäftsbericht 2023" hält sie etwas später fest, die Autonomie und die Komplexität von KI-Systemen würden verschiedene Risiken bergen. Sie nannte die Gefahr, dass von KI erzeugte Ergebnisse von Menschen nicht verstanden werden oder erklärt werden können, dass sich unbemerkt Fehler oder eine Ungleichbehandlung einschleichen oder dass Verantwortlichkeiten ungeklärt sind. Sie führt bereits seit Ende 2023 Vor-Ort-Kontrollen und Aufsichtsgesprächen zu diesem Thema mit Finanzinstituten durch und will das weiterhin tun.
Finanzinstitute, die KI einsetzen, müssen also damit rechnen, von der FINMA dazu befragt und kontrolliert zu werden und darlegen zu müssen, wie sie KI-spezifische Risiken erfassen, begrenzen und überwachen. Sie werden zeigen müssen, wie sie die "Aufsichtserwartungen" der FINMA umsetzen. Diese bestehen aus folgenden vier Leitsätzen:
- Es müssen klare Rollen und Verantwortlichkeiten sowie Risikomanagementprozesse definiert und implementiert werden. Die Verantwortung für Entscheidungen kann nicht an KI oder Drittparteien delegiert werden. Alle Beteiligten müssen über genügend Know-how im Bereich KI verfügen.
- Bei der Entwicklung, der Anpassung und in der Anwendung von KI ist sicherzustellen, dass die Ergebnisse hinreichend genau, robust und zuverlässig sind. Dabei sind sowohl die Daten als auch die Modelle und die Resultate kritisch zu hinterfragen.
- Die Erklärbarkeit der Resultate einer Anwendung sowie die Transparenz über deren Einsatz sind je nach Empfänger, Relevanz und Prozessintegration sicherzustellen.
- Nicht begründbare Ungleichbehandlung ist zu vermeiden.
Während einige dieser Erwartungen Altbekanntes definieren, werfen andere Elemente dieser Leitsätze Fragen auf, wie sie gemeint sind und umgesetzt werden können. Damit befassen wir uns in der Folge. Die Ausführungen stammen aus unserem Verständnis der Materie, unseren Erfahrungen aus konkreten Fällen und Gesprächen. Die FINMA hat ihre Leitsätze über den Risikomonitor 2023 öffentlich bisher nicht weiter ausgeführt. Sie führt jedoch regelmässig Gespräche mit einzelnen Finanzinstituten, in welchen die Thematik weiter vertieft wird. Hierbei ist zu beachten, dass der von der FINMA selbst gewählte Begriff der "Aufsichtserwartungen" zwar einen formellen Charakter suggerieren mag, die Leitsätze jedoch weder einer Aufsichtsmitteilung noch in einem Rundschreiben entstammen und daher weniger verbindlich sind. Ein Institut kann mit dem Thema also auch anders umgehen. Wichtig ist jedoch unseres Erachtens, dass sich die Finanzinstitute mit dem Thema auseinandersetzen, und zwar so, dass sie einen vernünftigen Plan zum Umgang mit den mit KI verbundenen Risiken haben. Dann können sie auch ohne die Leitsätze der FINMA zu übernehmen etwaige kritische Fragen der FINMA beantworten.
Leitsatz Nr. 1: Governance und Verantwortlichkeit
Dieser Leitsatz besteht aus drei unterschiedlichen Elementen, die nicht unbedingt eng zusammengehören. Zunächst einmal wird festgehalten, was eine saubere Governance der Compliance und Risiken in einem Unternehmen immer verlangt: Es müssen die Aufgaben, Kompetenzen und Verantwortlichkeiten (sog. AKV) festgelegt werden, d.h. es muss auch in Bezug auf den Einsatz von KI klar sein, welche Stellen (vorzugsweise Personen, nicht Gremien) sich um welche Aspekte kümmern, wie sie dies zu tun haben und wer für den jeweiligen Erfolg bzw. Zielerreichung (z.B. Einhaltung der Compliance) verantwortlich ist. Da KI letztlich eine nur von mehreren möglichen Ausprägungen der Informatik ist (KI meint rechtlich ein System, bei dem nicht nur Menschen programmiert haben, wie aus Input ein Output entsteht, sondern wo dies teilweise nur auf Basis eines Trainings erfolgt), können die AKV für KI oft im Rahmen der schon bestehenden Weisungen, Prozesse und weiteren Governance-Massnahmen abgebildet werden oder sind es schon. Weil KI aber ein starkes interdisziplinäres Element aufweist und neue Perspektiven erfordert, sehen wir viele Unternehmen, welche die AKV und weiteren Vorgaben für den Einsatz von KI separat regeln, z.B. in einer Weisung für KI. Eine solche separate KI-Weisung bietet auch kommunikative Vorteile. Wir verweisen hier im Übrigen auf unseren Blog Post Nr. 5.
Vorliegend wichtiger erscheint uns die Aussage der FINMA, dass "[d]ie Verantwortung für Entscheidungen … nicht an KI oder Drittparteien delegiert werden" kann. Auf den ersten Blick klingt das wie Selbstverständlichkeit: Ein Finanzinstitut bleibt auch dann verantwortlich für seine Geschäftsführung, wenn es Funktionen an Dritte auslagert. Das war im Outsourcing schon immer so, und muss erst recht gelten, wenn eine Maschine benutzt wird, die vom Finanzinstitut selbst betrieben wird. Dass die FINMA dies trotzdem erwähnt, hat mit der Befürchtung zu tun, dass sich die in den Instituten für Entscheide verantwortlichen Personen faktisch trotzdem selbst aus der Verantwortung nehmen könnten, wenn Entscheide durch die KI getroffen werden. Diese Gefahr sieht sie – nebst dem Risiko von mangelnder Qualität (dazu Leitsatz Nr. 2) und nicht nachvollziehbarem Verhalten (dazu Leitsatz Nr. 3) – vor allem dort, wo Fehler der KI unbemerkt bleiben, die Prozesse so komplex werden, dass nicht mehr klar ist, wer wofür zuständig ist, oder wo schlicht das Know-how fehlt, weil die Systeme zu komplex geworden sind. Auch die Eigenheit von KI-Systemen, das Element der "Autonomie" (nicht mehr jeder Entscheid wird vorprogrammiert werden, sondern es wird "nur" noch trainiert), kann zu diesen Risiken beitragen.
Es geht der FINMA sowohl um vollautomatisierte Entscheide, für die sich niemand verantwortlich fühlt, als auch um solche von Menschen auf Basis von KI-Ergebnissen, deren Fehler sie aber nicht erkennen, ob wegen Nachlässigkeit oder Unvermögen. Das hat mittelbar auch Auswirkungen auf die Aufsicht durch die FINMA, etwa weil sie selbst nicht mehr wirksam kontrollieren kann, wie ein Finanzinstitut zu bestimmten Entscheiden gekommen ist, weil sich niemand findet, der ihr diesbezüglich gesamthaft "Red' und Antwort" steht. Sie will weder, dass die "Schuld" an Fehlern der KI abgeschoben werden kann, noch dass die Institution nicht mehr das nötige Know-how hat, wichtige Entscheide entweder auch ohne KI zu treffen oder nachvollziehen und nötigenfalls übersteuern zu können. Ein Finanzinstitut soll sich in relevanten Bereichen also nicht auf ein Werkzeug oder eine Technik verlassen, das bzw. die sie selbst nicht versteht. Die FINMA erwähnt im Risikomonitor zwar generative KI (d.h. "ChatGPT") explizit als Beispiel, aber die Problematik betrifft genauso deterministische bzw. prädiktive KI (wie sie z.B. bei AML-Prüfungen zum Beispiel teilweise schon seit einiger Zeit eingesetzt wird), wenn nicht sogar faktisch noch mehr, weil sie in wichtigeren Anwendungen zum Einsatz kommt, wo Fehler entsprechend höhere Auswirkungen haben können (wie etwa beim Einsatz von KI für das Risikomanagement oder die Bekämpfung von Geldwäscherei).
Interessant ist aber auch, was die FINMA in ihrem Leitsatz Nr. 1 nicht erwähnt und damit e contrario offenbar nicht erwartet: Dass Entscheide nur von Menschen getroffen werden. Es ist mit anderen Worten möglich, Entscheide durch die KI treffen zu lassen. Das heisst: KI darf für oder zur Unterstützung von Entscheidungen eingesetzt werden, solange jemand in der Bank, der solche Entscheide treffen darf, den Einsatz der KI tatsächlich kontrolliert und für diesen auch "den Kopf hinhält" – und zwar Ende-zu-Ende, nicht nur für einzelne Komponenten. Wird also KI benutzt, um Anlageentscheide zu treffen, so muss jemand aus dem Bereich, wo solche Entscheide normalerweise getroffen werden, dafür verantwortlich bleiben. Diese Person soll wissen, dass sie sich bei Problemen nicht hinter der IT verstecken kann oder dem Lieferanten der KI, weil diese einen Mangel hatte.
Die Haltung der FINMA ist grundsätzlich richtig: Es wird immer mehr Bereiche geben, in denen es geradezu angemessen ist, Computer entscheiden zu lassen, auch basierend auf einer Mustererkennung, weil menschliche Entscheide relevante Nachteile mit sich bringen können. Transaktionen können unter Umständen von einer Maschine wesentlich besser auf Anzeichen für Geldwäscherei, Sanktionsverstösse oder Betrug geprüft und nötigenfalls gestoppt werden. Dem Ziel werden wir hier darum mit maschinellen Entscheiden, jedenfalls in einem ersten Schritt, möglicherweise wesentlich besser gerecht. Dass Fehler geschehen, spielt dabei keine Rolle, denn sie unterlaufen auch Menschen. Entscheidend ist, dass insgesamt eine angemessene Qualität abgeliefert wird. Wir können dies mit der Zulassung von Arzneimitteln vergleichen: Auch sie haben Nebenwirkungen, aber wenn der Gewinn hinreichend ist und das Verhältnis stimmt, lassen wir sie zu. Das Problem besteht in der Praxis vor allem darin, dass uns in Bezug auf bestimmte Ausprägungen von KI, so etwa dem Einsatz von grossen Sprachmodellen, teilweise noch etwas Erfahrung fehlt, oder wir uns teilweise von der vorgespiegelten Qualität des Outputs täuschen lassen. Zu diesem Thema gehört schliesslich auch das dritte Element von Leitsatz Nr. 1, nämlich dass alle Beteiligten über genügend Know-how im Bereich KI verfügen müssen. Hier sehen wir in der Praxis einige Defizite. Zwar haben viele Unternehmen mit ihren Mitarbeitenden inzwischen Einführungen zu generativer KI und Tools wie "ChatGPT" gemacht, die meisten dieser Aktivitäten fokussieren aber auf den rechtskonformen Einsatz solcher Werkzeuge im persönlichen Bereich. Ein "Prompting"-Workshop mag durchaus einen guten Einblick in die Möglichkeiten, Grenzen und gewisse Risiken von generativer KI liefern. Auch die in der Anfangszeit eines Hypes immer beliebten "Angstmach"-Vorträge zum Thema KI können sensibilisieren (wir haben davon allerdings immer Abstand genommen). Die Erwartung der FINMA punkto Know-how geht aber zurecht deutlich darüber hinaus. Hier geht es zum einen um Know-how darüber, wie KI tatsächlich funktioniert, d.h. für welche Anwendungen welche Methoden der KI wie eingesetzt werden können, welche technischen und organisatorischen Massnahmen existieren, um KI-spezifische Risiken zu adressieren, usw.
Zum anderen geht es darum zu verstehen, welche KI-spezifischen Risiken der Einsatz von KI für das Institut insgesamt birgt, und zwar finanzieller, operativer, reputativer und rechtlicher Art. Es genügt nicht, wenn die Mitarbeitenden wissen, wo "ChatGPT" ein Problem sein könnte. Es genügt auch nicht, wenn die KI-Experten eines Instituts wissen, was sie tun. Auch die oberste Leitung des Instituts muss verstehen, auf was und welche Risiken sie das Institut beim Einsatz von KI einlässt. Die Mitglieder der Geschäftsleitung und des Verwaltungsrats müssen auch in Bezug KI beschreiben können, was die KI-spezifischen Risiken für das Institut sind und wie es damit umgeht, und sie müssen sich Gedanken darüber gemacht haben, was sie bereit sind zu akzeptieren, bevor entsprechende Projekte und Initiativen abgesegnet werden. Dies bedeutet wiederum, dass sie Grundverständnis dafür haben müssen, was KI überhaupt ist, wo die Schwachstellen und die Stärken liegen, welche Ansätze im Umgang es damit gibt. Es geht um das Verständnis, was KI dem Finanzinstitut wirklich bring, und was nicht, und in welchen Anwendungen sie zum Einsatz kommt.
Das alles muss auf dieser Ebene natürlich nicht in jedes Detail gehen und es darf und wird von Fachpersonen vorbereitet werden, aber ein Grundverständnis über die KI-spezifischen Risiken aus Sicht des Gesamtinstituts muss unseres Erachtens da sein, und so verstehen wir auch die FINMA. Die Leitungsorgane müssen ein gutes Gefühl für das Thema haben, ohne Panikmache und ohne die Leistungsfähigkeit von KI zu übertreiben. Nach unserer Erfahrung fehlt solches noch häufig, was mitunter damit zu tun hat, dass – ausser mit den genannten "ChatGPT"-Workshops und "Angstmach"-Vorträgen – die KI-Risiko-Ausbildung auf C-Level und für den VR nach unserer Erfahrung tendenziell zu kurz kommt; das hat dazu geführt, dass inzwischen wir auch im Bereich Kaderausbildung tätig sind, obwohl dies nicht in unserem typischen Tätigkeitsbereich liegt.
Die Notwendigkeit zum Umgang mit KI-spezifischen Risiken erklärt denn auch das letzte Element von Leitsatz Nr. 1, die Definition und Implementierung von Risikomanagementprozessen. Auch das ist nichts Neues. Eine Herausforderung ist für viele Institute die Erweiterung ihrer bisherigen Risikolandkarten und -kataloge um KI-spezifische Risiken. Das ist allerdings nur eine Frage der Zeit. Wir haben hierzu ebenfalls Hilfsmittel entwickelt, die als Open-Source kostenlos zur Verfügung stehen und bereits von etlichen Unternehmen, darunter auch Banken und Versicherungen, eingesetzt werden (siehe unser Werkzeug GAIRA und Blog Post Nr. 4). Hierzu gehört auch ein Vorschlag, wie KI-Vorhaben nach ihrer Risikoexposition für ein Unternehmen klassifiziert werden können, weil nicht jede KI-Anwendung gleich riskant ist (dazu Blog Post Nr. 20).
Den risikobasierten Ansatz vertritt übrigens auch die FINMA in ihren Leitsätzen. Es geht primär um Anwendungen mit entsprechend hohen Risiken: Was passiert, wenn die KI einen groben Fehler macht oder nicht funktioniert? Wieviele Kunden wären betroffen und wie? Was wären die finanziellen Auswirkungen? Welchen Einfluss hätte das auf die Einhaltung der gesetzlichen Anforderungen?
Leitsatz Nr. 2: Robustheit und Zuverlässigkeit
Hier wird einerseits ein angemessenes Qualitätsmanagement in Bezug auf KI-basierte Komponenten und Systeme verlangt und andererseits implizit die Erwartung formuliert, dass KI-Systeme erst dann autonom zum Einsatz kommen, wenn diese hinreichend zuverlässig sind und dies letztlich auch nachzuweisen ist.
Die FINMA macht sich insbesondere Sorgen, dass KI-Systeme zum Einsatz kommen, die falsche oder aus anderer Sicht nicht akzeptable Ergebnisse liefern, weil sie mit fehlerhaften oder nicht repräsentativen Daten trainiert worden sind oder sich nach deren Produktivsetzung die Umstände derart ändern, dass ihr Output nicht mehr passt, etwa weil das Modell nicht nachgeführt worden ist (sog. Concept Drift). In der Tat können insbesondere die überzeugend gestalteten Outputs generativer KI in der Praxis dazu führen, dass ihre inhaltliche Qualität überschätzt wird. Es kann also nicht zu Fehlern oder Verzerrung (Bias) des Outputs kommen, sondern auch einem Bias in Bezug auf die Annahme der Richtigkeit der KI – es wird ihr mit anderen Worten zu sehr vertraut, selbst wenn ein Mensch das Ergebnis kontrolliert (sog. AI overreliance). So kann ein grosses Sprachmodell problemlos gefragt werden, wie wahrscheinlich eine zuvor generierte Antwort den Fakten entspricht. Es wird eine Antwort liefern. Wie die empirische Forschung allerdings zeigt, sind diese Antworten äusserst unzuverlässig, weil das Modell zwar mit Wahrscheinlichkeiten arbeitet, wenn es Text erzeugt, es diese Wahrscheinlichkeiten aber nicht in den eigenen Text übernehmen kann. Diese Dinge sind der Antwort jedoch nicht anzusehen – sie wirkt überzeugend und selbstkritisch.
Nebst dem Risiko mangelhafter Trainingsdaten und sich verändernder Umstände sollten Institute sich aber auch die Grenzen der von ihnen jeweils verwendeten Techniken selbst bewusst sein. Das gilt auch für prädiktive KI, wie sie beispielsweise zur Vorhersage von Finanzparametern verwendet werden kann. So hat jedes Verfahren des Machine Learnings seine Vorteile, Nachteile und Einsatzgebiete, die gekannt werden müssen. So kann eine bestimmte Methodik zur Prognose bestimmter Werte in seinen Normalbereichen zuverlässig funktionieren, bei extremeren Inputs oder bestimmten Kombinationen jedoch versagen – ohne, dass dies dem Output anzusehen ist. Wer sie einsetzt, muss diese Grenzen kennen und damit umgehen können.
Ferner sieht die FINMA KI-Systeme als neues Einfalltor für Cyberangriffe, dem entgegengewirkt werden muss. Für diese Erwartung hat sie auch allen Grund, erlauben insbesondere Systeme generativer KI neue Formen von Angriffen (siehe dazu unser Blog Post Nr. 6). Dies bedeutet für Finanzinstitute häufig eine doppelte Herausforderung: Sie müssen erstens sicherstellen, dass die Informationssicherheit in klassischer Weise sichergestellt ist; viele der neuen KI-Anwendungen kommen in der Cloud zum Einsatz, in Bezug auf welche manche Finanzinstitute (und ihre Provider) erst noch Erfahrung sammeln. Zweitens erfordern die neuen Angriffsformen neue Abwehrmassnahmen. So nutzt ein EDR- oder eine Firewall nichts gegen einen Angriff via Prompt Injection, bei welchem ein entsprechend formulierter Befehl an einen für alle frei zugänglichen Chatbot diesen dazu bringt, seine Sicherheitsprotokolle ausser Kraft zu setzen.
Wenn also ein Finanzinstitut einen Chatbot für Kundenanfragen realisieren will, muss es darauf achten, dies auf einem sorgfältig ausgewählten Modell zu tun, ihn ausgiebig mit Erfolg testen (auch auf missbräuchliche Nutzungen hin) und nach Lancierung laufend überwachen, (z.B. um zu erkennen, wenn das Modell "nachgeeicht" werden muss oder es zu Missbräuchen kommt). Wird KI zur Erkennung von problematischen Transaktionen benutzt, so sind KPIs des Modells zu definieren (z.B. Accuracy, Precision, Recall) und regelmässig zu messen, damit Korrekturmassnahmen rechtzeitig eingeleitet werden können. Ist ein Finanzinstitut in der Lage, Ausreisser bzw. gröbere Fehler im Output seiner KI zu entdecken?
Leitsatz Nr. 3: Transparenz und Erklärbarkeit
Der Leitsatz Nr. 3 kombiniert zwei Themen, die an sich nur beschränkt etwas miteinander zu tun haben. Beide haben aber gemeinsam, dass es um klassische KI-Schlagworte geht: Sie zu fordern klingt auf den ersten Blick einleuchtend, aber bei näherer Betrachtung zeigt sich, dass sie in der Sache nicht unbedingt weiterführen.
Zunächst einmal verlangt die FINMA, dass der Einsatz von KI transparent erfolgt. Das ist richtigerweise nicht nach dem Giesskannenprinzip umzusetzen, sondern risiko- und adressatengerecht, wie auch die FINMA festhält. Dabei geht es ihr vor allem um die Transparenz gegenüber den Kundinnen und Kunden, weniger um andere Marktteilnehmer oder Mitarbeitende. Die Kundinnen und Kunden sollen dadurch in die Lage versetzt werden, die sie betreffenden Risiken beim Einsatz von KI einschätzen können, weil sie wissen (können), wo und wie KI sie betreffend genutzt wird.
Daran ist an sich nichts auszusetzen. Die Realität ist allerdings, dass Transparenz im Bereich der KI meist entweder eine blosse Pflichterfüllung oder aber eine Alibiübung für das gute Gewissen ist, sie aber in beiden Fällen nur beschränkt positive Wirkung hat. Die Erfahrung haben wir alle schon im Zusammenhang mit Datenschutzerklärungen gemacht: Unternehmen informieren heute sehr viel umfassender als noch vor fünf oder zehn Jahren über ihre Datenbearbeitungen (weil sie müssen), und doch wissen die betroffenen Personen nicht wirklich, was mit ihren Daten geschieht, selbst wenn sie sich dafür interessieren und die Datenschutzerklärungen lesen, was kaum jemand tut. Zudem fühlen sie sich regelmässig ohnmächtig: Sie erfahren zwar andeutungsweise, was mit ihren Daten geschieht, aber wirklich etwas dagegen tun können sie nicht.
Das ist im Bereich von KI kaum anders: So erwartet die FINMA, dass wenn eine KI einem Kunden dessen Fragen direkt beantwortet, sie ihm persönliche Anlageentscheide vorschlägt oder sie sein Zahlungsverhalten zwecks Betrugsbekämpfung überwacht, er wissen soll, dass sie es tut und auf welcher Basis. Er wird darum zum Beispiel wissen, dass seine Zahlungen nach verdächtigen Mustern gescannt werden. Wie das aber im Einzelnen funktioniert, wird er nicht verstehen, und es wird ihm auch nicht vernünftigerweise vermittelt werden können. Er wird seine Risiken nicht mehr und nicht weniger einschätzen können, als wenn hierfür keine KI benutzt würde, und sein Verhalten sinnvoll danach ausrichten können wird er auch nicht. Weiss er, dass der Anlageentscheid von einer KI statt einem Menschen kommt, mag dies eine für ihn subjektiv wichtige Information sein, aber eine verlässliche Aussage etwa zur Qualität der Auskunft wird ihm dies nicht ermöglichen – wird Leitsatz Nr. 2 befolgt, dürfte es auch keinen Unterschied ausmachen.
Das Transparenzgebot wird somit dazu führen, dass Finanzinstitute speziell darüber informieren werden, wenn Kunden es mit trainierten statt programmierten Algorithmen zu tun haben. An deren Einsatz wird dies aber nichts ändern. Die FINMA geht allerdings nicht so weit wie der Eidg. Datenschutz- und Öffentlichkeitsbeauftragte, der Transparenz über jeden Einsatz von KI verlangt. Die FINMA erwartet eine solche offenkundig nur dort, wo der Kunde mit ihr unmittelbar in für sie relevanter Weise konfrontiert wird. Hilft die KI dem Berater seine Mails besser zu formulieren oder zu übersetzen, braucht darüber nicht informiert zu werden. Beantwortet ein Bot die Anfrage ohne menschliche Intervention, soll das hingegen klar sein. Wie informiert werden kann und welche Transparenz im Bereich KI erforderlich ist, haben wir in Blog Post Nr. 16 ausführlich erläutert, mit einer Muster-KI-Erklärung.
Pro memoria: Art. 17 FIDLEG verlangt die Einhaltung von Treu und Glauben bei der Bearbeitung von Kundenaufträgen, was auch die Transparenz beinhaltet. Art. 8 FIDLEG wiederum verlangt, dass Kundinnen und Kunden bestimmte Informationen über Finanzdienstleistungen (wie z.B. Anlageberatung) erhalten. Das umfasst nach Art. 7 Abs. 1 FIDLEV Angaben zur Art der Finanzdienstleistung, ihren Wesensmerkmalen und Funktionsweisen. Daraus kann sich eine konkrete Pflicht ergeben, über KI zu informieren. Nicht jeder Einsatz von KI ist jedoch speziell; KI kommt heute schon an vielen Orten zum Einsatz, ohne dass jemand auf die Idee käme, diesbezügliche Transparenz zu verlangen. Auch dazu verweisen wir auf unseren Blog Post Nr. 16.
Das zweite Thema der FINMA, die Erklärbarkeit der Resultate von KI, ist ebenfalls mit gewisser Vorsicht zu geniessen und nicht wortwörtlich zu nehmen. Zunächst einmal ist es naheliegend zu fordern, dass Resultate einer KI, die für einen Entscheid genutzt werden, erklärbar sein sollen. Niemand will einer Black Box vertrauen. Nun ist es allerdings so, dass bei einigen der fortgeschrittenen Methoden der KI wir schlicht nicht in der Lage sind zu erklären, warum ein spezifisches Ergebnis genau so erzielt worden ist, wie es ist. Wir sind in der Lage, solche Systeme zu bauen, wir verstehen ihre Wirkungsweise im Grundsatz, lernen ihre Verhaltensweise durch empirische Forschung zusehends kennen. Wirklich in allen Tiefen verstehen tun wir aber beispielsweise grosse Sprachmodelle nicht. Wir haben uns dazu – auch zur Funktionsweise – in unserem Blog Post Nr. 17 ausführlich geäussert. Bei anderen Verfahren des maschinellen Lernens könnten wir zwar im Prinzip jeden Entscheid bis ins letzte Detail nachvollziehen, aber das kann so viele Entscheidschritte bzw. Berechnungen umfassen, dass dies nicht mehr praktikabel ist. Darum ist die Erklärbarkeit der Resultate im wahrsten Sinn des Wortes Wunschdenken, jedenfalls bei bestimmten KI-Verfahren. Das ändert auch die Forderung der FINMA nicht. Sie wird vielerorts gefordert, was aber nicht bedeutet, dass sie sich auch so wie ausgedacht umsetzen lässt.
Wir müssen die Vorgabe somit entsprechend auslegen und zurechtrücken, um sie sinnvoll umsetzen zu können. Zunächst einmal ist sich die FINMA der Problematik natürlich selbst auch bewusst. Sie weiss, dass aufgrund der Vielzahl an Parametern und der Komplexität von KI-Modellen der Einfluss der einzelnen Parameter auf das Ergebnis von uns Menschen jedenfalls heute nicht nachvollzogen werden kann. Sie sieht aber das Risiko, dass ohne Verständnis, wie eine KI zu einem bestimmten Ergebnis kommt, eine darauf basierende Entscheidung eines Finanzinstituts ebenfalls nicht mehr erklärbar ist. Sind Entscheide eines Instituts nicht mehr erklärbar, können sie auch nicht sinnvoll überprüft werden – und die Prüfgesellschaften und die FINMA können ihren Aufsichtspflichten nicht mehr nachkommen. Um diese Befürchtung geht es auch schon bei Leitsatz Nr. 1. Von der FINMA nicht erwähnt, aber ebenso relevant ist, dass auch das Institut selbst etwaige KI-gestützte Entscheidfindungen nicht mehr wirklich kontrollieren kann, wenn es nicht weiss, warum Entscheide so getroffen werden, wie sie es werden – quasi vom Orakel von KI.
Die Erklärbarkeit der Resultate einer (KI-)Anwendung soll somit sicherstellen, dass Entscheide auf der Basis von KI nachvollziehbar und damit überprüfbar bleiben. In diesem Sinne verstanden bedeutet Erklärbarkeit nicht, dass ein Finanzinstitut verstehen muss, warum und auf welchem Weg eine KI zu einem bestimmten bzw. jedem einzelnen Resultat gekommen ist. Es genügt, wenn das Resultat sich auf irgendeine Weise nachvollziehen und bestätigen lässt, auch wenn die Erklärung auf dem Wege einer Alternativbegründung erfolgt. Wesentlich ist also die Validierung des Resultats. Es geht um die Frage, ob das Resultat logisch Sinn macht. Wir Menschen funktionieren nicht anders: Wenn wir eine bestimmte Art von Gegenstand erkennen, können wir auch nicht erklären, warum wir sofort wissen, worum es geht. Wir können aber nachträglich herleiten, warum der Gegenstand das ist, was uns spontan klar war – auch wenn wir dies auf andere Weise tun, als unser Gehirn dies instinktiv tat.
Um dies sicherzustellen, kann ein Finanzinstitut beispielsweise ermitteln, was den Output einer KI bestimmt, d.h. welche Aspekte im Input die Treiber in Bezug auf den Output sind. Es kann insbesondere bei prädiktiver KI eine sog. Sensitivitätenanalyse durchgeführt werden, um festzustellen, wie empfindlich die Ergebnisse eines Modells auf Änderungen der Eingangsvariablen reagieren. So kann verstanden werden, welche Variablen den grössten Einfluss auf das Modell haben und wie Unsicherheiten in den Eingabedaten die Vorhersagen beeinflussen. Auf diese Weise kann die Robustheit und Zuverlässigkeit eines Modells bewertet werden und die wichtigsten Einflussfaktoren können identifiziert werden. Dadurch können Modelle nicht nur optimiert, sondern auch besser verstanden werden.
Wenn also eine KI zur Betrugsbekämpfung eingesetzt wird und sie eine von ihr überwachte Kartentransaktion eines Kunden als verdächtig blockiert, stellt sich die Frage, ob die Bank versteht, welche Muster dafür verantwortlich waren, um zu überprüfen, ob die Sperre zu Recht erfolgte und den Entscheid nachvollziehen kann. Ist dies nicht ohne weiteres möglich, kann die Bank alternativ zeigen, dass die Umstände auch bei separater Betrachtung eine Sperre rechtfertigt hätten. Das muss nicht zwingend bei jeder Sperre so sein, weil eine gewisse Toleranz bei unscharfen Bewertungen naturgemäss gegeben sein muss, aber die KI sollte genügend häufig zu einem Ergebnis kommen, das sich rechtfertigen lässt. Um dies herauszufinden, könnte beispielsweise die Sensitivität des KI-Modells gegenüber sehr hohen und sehr tiefen Transaktionsbeträgen als Treiber für verdächtige Aktivitäten geprüft werden, ebenso hinsichtlich anderer Parameter. Durch systematische Variation von extremen Fälle könnte festgestellt werden, wie das Modell reagiert – und ob dies nachvollziehbar ist.
Bei generativer KI können beispielsweise Quellenangaben im Output zur Erklärbarkeit beitragen, wenn die KI auf Information aus bestimmten Datenbanken (sog. Retrieval Augmented Generation) zurückgreift. Es kann so nachvollzogen werden, woher eine bestimmte Antwort kommt, auch wenn der Benutzer womöglich nicht herausfinden kann, warum die KI gerade diesen Inhalt gewählt hat. Die Antwort wird er aber einordnen können.
Ein KI-Resultat ist also dann "erklärbar", wenn es unabhängig von der KI validiert oder gerechtfertigt werden kann. Es wurde in diesem Zusammenhang sogar vorgeschlagen, dass der Grundsatz der Erklärbarkeit erfüllt sein sollte, wenn das Resultat einer KI durch eine andere, auf anderer Basis trainierte KI validiert werden kann.
Leitsatz Nr. 4: Gleichbehandlung
Eine nicht begründbare Ungleichbehandlung aufgrund des Einsatzes von KI soll vermieden werden. Diese Vorgabe geht etwas weniger weit, als es auf den ersten Blick erscheinen mag. Hierzu müssen wir uns bewusst sein, dass das Schweizer Recht kein generelles Diskriminierungsverbot im privaten Bereich kennt. Es gibt dieses nur in bestimmten Bereichen (z.B. am Arbeitsplatz). Hinzu kommt, dass Ungleichbehandlungen bei Finanzinstituten, etwa bei der Vergabe von Krediten, normal sind. Es gibt keinen Anspruch auf Kredit, und keinen Anspruch auf dieselben Konditionen. Der Gleichbehandlungsgrundsatz gilt nur in engen Konstellationen, so bei der Bearbeitung von Kundenaufträgen (Art. 17 FIDLEG).
Daran soll auch der Einsatz von KI (vorderhand) nichts ändern. Der Leitsatz ist entsprechend weich formuliert: Die Vermeidung von Ungleichbehandlung durch KI soll sicherstellen, dass die fehlende Ausgewogenheit eines KI-Systems nicht zu einseitigen Ergebnissen führt und damit Personengruppen ungewollt diskriminiert werden. Sollen also Kunden mit hohem Potenzial auf Basis ihrer Daten von einer KI selektioniert werden, um ihnen spezielle Angebote zu unterbreiten, so muss durch sorgfältig kuratiertes Trainingsmaterial, Tests und weitere Massnahmen sichergestellt werden, dass z.B. Frauen oder bestimmte Nationalitäten nicht automatisch schlechter bewertet werden, weil für das maschinelle Lernen auf einseitige Datensätze zurückgegriffen worden ist.
Das Finanzinstitut darf Personengruppen mittels KI bevorzugen oder benachteiligen, aber es muss dies aufgrund eines bewussten Entscheids tun. Dies der KI bzw. dem Zufall überlassen ist nicht zulässig. Eine KI soll also in Finanzinstituten keine subjektiven Entscheide treffen und nicht aus eigenem Antrieb oder Unvermögen diskriminieren.
Umsetzung in den Finanzinstituten
Es gibt keine Übergangsfrist zur Umsetzung dieser Leitsätze, was sich schon daraus ergibt, dass sie nicht verbindlich sind. Dennoch bringen sie eine Erwartungshaltung der FINMA zum Ausdruck und konkretisieren für den Einsatz von KI allgemeine Grundsätze, wie sie regulierte Finanzinstitute nach Ansicht der FINMA auch ohne die von ihr vorformulierten Leitsätze einzuhalten haben (auch wenn nicht überall klar ist, was die gesetzlichen Grundlagen sind).
Dies heisst konkrete, dass Institute die üblichen Massnahmen zur Governance zu treffen haben, wie etwa das Erlassen von entsprechenden Weisungen, die Festlegung von AKV und die Implementierung von Compliance-Prozessen.
Weiter sollten sie sich Gedanken dazu machen, wie sich die Leitsätze der FINMA (oder eigene Leitsätze) im Rahmen der Realisierung und Prüfung von konkreten KI-Vorhaben operationalisieren können. Nicht im Grundsatz, sondern der konkreten operativen Umsetzung liegt die Herausforderung. Vorhaben mit KI wird es bei vielen Finanzinstituten bereits geben, d.h. es besteht Handlungsbedarf. Erst wenige Institute haben sich allerdings nach unserer Erfahrung mit der konkreten Umsetzung diesen Aufsichtserwartungen näher auseinandergesetzt, und auch haben einige Institute nach unserer Erfahrung noch keinen wirklichen Überblick über alle relevanten KI-Aktivitäten.
Wir empfehlen daher in einem ersten Schritt neben entsprechenden Weisungen vor allem ein "Map & Track" der relevanten Anwendungen durchzuführen, d.h. eine Erhebung der Anwendungen, in denen KI in relevanter Weise zur Anwendung kommt. Diese Anwendungen sollten in einem zweiten Schritt nach einem auf das jeweilige Institute abgestimmte Risikoskala eingeteilt und schliesslich risikoorientiert beurteilt werden.
Es wird zudem nicht bei den "Aufsichtserwartungen" der FINMA bleiben: Bis Ende Jahr (oder Anfang 2025) wird der Bundesrat in einer Auslegeordnung darlegen, wo er weiteren Anpassungsbedarf für das Schweizer Recht in Sachen KI sieht. Ferner sollten sich Finanzinstitute auf die Geltung des EU AI Acts vorbereiten (siehe dazu unser Blog Post Nr. 7). Dieser hat eine extraterritoriale Wirkung, namentlich in den Fällen, in denen der Output einer KI bestimmungsgemäss auch in der EU verwendet wird. Dabei erwartet die FINMA von Schweizer Finanzinstituten, dass sie den AI Act einhalten, soweit er auf KI-Vorhaben dieser Institute angewendet werden will.
Wir unterstützen Sie bei allen Fragen zu Recht und Ethik beim Einsatz von künstlicher Intelligenz. Wir reden nicht nur über KI, sondern setzen sie auch selbst ein. Weitere Hilfsmittel und Publikationen von uns zum Thema finden Sie hier.