Teil 5: KI-Governance im Unternehmen – wer ist verantwortlich?

Hier anklicken für die KI-Governance

Wie Unternehmen vorgehen sollten

In der Sache sollte sich ein Unternehmen mindestens mit folgenden drei Themen auseinandersetzen, um den Einsatz von KI punkto Governance jedenfalls im Bereich der Compliance in den Griff zu bekommen:

• Vorgaben (Teil 1): Vorgaben gibt es gesetzlicher und übergesetzlicher Natur. Erstere sind vorgegeben, über letztere – typischerweise ist von "Ethik" die Rede – muss das Unternehmen selbst entscheiden. Jedes Unternehmen wird seine eigenen ethischen Prinzipien definieren müssen; es gibt hier keinen universellen und für alle passenden Satz an Vorgaben. Für unsere Klienten haben wir die "11 Grundsätze " entwickelt, die wir in Teil 3 unserer Serie bereits vorgestellt haben und die eine Basis für eine umfassende Diskussion darüber sein können, welche Vorgaben ein Unternehmen für sich entwickeln will, um den Einsatz von KI in der Sache selbst und organisatorisch zu regeln; sie decken das ganze Spektrum der heute üblicherweise adressierten Themen ab. Hier besteht der Prozess der konkreten Umsetzung für das Unternehmen darin, in einem ersten Schritt jene Grundsätze festzulegen, an die das Unternehmen sich halten möchte. Unter Grundsätzen verstehen wir neben der Regelung der eigenen Organisation und der Verfahren zum Umgang mit KI (siehe nachfolgend) einerseits Verbote und Gebote jeweils mit Ausnahmen (Beispiel: Wie weit wollen wir bezüglich KI-Einsatz transparent sein?) und andererseits Leitlinien, wie Vorgaben umgesetzt und beurteilt werden können (Beispiel: Was ist der Qualitätsmassstab, den wir an ein LLM stellen? Wann ist es für uns hinreichend erklärbar?). Gerade der zweite Punkt ist in der Praxis oftmals eine Herausforderung. 
• Vorgaben (Teil 2): Viele Organisationen befinden sich jetzt noch in einer Orientierungsphase, wo sie keinen wirklichen Plan, ja nicht einmal eine klare Vorstellung der Thematik, ihrer Facetten und ihrer Tragweite für die Organisation haben. Um in einer solchen Situation trotzdem funktionierende Vorgaben zu entwickeln, kann die Einsetzung einer Task-Force sinnvoll sein, in welcher Stakeholder aus unterschiedlichsten Bereichen des Unternehmens vertreten sind, damit die unterschiedlichen Bedürfnisse und Sichtweisen angemessen berücksichtigt werden und der nötige "Buy in" für die spätere Umsetzung sichergestellt ist. Es sollte das Business, Recht und Compliance, IT, Informationssicherheit, Finanzen und andere relevante Bereiche vertreten sein. Eine solche Task-Force kann dabei nicht nur die hier diskutierten Aspekte der Compliance betrachten, sondern ganz generell diskutieren, welche Bedeutung die KI für das Unternehmen hat, welche Ziele damit erreicht werden sollen, wie das Unternehmen mit dem Thema umgehen und was es darin investieren will und anderes mehr. In der Praxis empfiehlt es sich, diese Diskussion auch jeweils an konkreten Beispielen zu führen. So wird vermieden, dass abstrakt wohl-klingende, aber praxisfremde Vorgaben entwickelt werden. Wenn also beispielsweise das erwähnte Thema der Transparenz diskutiert wird, sollten die angedachten Leitlinien an konkreten Anwendungsfällen durchgespielt werden um zu prüfen, ob das so überhaupt Sinn macht.
• Vorgaben (Teil 3): In einem nächsten Schritt sind diese Grundsätze festzuhalten und in alltagstaugliche Handlungsweisungen für die Mitarbeitenden im Unternehmen umzusetzen, zum Beispiel in Form einer Richtlinie oder Weisung zu erlassen. Für kleine Unternehmen wird unser "One-Pager" unverändert oder verändert genügen, ergänzt durch eine Regelung und Zuteilung der verschiedenen Rollen, Aufgaben und Verantwortlichkeiten. Für grössere Unternehmen bietet sich, wie bereits im Datenrecht, ein zweistufiges Vorgehen an. Es besteht einerseits aus dem Erlass einer strategischen Vorgabe in Form von groben (rechtlichen und nicht rechtlichen) Grundsätzen ("KI-Politik") und andererseits aus Richtlinien bzw. Weisungen, welche diese Grundsätze für die Praxis konkretisieren. In der Praxis wird es hier typischerweise der Einfachheit halber zunächst eine einzige, generelle KI-Weisung geben, die dann wo nötig durch weitere Weisungen ergänzt wird. Selbstverständlich können die Themen auch in bestehenden Weisungen abgedeckt werden; nach unserer Erfahrung wird dies in der Handhabung allerdings als wenig praktisch empfunden – die Mitarbeitenden wollen sich in der Regel an ein spezifisches Dokument halten können, in dem sie die Vorgaben für den Umgang mit KI im Unternehmen finden. Zudem kommt der Erlass einer "KI-Weisung" dem gegenwärtigen Hype um das Thema entgegen; es ist den Regelungen damit automatisch mehr Aufmerksamkeit garantiert und davon kann es im Bereich der Compliance nie genug geben. Das ändert allerdings nichts daran, dass die verschiedenen Weisungen eng aufeinander abzugrenzen sind. Viele der Vorgaben der KI-Weisungen werden beispielsweise Datenschutzgetrieben sein (Regeln der Auftragsbearbeitung, Bearbeitungsgrundsätze, Rechte von betroffenen Personen) und müssen daher koordiniert werden, sowohl was die materiellen Regeln wie auch die Compliance-Prozesse betrifft. Dabei wird es auch neue Fälle geben, die gesetzlich bisher nicht geregelt sind, aber mit denen umzugehen sein wird, etwa wenn es Begehren betroffener Personen gibt, die nicht ins klassische Schema der datenschutzrechtlichen Betroffenenrechte passen. Hier empfehlen wir allerdings, die Regeln nicht ausufern zu lassen, sondern sich damit dann vertieft zu beschäftigen, wenn sich zeigen sollte, dass sich diese Fragen tatsächlich in relevanter Weise stellen. Sonst beschäftigt sich die Organisation unnötig mit Phantomen.
• Organisation (Teil 1): Die Organisation im Bereich der KI-Compliance kann aus unserer Sicht wie für den Datenschutz und mit den dafür schon vorhandenen Ressourcen organisiert werden. Es braucht auch hier eine zentrale Anlaufstelle, die koordiniert. Die Datenschutzstelle bietet sich nach unserer Erfahrung an; sie ist sich ohnehin gewohnt, mit den weiteren typischerweise involvierten Stellen wie etwa dem oder der Informationssicherheitsbeauftragten bzw. CISO zusammenzuarbeiten. Im Moment wird eine solche Stelle erfahrungsgemäss in Bezug auf KI-Fragen aber noch ad hoc operieren: In manchen Unternehmen sehen wir, dass diese Stellen derzeit mit mehr Anfragen zur rechtlichen Freigabe für alle möglichen KI-Anwendungen eingedeckt werden, als sie zeitlich und fachlich fundiert beantworten können. Es fehlt ihnen selbst die Erfahrung und teilweise auch das nötige Fachwissen. Die Einstellung eines eigenen KI-Beauftragten ("AI-Officer") für Compliance-Fragen wäre aus unserer Sicht für die meisten Unternehmen noch verfrüht und ein Overkill, weil üblicherweise bestehende Mitarbeitende die hier nötigen Aufgaben übernehmen können; die gegenwärtige Nachfragewelle dürfte sich mittelfristig abschwächen, etwa wenn die Unternehmen ihre Wegentscheide in Bezug auf KI-Tools und - Infrastruktur getroffen haben. Abgesehen davon, dass es Spezialisten mit der dafür nötigen Erfahrung noch kaum gibt, wird es für meisten Betriebe, die KI lediglich als "Anwender" einsetzen und nicht selbst anbieten, viel effizienter sein, die sich stellenden Rechtsfragen mit bestehenden Ressourcen abzudecken – nötigenfalls interdisziplinär und mit externer Hilfe. Die fachlichen Anforderungen an die juristischen Fachkräfte werden aber weiter steigen. Die hier genannte Stelle ist organisatorisch Teil der "Second Line of Defense" (entsprechend dem weit verbreiteten "Three Lines of Defense"-Compliance-Modell) und sollte nach Möglichkeit zur Vermeidung von Interessenkonflikten nicht zugleich auch für die Compliance konkreter KI-Anwendungen verantwortlich sein.
• Organisation (Teil 2): Neben einer zentralen Stelle zur organisatorischen Sicherstellung der Compliance beim KI-Einsatz empfehlen wir grösseren Unternehmen ferner die Schaffung eines Gremiums für übergesetzliche Vorgaben (also ein "KI-Ethik-Kommittee") sowie ein Gremium, welches das "grosse Ganze" für das Unternehmen im Auge behält, d.h. welches den Einsatz von KI im Unternehmen überwacht, positive und negative Entwicklungen verfolgt und bei Bedarf Anpassungen betreffend Vorgaben, Organisation und Prozesse vorschlägt (also eine Art "KI-Aufsichtsgremium"). Wir haben ein solches Vorgehen für den Bereich der Datenethik bereits früher beschrieben und sehen hier eine ähnliche Vorgehensweise als angebracht, sobald ein Unternehmen mit übergesetzlichen Vorgaben in gewichtiger Form arbeitet. Bei etwas kleineren Unternehmen bietet sich die Schaffung einer Gruppe mit unterschiedlichen Interessensvertretern ebenfalls an, die der Geschäftsleitung bzw. den Treibern der Thematik im Unternehmen entsprechende Empfehlungen unterbreiten kann. Hat ein Unternehmen wie vorstehend erwähnt eine Task-Force gebildet, kann auch diese mit entsprechenden Aufgaben betraut werden. Das Thema der Ethik wird in unterschiedlichen Ländern interessanterweise sehr unterschiedlich gewichtet. So erzählen uns Kollegen aus Deutschland, dass ihre Mandanten regelmässig nur wissen wollen, ob eine Anwendung rechtlich zulässig seien oder nicht – und nicht, ob sie ethischen Prinzipien genügen. In der Schweiz wiederum postuliert mit dem Eidg. Datenschutz und Öffentlichkeitbeauftragte sogar eine Aufsichtsbehörde, dass Unternehmen sich bei KI an Vorgaben halten sollen, die klar über das Gesetz hinaus gehen, etwa was die Transparenz betrifft.
• Organisation (Teil 3): Für jedes KI-Tool und jedes KI-Projekt sollte ein Unternehmen jeweils eine Person (oder, falls nicht anders möglich, ein Gremium) bestimmen, welche(s) intern die Verantwortung für dessen Compliance trägt (im Sinne von "Accountability"). Es wird dies typischerweise jene Person sein, zu deren Nutzen es betrieben oder umgesetzt wird, also typischerweise eine Stelle in der "First Line of Defense" (entsprechend dem weit verbreiteten "Three Lines of Defense"-Compliance-Modell). Diese Stelle wird auch die nötigen Risikoentscheide treffen müssen (siehe unseren Beitrag in dieser Serie zum Thema Risiko-Management). Es ist dies typischerweise der "Business Owner", der üblicherweise auch den Erfolg des Vorhabens verantwortet. Selbst in unserer One-Pager-Weisung haben wir für jedes im Betrieb zugelassene KI-Tool vorgesehen, dass ein "Eigner" definiert werden muss. Ohne einen definierten Eigner, der gemäss den internen Weisungen die Compliance-Verantwortung trägt, sollten keine geschäftlichen KI-Use-Cases zugelassen werden. 
• Organisation (Teil 4): Strategische Vorgaben, Prioritäten und Ziele im Bereich KI, sowie Entscheide über wichtige Projekte, werden in jeder Organisation Führungsaufgabe sein. Nach unserer Erfahrung ist die oberste Geschäftsleitung am Thema KI derzeit zwar sehr interessiert, aber ihre Entscheide werden typischerweise auf unterer Stufe, beispielsweise vom erwähnten KI-Aufsichtsgremium oder der erwähnten KI-Task-Force, vorbereitet werden müssen, weil dem Management das erforderliche Fachwissen und der Gesamtblick für das Thema oft fehlen wird. 
• Verfahren (Teil 1): Unternehmen sollten mehrere Standardprozesse für KI definieren. Der erste betrifft die Einführung einer neuen KI-Anwendung (oder Änderung bestehender KI-Anwendungen): Er dient einerseits dazu, das Vorhaben auf die Compliance im Hinblick auf die rechtlichen und weiteren Vorgaben des Unternehmens zu prüfen, und andererseits dem Risiko-Management. Wie das geht, haben wir in Teil 4 unserer Serie bereits teilweise beschrieben. Entsprechend wird ein Unternehmen seine Mitarbeitenden anweisen müssen, jeden Einsatz von KI vorgängig bei der definierten Anlaufstelle zu melden und überprüfen zu lassen bzw. selbst darzulegen, dass die Anforderungen erfüllt sind. In grösseren Betrieben empfehlen wir, die Compliance-Prüfung mindestens zweistufig zu machen. In einer ersten, frühen Stufe eines Use Cases findet eine grobe Vorprüfung nach dem Ampelprinzip statt – grün, gelb und rot. Sie werden am besten kombiniert mit Empfehlungen und Hinweisen hinsichtlich von Aspekten, die dem erfahrenen Auge einer Datenschutzstelle, eines CISO oder sonst einer Fachperson selbst bei einer Grobsichtung eines Projekts rasch auffallen werden und es ihnen erlauben, die Business Owner frühzeitig auf rechtliche Sackgassen, Fallgruben und Hausaufgaben hinzuweisen – und Projekte so richtig auszurichten. Erst später findet dann eine vertiefte Prüfung statt. Hilfreich ist es auch, dem Business bereits vorgeprüfte KI-Infrastrukturen wie z.B. erlaubte KI-Modelle und Implementierungs-Use-Cases an die Hand zu geben.
• Verfahren (Teil 2): Um den Überblick nicht zu verlieren, insbesondere in Bezug auf die verwendeten KI-Techniken und internen Verantwortlichkeiten, empfehlen wir zudem die Führung eines Verzeichnisses der KI-Anwendungen, eines sog. Records of AI Activities, kurz "ROAIA". Diese Vorgehensweise hat sich im Datenschutz bereits bewährt. Ein ROAIA kann natürlich mit dem datenschutzrechtlichen Verzeichnis der Bearbeitungstätigkeiten kombiniert werden; die zu erfassenden Aspekte sind allerdings etwas andere (z.B. die jeweils verwendeten KI-Modelle). Eine kostenlose Vorlage findet sich in unserem GAIRA-Werkzeug, das hier heruntergeladen werden kann.
• Verfahren (Teil 3): Ein weiterer Standardprozess betrifft die Überwachung von KI-Systemen und die Meldung von Zwischenfällen beim Einsatz von KI. Auch dies kennen wir aus dem Datenschutzrecht. Soweit nicht gleichzeitig eine datenschutzrechtliche Verletzung der Datensicherheit vorliegt (sog. Data Breach), gibt es derzeit noch keine Meldepflicht für KI-Zwischenfälle. Aus Sicht eines verantwortungsvollen Einsatzes von KI sollte ein Unternehmen den Einsatz von KI und etwaige Zwischenfälle jedoch aktiv verfolgen und daher die Mitarbeitenden auch zur Meldung verpflichten; dies erlaubt ein rechtzeitiges Eingreifen und gehört zum Risiko-Management mit dazu.
• Verfahren (Teil 4): Weitere Verfahren im Bereich der Compliance betreffen den Umgang mit Begehren von betroffenen Personen, die Schulung der Mitarbeitenden und die Überwachung der Einhaltung der relevanten Regeln.

Auch wenn um das Thema der künstlichen Intelligenz derzeit ein Hype besteht, erscheint uns doch klar, dass KI in der Unternehmenswelt eine immer wichtigere Rolle spielen wird und Unternehmen schon alleine um nicht den Anschluss zu verlieren, sich mit der Technik in konkreten Anwendungen auseinandersetzen muss. Die Schaffung einer soliden KI-Governance ist daher nicht nur eine Frage der Compliance, sondern auch ein Schritt, um das volle Potenzial der Technologie zu nutzen und gleichzeitig Risiken zu minimieren. Nach unserer Erfahrung in der Beratung unserer Klienten, stellt das jetzige grosse Interesse an der Förderung des Einsatzes von KI eine sehr gute Gelegenheit, auch die für die Compliance nötigen Vorgaben, Strukturen und Prozesse und damit Governance zu schaffen, wenn damit das Versprechen einhergeht, die KI-Entwicklung des Unternehmen damit zu fördern.

Für konkrete Fragen stehen wir Ihnen gerne zur Verfügung.

David Rosenthal

Wir unterstützen Sie bei allen Fragen zu Recht und Ethik beim Einsatz von künstlicher Intelligenz. Wir reden nicht nur über KI, sondern setzen sie auch selbst ein. Weitere Hilfsmittel und Publikationen von uns zum Thema finden Sie hier.