Close
Wonach suchen Sie?
Site search
6. Februar 2024 Teil 4: So beurteilen Sie Risiken von kleinen und grossen KI-Projekten

So beurteilen Sie Risiken von kleinen und grossen KI-Projekten

An Ideen für Anwendungen (insbesondere mit generativer KI) fehlt es in vielen Unternehmen nicht. Aber werden dabei die rechtlichen Vorgaben und Risiken angemessen berücksichtigt? In diesem Beitrag erläutern wir, wie entsprechende Risiko- und Compliance-Beurteilungen durchgeführt werden können. Wir haben hierzu auch ein kostenloses Hilfsmittel für kleinere und grössere KI-Projekte entwickelt, das wir vorstellen. Dies ist Teil 4 unserer KI-Serie.

Wir vernehmen aus etlichen Unternehmen, dass Rechtsabteilungen, Datenschutzstellen und Compliance-Verantwortliche mit Ideen für neue Projekte und Anwendungen mit generativer KI überrannt werden, die sie in kurzer Zeit beurteilen sollen. Teilweise ist klar, was zu tun ist: Kommt ein Provider zum Einsatz und wird diesem Zugang zu Personendaten gewährt, braucht es zum Beispiel eine Auftragsbearbeitungsvereinbarung ("Data Processing Agreement") wie in anderen Fällen auch, wenn ein Auftragsbearbeiter zum Einsatz kommt. Doch welche weiteren, insbesondere KI-spezifischen Punkte sollten im Falle einer KI-Anwendung geprüft werden? Spielt gar der AI Act der EU eine Rolle? Und sind alle solche Projekte über denselben Kamm zu scheren?

Indikatoren für risikoreiche KI-Projekte

Unsere Erfahrungen der letzten Monate zeigen, dass viele der KI-Projekte, die in Unternehmen realisiert werden, noch nicht wirklich hohe KI-Risiken mit sich bringen. Gewisse Hausaufgaben müssen zwar gemacht werden, wie bei jedem Projekt, aber besonders gefährlich sind die Anwendungen meist nicht. Schon aus Gründen der Praktikabilität muss bei der Prüfung von KI-Projekten daher differenziert werden, wieviele Ressourcen in ihre Beurteilung investiert werden sollen. Eine vertiefte Risikoprüfung ist analog zu unserer Praxis im Datenschutz nur, aber immerhin dann nötig, wenn ein KI-Projekt mutmasslich hohe Risiken für das Unternehmen mit sich bringt. Zwar werfen KI-Projekte noch viele neue Fragen auf, in denen insbesondere Compliance- und Rechtsabteilungen häufig noch keine Erfahrung haben. Das bedeutet aber nicht zwangsläufig, dass entsprechende Projekte besonders riskant sind. Unsere Klienten fragen uns daher immer wieder nach Kriterien, die zur Triage verwendet werden können.

Folgende Fragen können helfen, solche risikoreichen Projekte zu identifizieren:

  • Werden wir das KI-Modell, das wir für unsere Anwendung verwenden, erstellen oder weiter trainieren (ausgenommen sind Verfahren der sog. Retrieval Augmented Generation)?
  • Werden wir unsere Anwendung Entscheidungen über andere Menschen treffen lassen, die diese für wichtig halten?
  • Wird die Anwendung mit einer grossen Anzahl von Menschen in Bezug auf sensible Themen interagieren?
  • Würden wir rechtliche Schritte prüfen, wenn ein Dritter eine solche Anwendung gegen uns oder mit unseren Daten nutzen würde?   
  • Hat die Anwendung das Potenzial für negative Schlagzeilen in den Medien ("Shitstorm")?           
  • Handelt es sich bei der Anwendung um eine verbotene Aktivität oder "Hoch-Risiko-System" im Sinne des EU AI Act?
  • Werden wir unsere KI-Anwendung nicht nur für eigene Zwecke nutzen, sondern sie auch Dritten anbieten?
  • Erfordert die Anwendung eine grosse Investition oder ist sie von strategischer Bedeutung?

Muss eine dieser Fragen mit "Ja" beantwortet werden, sollte eine vertiefte Überprüfung der Risiken stattfinden oder mindestens erwogen werden. In allen anderen Fällen sollte mindestens eine summarische Risikoprüfung des Vorhabens durchgeführt werden. Wir beschreiben nachfolgend beide Herangehensweisen.

Risiko-Beurteilung von "normalen" KI-Projekten

Für Projekte ohne mutmasslich hohe Risiken für das Unternehmen – wir sprechen hier von "normalen" Projekten – empfehlen wir, diese nebst der üblichen datenschutzrechtlichen Prüfung einer Prüfung in Bezug auf den Umgang mit vertraulichen oder besonders zu schützenden Inhalten (z.B. urheberrechtlich geschützte Werke) und der Prüfung auf die typischen Risiken beim Einsatz generativer KI hin zu unterziehen. Da die meisten Projekte mit fremden KI-Modellen arbeiten, fallen hier diverse Themen im Zusammenhang mit der Erstellung und dem Aufbau von KI-Modellen weg, was die Sache vereinfacht.

Wir haben hierzu 25 Anforderungen formuliert, mit denen Unternehmen bei solchen "normalen" Projekten die Risikolage in Bezug auf den Einsatz von generativer KI prüfen können (je nach Anwendung können es auch weniger sein):

  1. Wir nutzen vertrauliche oder geschützte Daten Dritter im Einklang mit unseren Vertragspflichten
  2. Unsere Verträge mit Dienstleistern entsprechen dem Datenschutz und unseren Vertragspflichten
  3. Unser Input/Output wird nicht von den Dienstleistern überwacht oder wir sind einverstanden
  4. Die Dienstleister nutzen unseren Input/Output nicht für sich selbst oder wir sind einverstanden
  5. Die Anwendung kann keine vertraulichen oder personenbezogenen Daten an andere preisgeben
  6. Es gibt kein systematisches Bearbeiten sensibler personenbezogener Daten oder Profiling
  7. Wir haben eine Rechtsgrundlage für die Bearbeitung von personenbezogenen Daten (wo nötig)
  8. Wir verwenden personenbezogene Daten nur für ihren ursprünglichen (oder erwarteten) Zweck
  9. Wir erheben/nutzen nur die für den Zweck nötigen personenbezogenen Daten
  10. Wir bewahren personenbezogene Daten in Bezug auf die Anwendung nur solange wie nötig auf
  11. Wir können Betroffenenbegehren (z.B. Auskunft, Berichtigung, Widerspruch, Löschung) erfüllen
  12. Wir haben angemessene Massnahmen zur Informationssicherheit und Geschäftsfortführung
  13. Wir informieren andere über den Einsatz von KI, wo dies für ihre Interaktion mit uns relevant ist
  14. Öffentlichkeit und Betroffene werden unseren Einsatz von KI weder unfair noch unpassend finden
  15. Wir haben Massnahmen gegen fehlerhaften oder problematischen Output (z.B. Bias)
  16. Unsere Anwendung wird vor einem Einsatz ausgiebig getestet, auch gegen böswillige Angriffe
  17. Unser KI-Einsatz verursacht keine ungewollten negativen Folgen (z.B. Schaden, Diskriminierung)
  18. Unser KI-Einsatz kann nicht als Ausnutzen von Schwächen der betroffenen Personen gelten
  19. Wo unsere KI wichtige Entscheidungen treffen oder beeinflussen könnte, wird sie beaufsichtigt
  20. Wir verwenden ein anerkanntes, qualitatives KI-Modell, dessen Verhalten wir verstehen
  21. Unser KI-Einsatz wird niemanden täuschen oder irreführen
  22. Wir haben Massnahmen, um KI-Missverhalten zu erkennen, aufzuzeichnen & darauf zu reagieren
  23. Unser KI-Einsatz respektiert die Würde und das Selbstbestimmungsrecht der davon Betroffenen
  24. Die Nutzer unserer KI werden in ihrer korrekten Nutzung unterwiesen, geschult und überwacht
  25. Wir sehen keine weiteren unkontrollierten Probleme im Zusammenhang mit unserem KI-Einsatz

Kann ein Unternehmen für ein normales Projekt jeden dieser Punkte bestätigen, erscheinen in Bezug auf den Einsatz generativer KI die nach heutigem Wissen wichtigsten und gängigsten Risiken unter Kontrolle. Spezialgesetzliche und branchenspezifische Vorgaben und Themen bleiben natürlich vorbehalten.

Kann eine Anforderung nicht bestätigt werden, so bedeutet dies hingegen nicht, dass die geplante Anwendung nicht zulässig ist. Es werden aber typischerweise passende technische oder organisatorische Massnahmen getroffen werden müssen, um das jeweilige Risiko zu vermeiden oder zu begrenzen – und es muss eine Risikoübernahme durch den Eigner der jeweiligen Anwendung erfolgen.

Selbstverständlich können sich aus dem geltenden Recht und den unternehmenseigenen Vorgaben (siehe unser Beitrag zu den 11 Grundsätzen im vorherigen Teil dieser Serie) je nach Vorhaben noch weitere Anforderungen und Risiken ergeben, die zu beachten sind. Angesichts der Vielzahl an möglichen Themen ist das Feld der relevanten Regeln leider etwas unübersichtlich – und mit der zu erwartenden KI-Regulierung (wie etwa dem AI Act, zu welchem wir uns noch separat äussern) wird es mancherorts noch unübersichtlicher, vor allem für jene, die KI-basierte Produkte anbieten. 

Ebenfalls zu prüfen: Datenschutz-Folgenabschätzung

Im Rahmen der datenschutzrechtlichen Compliance muss ferner überprüft werden, ob Ergänzungen der Datenschutzerklärung und eines allfälligen Verzeichnisses der Bearbeitungstätigkeiten nötig sind sowie ob eine Datenschutz-Folgenabschätzung (DSFA) durchgeführt werden muss. Wo Dienstleister eingesetzt werden, müssen deren datenschutzrechtliche Rolle (Auftragsbearbeiter, Verantwortliche) ermittelt und die Verträge geprüft werden (vgl. etwa Teil 2 unserer Blog-Serie, wo wir darlegen, was die Anbieter bekannter KI-Tools zu bieten haben)

Ob eine DSFA nötig ist, kann mit dem Prüfschema hier überprüft werden. Diese Checkliste basiert auf den herkömmlichen Kriterien unter dem Schweizer Datenschutzgesetz und der DSGVO sowie den Empfehlungen der Artikel 29 Arbeitsgruppe (d.h. der Vorgängerorganisation des Europäischen Datenschutz-Ausschusses), da es derzeit keine besseren, allgemein anerkannten Kriterien für eine Schwellenwertprüfung gibt (obwohl wir der Ansicht sind, dass sie überarbeitet werden sollte, da sie zu viele "falsch positive" Fälle ergibt). Nach unserer Erfahrung wird eine DSFA nur nötig sein, wo systematisch Personendaten zur Bearbeitung in einer KI erhoben werden und dies personenbezogenen Zwecken dient (d.h. nicht für statistische und andere, nicht personenbezogene Zwecke), wo eine grössere Menge an sensiblen Daten bearbeitet werden, wo eine KI-Lösung für die Personen, über welche Personendaten bearbeitet werden, nach dem Sinn und Zweck der Anwendung wesentliche Folgen haben können, wo Personen sich auf den Output des Systems verlassen (z.B. bei Chatbots zu sensiblen Themen) oder wo es erhebliche Risiken aufgrund unserer Kriterien oben gibt.

Für die Durchführung einer DSFA selbst empfehlen wir die von uns für den Verein Unternehmens-Datenschutz (VUD) entwickelte kostenlose Vorlage, die hier angeboten wird (eine weitere Vorlage ist in der "GAIRA Comprehensive"-Vorlage integriert, eine weitere in "GAIRA Light", siehe unten). Wer eine Hilfestellung zur Anwendung des DSG auf KI sucht, dem stellt der VUD hier einen Leitfaden zur Verfügung.

Urheberrechtlich relevante Inhalte?

Nicht nur für Personendaten gibt es Regeln und Risiken, die zu beachten sind. Wer ein KI-Projekt umsetzt, insbesondere beim Einsatz von Providern und deren Lösungen, sollte auch prüfen, ob (andere) vertrauliche oder rechtlich geschützte Inhalte zum Einsatz kommen, d.h. insbesondere als Input für eine KI verwendet werden.

Hierbei ist zunächst zu prüfen, ob das Unternehmen sich in Bezug auf diese Inhalte verpflichtet hat, sie nicht oder nicht auf eine bestimmte Weise für KI zu verwenden oder sie nicht (KI-)Dienstleistern offenzulegen. Noch sind solche spezifischen KI-Abreden eher selten anzutreffen, aber wir rechnen damit, dass sie zum Beispiel in Lizenzverträgen in Zukunft häufiger zu sehen sein werden, seltener auch in Geheimhaltungsklauseln und Non-Disclosure Agreements (NDA). Der Hintergrund ist, dass Unternehmen, die solche Inhalte bereitstellen, sich vor deren Übernahme in fremden KI-Modellen schützen wollen. Herkömmliche Vertraulichkeitsabreden werden einer Nutzung von Informationen für KI-Zwecke oder einer Offenlegung gegenüber KI-Dienstleistern üblicherweise nicht entgegenstehen. Werden solche Dienstleister eingesetzt, ist allerdings zu prüfen, ob deren Verträge über die nötigen Vertraulichkeitsverpflichtungen verfügen und der Input und Output ihrer Dienste auch für deren eigene Zwecke genutzt werden kann. Letzteres wird für die meisten urheberrechtlich geschützten Inhalte schon heute nicht erlaubt sein, weil Lizenzverträge einem Kunden regelmässig die Nutzung solcher Inhalte nur für eigene, interne Zwecke gestattet und daher nicht auch für das Training des KI-Modells eines Dritten.

Weiter ist zu prüfen, ob Daten zum Einsatz kommen, die einem Amts- oder Berufsgeheimnis oder einer vergleichbaren Schweigepflicht unterliegen, für welche bzw. welches besondere Vorkehrungen nötig sind, insbesondere wenn solche Daten einem Dienstleister offengelegt werden müssen. In letzterem Falle werden hierfür spezielle vertragliche und allenfalls auch technische Vorkehrungen nötig sein.

In einem separaten Beitrag in dieser Reihe werden wir die urheberrechtlichen Aspekte der KI eingehender erörtern, einschliesslich der Frage, inwieweit die Nutzung von KI-generierten Inhalten das Risiko einer Verletzung der Urheberrechte Dritter birgt. Normalerweise sind maschinell erzeugte Inhalte nicht urheberrechtlich geschützt, aber wenn solche Inhalte von Menschenhand erzeugte Werke mit individuellem Charakter enthalten, ist die Situation anders. Und natürlich kann der Einsatz von KI-Content-Generatoren wie jedes andere Werkzeug zur Erstellung von Inhalten zu Urheberrechtsverletzungen oder anderen Rechtsverletzungen führen (Markenrecht, Lauterkeitsrecht etc.). Die schwierigere Frage, die es zu beantworten gilt, ist in der Regel aber, wer alles in der Wertschöpfungskette für solche Verstösse haftbar gemacht werden kann.

Wie vorgehen bei der Beurteilung von "normalen" KI-Projekten?

Für "normale" KI-Projekte bzw. KI-Anwendungen empfehlen wir folgende drei Schritte:

  1. Der Eigner bzw. die Eignerin des Projekts bzw. der Anwendung sollte gebeten werden, dieses bzw. diese zu dokumentieren, d.h. erklären, worum es geht, wie KI eingesetzt wird, Verträge mit den Providern zur Verfügung stellen, die technischen und organisatorischen Massnahmen beschreiben, etc.
  2. Es sollte anhand der obigen Indikatoren für risikoreiche KI-Projekte ermittelt werden, ob eine eingehende Risikoprüfung erforderlich ist bzw. dokumentiert werden, warum dem nicht so ist. Hierzu gehört auch eine Prüfung, ob die geplante Aktivität vom künftigen EU AI Act speziell erfasst sein wird, sei es als verbotene Praktik, sei es als KI-System mit hohen Risiken.
  3. Es sollte für alle oben beschriebenen Anforderungen dokumentiert werden, ob diese eingehalten sind bzw. die nötigen Massnahmen getroffen wurden oder geplant sind, um die genannten Risiken zu eliminieren oder auf ein akzeptables Niveau zu reduzieren. Hierbei wird der Eigner bzw. die Eignerin natürlich auf die Hilfe der internen Fachstellen (sie werden als Second Line of Defense bezeichnet, entsprechend dem weit verbreiteten "Three Lines of Defense"-Compliance-Modell) wie etwa der Rechtsabteilung, der Datenschutzstelle und den CISO angewiesen sein, z.B. bei der Prüfung einer Auftragsbearbeitungsvereinbarung, Geheimhaltungsklausel oder den Massnahmen zur Informationssicherheit.

Sind diese drei Schritte erfolgreich durchlaufen, kann der Eigner bzw. die Eignerin des Projekts bzw. der Anwendung über deren Umsetzung entscheiden, natürlich vorbehältlich irgendwelcher weiterer Vorbedingungen. Wir werden die Fragen der Governance in einem separaten Beitrag abhandeln.

Zur Durchführung und Dokumentation des vorstehenden Prozesses haben wir eine passende Vorlage entwickelt. Sie steht unter dem Namen "GAIRA Light" als Excel-Arbeitsblatt kostenlos zum Download hier zur Verfügung (auf Deutsch und Englisch). Ergänzend dazu haben wir auch einen Fragebogen (mit den Fragen zur Identifikation von risikoreichen Anwendungen und den 25 Anforderungen für "normale" Projekte) sowie eine Kurzanleitung für GAIRA Light erstellt (sie sind hier abrufbar):

Hier noch einige Praxishinweise beim Ausfüllen von GAIRA Light (es enthält allerdings selbst ebenfalls Anleitungen und erklärende Hinweise):

  • AI Act Checker: GAIRA Light enthält ein Werkzeug, mit dem Sie feststellen können, ob Ihr Projekt unter den EU AI Act fällt und welche Rolle(n) Sie wahrscheinlich im Rahmen des AI Acts haben werden (falls anwendbar). Dies ist auch relevant für die Frage, ob Ihr Projekt hohe Risiken birgt. Der AI Act Checker ist auch als separates Arbeitsblatt verfügbar.
  • Projekte mit mutmasslich hohen Risiken: Der Entscheid darüber, ob ein solches Projekt vorliegt, sollte der Eigner bzw. die Eignerin treffen, da er bzw. sie dafür letztlich verantwortlich ist. Das kann in GAIRA Light dokumentiert werden. Verlangt wird jedoch auch eine Begründung.
  • Vorabfragen ("Preparatory questions"): Diese dienen dazu, zu ermitteln, welche der in der Folge vorgesehenen Fragen wirklich nötig sind. Je nach Auswahl werden weiter unten im Formular bestimmte Fragen ein- oder ausgeblendet werden (werden keine Personendaten bearbeitet, stellen sich beispielsweise auch die Fragen nach dem Datenschutz nicht).
  • Durchführung der Risikobeurteilung: Sie wird vorgenommen, indem die jeweilige Frage mit "Yes" oder "No" beantwortet wird (oder "N/A", falls sie nicht anwendbar erscheint). Es wird beispielsweise gefragt, ob das Publikum über den Einsatz der KI informiert worden ist, wo dies als wichtig erscheint. Wenn dies nirgends als wichtig erscheint oder aber tatsächlich informiert wird, kann diese Frage mit "Ja" beantwortet werden, ansonsten mit "Nein". Bei anderen Fragen wird eine Vorabprüfung durch die Fachleute erforderlich sein, so etwa, wenn gefragt wird, ob das gemäss Datenschutz erforderliche Data Processing Agreement vorliegt. Ergibt sich aus der Antwort ein Risiko, wird eine Warnung angezeigt und die Sache sollte den internen Fachleuten vorgelegt werden ("Second Line"; siehe Begriffserläuterung oben). Diese schauen sich die Antwort und Begründung an und geben eine Empfehlung ab, die ebenfalls festgehalten wird (z.B. "OK" oder "Risk Decision"). Basierend darauf muss dann der Eigner bzw. die Eignerin einen Entscheid treffen, wie sie damit umgehen will, d.h. ob noch weitere Massnahmen nötig sind (wenn ja, kann sie dies festhalten oder sie gleich eintragen) oder ob das Risiko akzeptiert wird.
  • Beurteilungszeitraum: Es muss angegeben werden, für welche Zeitperiode die Beurteilung vorgenommen wird, vorbehältlich ausserplanmässiger Anpassungen. Die Zahl hat lediglich auf die Berechnung des am Ende angezeigten Datums der empfohlenen Wiedervorlage eine Auswirkung.
  • Datenschutz-Folgenabschätzung: GAIRA Light enthält seit April 2024 auch eine einfache Vorlage für eine Datenschutz-Folgenabschätzung (DSFA). Ob eine DSFA nötig ist, wird zunächst mit einigen Fragen ermittelt. Dies resultiert in einer Empfehlung. Sie können dann wählen, ob sie eine DSFA in GAIRA Light ausfüllen, separat oder gar nicht. Tun sie es in GAIRA Light, sollten Sie mindestens die vorbereiteten Risiken für die betroffenen Personen bewerten (und nicht die Risiken für das Unternehmen). Sie können aber auch eigene Risiken, die sich für betroffene Personen sehen, hinzufügen.
  • Gesamtrisikobeurteilung: Im letzten Schritt wird der Eigner bzw. die Eignerin gebeten, eine Gesamtrisikobeurteilung abzugeben. Dies ist letztlich eine subjektive Einschätzung aufgrund aller vorstehend beurteilten Einzelrisiken. Sie soll dazu motivieren, über das Projekt insgesamt nachzudenken. Diese Risikoeinschätzung kann auch in das Verzeichnis der KI-Anwendungen (Records of AI Activities, ROAIA; das GAIRA-Excel enthält hierzu eine Vorlage) eingetragen werden.
  • Weitere Hilfestellungen: Bei einigen Fragen haben wir weitere Erklärungen in einer Notiz untergebracht, die automatisch erscheint, wenn der Mauszeiger über das kleine rote Dreieck am oben rechten Rand des jeweiligen Felds bewegt wird.

Wenn Sie hierbei Unterstützung benötigen, helfen wir Ihnen gerne. 

Prüfung von Projekten mit mutmasslich hohen Risiken

Die Prüfung solcher KI-Projekte und -Anwendungen ist verständlicherweise aufwändiger, braucht mehr Zeit und wird insbesondere nicht ohne fachkundige Unterstützung möglich sein. Allerdings empfiehlt sich aus Gründen der Ergebnisqualität und Effizienz auch hier ein systematisches Vorgehen.

Wir empfehlen folgende sechs Schritte:

  1. Der Eigner oder die Eignerin des Projekts bzw. der Anwendung sollte gebeten werden, dieses bzw. diese zu dokumentieren, d.h. erklären, worum es geht, wie KI eingesetzt wird, Verträge mit den Providern zur Verfügung stellen, die technischen und organisatorischen Massnahmen beschreiben, etc.
  2. Es wird geprüft, ob die geplante Aktivität vom EU AI Act speziell erfasst sein wird, sei es als verbotene Praktik, sei es als KI-System mit hohen Risiken, weil das zu weiteren Anforderungen führen kann. Hierzu gibt es in GAIRA ein separates Arbeitsblatt, welches diese Frage beantworten hilft.
  3. Es sollte erläutert werden, warum die geplante Aktivität in dieser Form jedenfalls in Bezug auf die Verwendung von Personendaten verhältnismässig und erforderlich ist. Dies ist "nur" für die Zwecke einer Datenschutz-Folgenabschätzung nötig, sollte diese in einem Zug mit der allgemeinen KI-Risikobeurteilung durchgeführt werden.
  4. Es sind die technischen und organisatorischen Massnahmen ("TOM") zusammenstellen, die zur Vermeidung oder Begrenzung von Risiken oder zur Einhaltung der relevanten rechtlichen Vorgaben getroffen wurden oder noch werden sollen (z.B. Verträge mit den eingesetzten Dienstleistern, Massnahmen zur Informationssicherheit, Anweisungen an die Nutzer, spezifische Konfigurationen des verwendeten KI-Systems, Tests).
  5. Es ist für alle relevanten Bereiche (z.B. Modell, Input, Output) und Themen (z.B. Datenschutz, Geheimhaltung, geistiges Eigentum) zu beurteilen, ob und welche Restrisiken trotz der getroffenen und geplanten TOM noch bestehen und warum. Dabei ist zwischen Risiken für das Unternehmen (finanzielle Risiken, reputative Risiken, regulatorische bzw. strafrechtliche Risiken) und Risiken für die betroffenen Personen (beliebige ungewollte nachteilige Folgen) zu unterscheiden. Die Beurteilung der Risiken für die betroffenen Personen kann zugleich für die bei solchen Projekten in der Regel ohnehin nötige Datenschutz-Folgenabschätzung dienen. Bei jedem Risiko sollte sich der Eigner oder die Eignerin der Anwendung überlegen, ob sich das Risiko mit weiteren Massnahmen weiter reduzieren oder sogar eliminieren lässt. Falls ja, ist die entsprechende Massnahme in der Aufstellung der TOM einzutragen (und natürlich entsprechend umzusetzen). Diese neue Massnahme ist in der Risikobeurteilung bereits zu berücksichtigen.
  6. Ist die Risikobeurteilung durchgeführt, ist eine Schlussbeurteilung vorzunehmen und insbesondere zu prüfen, ob keines der identifizierten Risiken für das Unternehmen oder die betroffenen Personen inakzeptabel hoch ist. Bei trotz aller Massnahmen noch verbleibender hoher Restrisiken für betroffene Personen aufgrund der Bearbeitung ihrer Personendaten ist zudem eine Vorlage des Projekts an die Datenschutzaufsicht erforderlich (was allerdings so gut wie nie vorkommt).

Zur Durchführung und Dokumentation des vorstehenden Prozesses haben wir auch hier eine passende Vorlage entwickelt. Sie steht unter dem Namen "GAIRA Comprehensive" als Excel-Arbeitsblatt kostenlos zum Download hier zur Verfügung und enthält eine beispielhafte Befüllung für ein imaginäres KI-Projekt. Die Vorlage enthält auch ein Arbeitsblatt zur Prüfung der rechtlichen Compliance von KI-Projekten. Dieses ist jedoch optional und braucht unserer Ansicht nach nicht ausgefüllt zu werden, da die meisten Fragen sowieso bereits im Rahmen der Risikobeurteilung geprüft werden (wenn die TOM diskutiert werden) oder als Teil der üblichen Compliance-Prüfung.

In der Praxis ist beim Einsatz von GAIRA Comprehensive erfahrungsgemäss auf folgende Punkte zu achten (es enthält allerdings selbst ebenfalls Anleitungen und erklärende Hinweise):

  • Ausfüllen: GAIRA Comprehensive wird korrekterweise vom Eigner oder der Eignerin der KI-Anwendung ausgefüllt, um das es geht. Das gilt insbesondere für die Risikobeurteilung. Es ist aber klar, dass diese Person manche der Risiken aufgrund fehlenden Fachwissens zu den relevanten Themen (Datenschutz, Urheberrecht, Informationssicherheit etc.) nicht alleine ausfüllen kann, sondern Unterstützung der Fachleute wie z.B. der Rechtsabteilung oder der Datenschutzstelle braucht. Bewährt haben sich insbesondere die beiden folgenden Vorgehensweisen: Die erste besteht darin, dass der Eigner oder die Eignerin das Formular in einem ersten Aufzug selbst nach bestem Wissen und Gewissen ausfüllt, dann in einem Workshop mit den Fachleuten bespricht (diese sollten es zur Prüfung vorgängig erhalten) und schliesslich fertigstellt. Die zweite besteht darin, gleich von Beginn weg das Formular zusammen auszufüllen, wobei der Entscheid der Risikobeurteilung letztlich immer beim Eigner oder der Eignerin bleiben muss, nie bei den Fachleuten. Dieser zweite Ansatz erfordert mehr Zeiteinsatz der beteiligten Personen, ist für den Eigner oder die Eignerin aber einfacher.
  • Zu viele, zu wenige Risiken: Die GAIRA Comprehensive-Vorlage listet beispielhaft eine ganze Reihe von KI-Risiken auf, sortiert nach Risikobereichen und -themen. Für gewisse Projekte werden einige dieser Risiken irrelevant sein, für andere Projekte mag die bestehende Liste unvollständig erscheinen. Im ersteren Fall können die betreffenden Risiken ganz einfach übersprungen werden, indem die Risiken bzw. Eintrittswahrscheinlichkeit als "N/A" ausgewählt wird. Im letzteren Fall können eigene Risiken in allen Bereichen hinzugefügt werden. Handelt es sich um ein Datenschutzrisiko, das auch für die Zwecke der DSFA berücksichtigt werden soll, so ist in der Spalte "Risk area" das Kürzel "DP" (Data Protection) anzugeben. Dann wird am Ende der jeweiligen Reihe auch angezeigt, ob das datenschutzrechtliche Gesamtrisiko für die betroffenen Personen tief, mittel oder hoch ist.
  • Massnahmen: Es ist normal, dass zu Beginn nicht alle TOM definiert sein werden oder dass der Eigner oder die Eignerin Mühe haben wird, an alle TOM zu denken. In der Praxis werden viele TOM ad hoc und zufällig festgelegt. Die Aufstellung in einer Liste sorgt für etwas mehr Systematik und trägt damit dazu bei, dass weniger vergessen geht (die Vorlage enthält auch einige Beispiele für TOM zur Inspiration). Manche Massnahmen kommen auch erst im Rahmen der Risikobeurteilung auf den Tisch, etwa weil die Beteiligten feststellen, dass ein Risiko noch zu wenig adressiert ist und darum weitere TOM nötig werden. Das ist kein Fehler, sondern Sinn und Zweck einer systematischen Risikobeurteilung, wie sie mit GAIRA Comprehensive möglich ist: Durch ein systematisches "Abarbeiten" von Risiken kann besonders gut ermittelt werden, wo es noch an Massnahmen mangelt und diese vorgesehen werden. Am Ende enthält GAIRA Comprehensive eine Liste aller nötigen (oder auch verworfenen) Massnahmen. Das hilft, den Überblick zu behalten.
  • Datenschutz-Folgenabschätzung: Viele KI-Projekte erfordern zugleich eine DSFA. Wir haben GAIRA Comprehensive daher so ausgestaltet, dass sie gleich als Teil der allgemeinen Risikobeurteilung vorgenommen werden kann. Damit wird Zeit und Aufwand gespart. Es ist aber weiterhin möglich, die DSFA separat vorzunehmen (z.B. unter Einsatz der Vorlage des VUD). In diesen Fällen kann im ersten Teil von GAIRA angegeben werden, dass die nachfolgende Beurteilung keine DSFA enthält bzw. diese separat dokumentiert wird.
  • Operationelle Risiken: KI-Anwendungen sind IT-Anwendungen und nutzen daher auch entsprechende IT-Systeme. Diese können ihre eigenen, nicht KI-bezogenen Risiken mit sich bringen, so zum Beispiel was die Informationssicherheit oder die Geschäftsfortführung betrifft. Wenn GAIRA ausgefüllt wird, empfiehlt es sich, von Anfang an zu definieren, ob auch diese und weitere operationelle, nicht KI-bezogene Risiken mit GAIRA Comprehensive "mitbeurteilt" werden sollen. Oft wird dies nicht der Fall sein, vor allem, wenn bereits bestehende IT-Infrastruktur für die KI-Anwendung genutzt wird, die in Bezug auf ihre operationellen Risiken gut bekannt ist. In GAIRA Comprehensive kann das zu Beginn der Risikobeurteilung entsprechend ausgewiesen werden. Es ist wichtig, sich diese Frage zu stellen, damit für alle beteiligten Kreise klar ist, worauf sich die Risikobeurteilung genau bezieht.
  • Beurteilungszeitraum: Jede Risikobeurteilung hat für einen definierten Zeitraum zu erfolgen, nie für die Ewigkeit. In GAIRA Comprehensive kann dieser Zeitraum zu Beginn der Risikobeurteilung angegeben werden. Er wird typischerweise ein bis drei Jahre sein.
  • Risikomatrix und -stufen: Die in GAIRA Comprehensive verwendeten Abstufungen der Eintrittswahrscheinlichkeit und der Grad der Risiko-Exposition lassen sich unternehmensspezifisch "einstellen". Hierzu dienen die Listen und farbigen Felder am Ende der Risikobeurteilung von "Step 4". Die Texte in den grauen Feldern können angepasst werden. Das sollte allerdings vor dem Durchführen der Risikobeurteilung geschehen; eine nachträgliche Anpassung führt die bereits vorgenommene Risikobeurteilung nicht nach. Die farbigen Felder selbst können nicht verändert werden. Der Wert im grauen Feld rechts davon gibt allerdings jeweils den Wert an, ab welchem ein erhöhtes Risiko ("gelb") besteht bzw. wann aus datenschutzrechtlicher Sicht ein "mittleres" und ein "hohes" Risiko vorliegt.
  • Status der Beurteilung: Ganz zu Beginn von GAIRA Comprehensive kann der jeweilige Status der Beurteilung eingetragen werden. GAIRA Comprehensive wird nicht in einem Zug ausgefüllt, sondern typischerweise über einen Zeitraum von mehreren Tagen, weil hierzu verschiedene Informationen zusammengetragen werden müssen und diverse Stellen beteiligt sein werden. Die Verantwortlichkeit sollte beim Eigner oder der Eignerin des Projekts sein, auch wenn die praktische Umsetzung an eine Projektleitung delegiert worden ist.

Gerne unterstützen wir Sie bei der Durchführung solcher Risiko-Analysen und speziell den Workshops, die wir oben erwähnen. Dies kann insbesondere beim ersten Mal hilfreich sein. 

Wir hoffen, diese Ausführungen helfen in der Praxis weiter, kleine und grosse KI-Projekte effizient und effektiv hinsichtlich ihrer rechtlichen und weiteren Risiken zu beurteilen. GAIRA ist Open Source und lebt daher nicht zuletzt auch vom Feedback der Benutzer des Werkzeugs. Gerne nehmen wir solches Feedback entgegen, ebenso Vorschläge für Verbesserungen – wir danken hier bereits all jenen, die schon dazu beigetragen haben, das Werkzeug für die gesamte Community besser zu machen. Derzeit ist es allerdings nur auf Englisch verfügbar.

Wir möchten an dieser Stelle auch auf andere Initiativen hinweisen, die Unternehmen dabei helfen können, die Risiken des Einsatzes von KI besser zu steuern, wie z. B. das viel zitierte AI Risk Management Framework des NIST, das hier kostenlos erhältlich ist. Es hat einen anderen, umfassenderen Anwendungsbereich als GAIRA und ist im Wesentlichen ein Konzept für die Errichtung eines Risikomanagementsystems in Bezug auf KI (während GAIRA im Wesentlichen eine Checkliste von Risiken und Punkten ist, die bei einem bestimmten Projekt zu berücksichtigen sind- sowie ein Instrument zur Dokumentation der Ergebnisse). Sie konkurrieren nicht miteinander, sondern arbeiten Hand in Hand. Das AI RMF des NIST ist jedoch sehr umfangreich und komplex und wird nach unserer Einschätzung viele Organisationen überfordern. Das haben wir auch bei GAIRA gesehen, das simpler und beschränkter ist, aber in seiner ursprünglichen Version (heute GAIRA Comprehensive) für viele Projekte zu umfangreich war, weshalb wir GAIRA Light entwickelt haben. Und einige würden es immer noch als ziemlich detailliert bezeichnen.

Im nächsten Beitrag unserer Blog-Serie werden wir Empfehlungen für eine wirkungsvolle Governance des Einsatzes von KI im Unternehmen diskutieren.

Ihre Kontaktperson: David Rosenthal

Dieser Beitrag ist Teil einer Serie über den verantwortungsvollen Einsatz von KI im Unternehmen:

Wir unterstützen Sie bei allen Fragen zu Recht und Ethik beim Einsatz von künstlicher Intelligenz. Wir reden nicht nur über KI, sondern setzen sie auch selbst ein. Weitere Hilfsmittel und Publikationen von uns zum Thema finden Sie hier

Autor