KI-Risikomanagement: Risiken jeder KI-Anwendung bewerten und steuern

KI-Risikomanagement heißt, für jede KI-Anwendung im Unternehmen festzuhalten, was schiefgehen kann, wen es trifft, wie wahrscheinlich und wie schwer es wäre und welche Maßnahme das Risiko senkt. Eine Risikoanalyse für „die KI“ als Ganzes hilft dabei wenig: Ein Übersetzungswerkzeug für Produktblätter trägt andere Risiken als ein System, das Bewerbungen vorsortiert. Der Ratgeber zeigt, welche Rahmenwerke es gibt, was die KI-Verordnung verlangt und wie Sie Risiken je Anwendung bewerten und steuern.

Was KI-Risikomanagement leisten muss

Klassisches IT-Risikomanagement fragt nach Ausfall, Angriff und Datenverlust. Bei KI kommen Risiken hinzu, die aus dem Verhalten des Modells selbst entstehen: falsche oder erfundene Ausgaben, verzerrte Ergebnisse gegenüber bestimmten Gruppen, Ergebnisse, die niemand nachvollziehen kann, oder ein Modell, das sich nach einem Update des Anbieters anders verhält. Dazu kommen rechtliche Risiken, etwa wenn personenbezogene Daten in ein Werkzeug fließen oder Ausgaben fremde Werke wiedergeben.

Ein brauchbares KI-Risikomanagement beantwortet deshalb für jede Anwendung vier Fragen: Was kann passieren? Wie wahrscheinlich ist es, und wie schwer wiegt es? Welche Maßnahme senkt das Risiko? Wer prüft, ob die Maßnahme wirkt? Einen Überblick über typische KI-Risiken gibt unsere Schwesterseite.

Welche Rahmenwerke es für KI-Risikomanagement gibt

Drei Rahmenwerke bieten sich als Orientierung an. Sie schließen sich nicht aus, sondern ergänzen sich.

Für die meisten Unternehmen reicht es, sich an einem Rahmenwerk zu orientieren und dessen Begriffe einheitlich zu verwenden. Wer später eine Zertifizierung anstrebt, baut sinnvollerweise gleich auf ISO/IEC 42001 auf. Was die Norm insgesamt verlangt, steht in unserem Beitrag zu ISO 42001.

Was die KI-Verordnung zum Risikomanagement verlangt

Die KI-Verordnung (EU) 2024/1689 schreibt ein förmliches Risikomanagementsystem nur für Hochrisiko-KI-Systeme vor. Nach Artikel 9 ist es ein kontinuierlicher, iterativer Prozess über den gesamten Lebenszyklus des Systems: Risiken für Gesundheit, Sicherheit und Grundrechte ermitteln, sie bei bestimmungsgemäßer Verwendung und bei vorhersehbarer Fehlanwendung bewerten, Daten aus dem laufenden Betrieb einbeziehen und gezielte Maßnahmen ergreifen. Diese Pflicht liegt beim Anbieter des Systems.

Unternehmen, die ein solches System nur einsetzen, sind Betreiber. Für sie nennt Artikel 26 eigene Pflichten: das System nach der Anleitung des Anbieters nutzen, den Betrieb überwachen, bei einem erkannten Risiko Anbieter und Marktüberwachungsbehörde informieren und die Nutzung aussetzen sowie automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren. Nach dem Digital Omnibus gelten diese Pflichten für Systeme nach Anhang III ab dem 2. Dezember 2027 und für Systeme nach Anhang I ab dem 2. August 2028.

Für alle anderen Anwendungen verlangt die Verordnung kein eigenes Risikomanagementsystem. Die Risiken verschwinden dadurch nicht, und Datenschutzrecht, Haftung und Kundenverträge gelten unabhängig von der Risikoklasse.

KI-Risikomanagement je Anwendung in vier Schritten

Bewährt hat sich ein schlanker Ablauf, der für ein Chatwerkzeug genauso funktioniert wie für ein System in der Personalauswahl:

1. Erkennen. Für die Anwendung aufschreiben, wofür sie genutzt wird, welche Daten hineinfließen, wer die Ergebnisse verwendet und was ein Fehler auslösen würde. Hilfreich sind dabei Fragen wie: Entscheidet das System über Menschen? Verlassen Daten das Unternehmen? Gehen Ergebnisse ungeprüft an Kunden?
2. Bewerten. Jedes Risiko nach Eintrittswahrscheinlichkeit und Auswirkung einordnen, etwa in die Stufen niedrig, mittel und hoch. Entscheidend ist eine einheitliche Skala über alle Anwendungen. Hilfreich ist, für jede Stufe ein kurzes Beispiel festzuhalten, damit verschiedene Fachbereiche gleich bewerten.
3. Behandeln. Für jedes relevante Risiko eine Maßnahme festlegen: Daten einschränken, Ausgaben vor der Verwendung prüfen lassen, Freigaben einbauen oder auf die Anwendung verzichten. Nicht jedes Risiko muss beseitigt werden. Ein geringes Restrisiko kann bewusst getragen werden, wenn es dokumentiert und von der zuständigen Person freigegeben ist.
4. Überwachen. Festlegen, woran Sie erkennen, ob die Maßnahme wirkt, und die Bewertung wiederholen, wenn sich Zweck, Daten oder Anbieter ändern.

Der Kreislauf läuft je Anwendung, die Steuerung legt fest, wer entscheidet.

Eine zentrale Maßnahme ist die menschliche Prüfung vor jeder folgenreichen Entscheidung. Wie Sie diese sinnvoll gestalten, beschreibt unsere Schwesterseite zu Human in the Loop.

Wer im KI-Risikomanagement entscheidet

Jede Anwendung braucht eine verantwortliche Person, die das Risiko kennt und die Maßnahmen nachhält. Meist sitzt sie im Fachbereich, der das Werkzeug nutzt. Über Anwendungen mit hohem Restrisiko entscheidet die Geschäftsleitung, und diese Entscheidung wird schriftlich festgehalten.

Das NIST AI RMF beschreibt die Funktion Govern ausdrücklich als Querschnittsaufgabe, die alle anderen Schritte durchzieht. Praktisch heißt das: Skala, Zuständigkeiten und Freigabewege werden einmal für das ganze Unternehmen festgelegt, die Bewertung selbst erfolgt je Anwendung.

Dokumentieren Sie das Ergebnis in einem Risikoregister, das an das KI-Inventar anschließt: je Anwendung die erkannten Risiken, ihre Einstufung, die Maßnahmen, die verantwortliche Person und das Datum der nächsten Prüfung. Ein solches Register ist zugleich der Nachweis, den Kunden, Prüfer oder ein späteres Audit nach ISO/IEC 42001 sehen wollen. Anlass für eine erneute Bewertung sind vor allem ein neuer Einsatzzweck, neue Datenarten, ein Wechsel des Anbieters oder ein größeres Modell-Update. Wie sich das in die übrige KI-Compliance einfügt, zeigt unser Beitrag zur KI-Compliance.

So starten Sie mit dem KI-Risikomanagement

KI-Risikomanagement beginnt mit einer vollständigen Liste der Anwendungen. Erst wenn feststeht, welche Werkzeuge im Einsatz sind und wofür, lässt sich jedes Risiko bewerten und einer Person zuordnen. Ein KI-Audit liefert diese Grundlage: ein KI-Inventar mit den Pflichten je Werkzeug und einen Fahrplan, welche Anwendung zuerst angegangen wird. Danach führen Sie die vier Schritte für die Anwendungen mit dem höchsten Risiko zuerst durch. Anwendungen mit geringem Risiko, etwa ein Werkzeug für interne Textentwürfe ohne personenbezogene Daten, kommen mit einer kurzen Bewertung aus. So bleibt der Aufwand dort, wo er etwas bewirkt. Wenn Sie wissen möchten, wo Ihr Unternehmen dabei steht, vereinbaren Sie ein kostenloses Erstgespräch.

Mehr dazu: KI-Audit