Grundlagen für den sicheren Einsatz von Künstlicher Intelligenz (KI)

KI-Governance

Der Einsatz künstlicher Intelligenz, speziell generativer künstlicher Intelligenz wird durch verschiedene Hersteller vorangetrieben und in vielen Unternehmen und Organisationen geprüft und evaluiert. Dabei stehen Organisationen vor der Herausforderung, einerseits Chancen durch den Einsatz von Systemen der künstlichen Intelligenz zu identifizieren, andererseits diese Chancen gegen die damit verbundenen Risiken abzuwägen.

Eine Schlüsselkomponente für den verantwortungsvollen Umgang mit der künstlichen Intelligenz ist KI-Governance, um sicherzustellen, dass KI-Systeme legal, ethisch, transparent und im Einklang mit den Werten und Richtlinien der Organisation eingesetzt werden.

KI-System-Klassifizierung

Der Artificial Intelligence Act (AI Act) der Europäischen Union (Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz) legt anhand einer vierstufigen Risikoklassifikation fest, welche Anforderungen an Organisationen gestellt werden, die Modelle und Systeme zur künstlichen Intelligenz herstellen, vertreiben oder betreiben.

Jede Organisation, die Modelle und Systeme der künstlichen Intelligenz entwickelt, muss deshalb das Risiko der verwendeten künstlichen Intelligenz bewerten. Darunter fällt insbesondere die Einschätzung, ob es sich um ein System der künstlichen Intelligenz mit hohem Risiko, systemischem Risiko oder geringem Risiko handelt und welche Vorschriften und Pflichten zu beachten sind.

KI-Kompetenz

Der AI Act fordert in Artikel 4, dass Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen müssen, damit ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen.

Dabei müssen sowohl technische Kenntnisse, Erfahrung, Ausbildung und Schulung der Mitarbeiter aber auch die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, berücksichtigt werden.

Neben der individuellen Kompetenz spielt auch die klare Verteilung von Rollen und Verantwortlichkeiten eine zentrale Rolle für einen sicheren und regelkonformen KI-Einsatz. Insbesondere dort, wo KI-Systeme tief in bestehende IT-Strukturen eingebunden werden, ist eine enge Abstimmung zwischen etablierten Sicherheitsfunktionen und neuen Governance-Rollen unerlässlich.

ISB und KI-Beauftragte als komplementäre Instanzen

Der zunehmende Einsatz von KI-Systemen stellt Unternehmen vor neue sicherheitsrelevante Herausforderungen. Um diesen wirksam zu begegnen, braucht es eine enge Zusammenarbeit zwischen dem Informationssicherheitsbeauftragten (ISB) und einem möglichen KI-Beauftragten.

Der ISB trägt die Gesamtverantwortung für die Informationssicherheit im Unternehmen und ist zentraler Akteur im Aufbau und Betrieb eines funktionierenden Sicherheitsmanagements. Seine Aufgaben reichen von der Risikobewertung bis zur Schulung der Mitarbeitenden – eine detaillierte Übersicht finden Sie hier.

Der KI-Beauftragte ergänzt diese Funktion, indem er die spezifischen Risiken, regulatorischen Anforderungen und ethischen Fragestellungen im Zusammenhang mit KI-Systemen verantwortet. Dazu gehören unter anderem die Risikoklassifizierung nach AI Act, die Dokumentation eingesetzter Systeme sowie die Entwicklung von Leitlinien für einen verantwortungsvollen KI-Einsatz.

Nur wenn beide Rollen eng abgestimmt agieren, lassen sich technische Sicherheit, regulatorische Anforderungen und ethische Standards im KI-Kontext wirkungsvoll miteinander verbinden. Einer Übersicht verschiedener Rollen in der Informationssicherheit finden Sie hier.

KI-Risikomanagement

Das KI-Risikomanagement bietet einen Weg zur Minimierung potenzieller negativer Auswirkungen von KI-Systemen, wie z. B. Bedrohungen der bürgerlichen Freiheiten und Rechte, und bietet gleichzeitig Möglichkeiten zur Maximierung der positiven Auswirkungen. Wenn KI-Risiken und potenzielle negative Auswirkungen wirksam angegangen, dokumentiert und verwaltet werden, kann dies zu vertrauenswürdigeren und besseren KI-Systemen führen.

KI-Risiken oder -Fehler, die nicht genau definiert oder angemessen verstanden werden, lassen sich nur schwer quantitativ oder qualitativ messen. Die Unfähigkeit, KI-Risiken angemessen zu messen, bedeutet jedoch nicht, dass ein KI-System zwangsläufig ein hohes oder niedriges Risiko darstellt.

Es gibt derzeit keine allgemein anerkannte sowie robuste und überprüfbare Messmethoden für das Risiko und die Vertrauenswürdigkeit von KI-Systemen. Zu den potenziellen Fallstricken bei der Messung negativer Risiken oder Schäden gehört die Tatsache, dass die Entwicklung von Metriken oft ein institutionelles Unterfangen ist und unbeabsichtigt Faktoren widerspiegeln kann, die mit den zugrunde liegenden Auswirkungen nichts zu tun haben.

Eine Risikomessung in einer früheren Phase des KI-Lebenszyklus kann andere Ergebnisse liefern als eine Risikomessung in einer späteren Phase; einige Risiken können zu einem bestimmten Zeitpunkt latent vorhanden sein und mit der Anpassung und Weiterentwicklung von KI-Systemen zunehmen. Darüber hinaus können verschiedene KI-Akteure über den KI-Lebenszyklus hinweg unterschiedliche Risikoperspektiven haben. So kann beispielsweise ein KI-Entwickler, der KI-Software zur Verfügung stellt, z. B. vortrainierte Modelle, eine andere Risikoperspektive haben als ein KI-Akteur, der für den Einsatz dieses vortrainierten Modells in einem bestimmten Anwendungsfall verantwortlich ist.

Mehr Informationen zu Stakeholdern bei der Einführung von KI im Unternehmen, finden Sie hier.

KI-Risiken

Das Whitepaper „Risiko-Assessment Künstliche Intelligenz“ führt systematisch Risiken für die Inbetriebnahme von Systemen zur künstlichen Intelligenz auf.

Diese Risiken sind in vier Gruppen unterteilt:

• Risiken durch die allgemeine Nutzung künstlicher Intelligenz
• Risiken durch die Fehlbedienung von KI-Systemen
• Risiken durch Angriffe gegen KI-Systeme
• Risiken durch Angriffe die von KI-Systemen ausgehen

Jedes Risiko wird in den zugehörigen Tabellen mit verschiedenen Informationen angegeben:

• Eintrittswahrscheinlichkeit
• Mögliche Auswirkungen
• Verweise auf Ursachen und Schwachstellen
• Verweise auf betroffene Assets
• Risikobewertung

Sofern vorhanden werden außerdem Verweise auf weitere Informationsquellen angegeben.