Poisoning Attack - Prof. Dr. Norbert Pohlmann

Was ist ein Poisoning Attack auf eine KI-Lösung?

Bei einem Poisoning Attack werden Trainingsdaten manipuliert mit der Absicht, die Leistung eines KI-Modells zu verschlechtern oder konkret falsche Ergebnisse zu produzieren. Schon die Manipulation eines geringen Anteils des Trainingsdatensatzes kann weitreichenden Einfluss auf ein KI-Modell haben. Zum Beispiel könnte ein Angreifer die Labels von Verkehrsschildern ändern, sodass das KI-Modell häufiger falsche Klassifizierungen ausgibt. Damit beeinflusst der Poisoning Attack die Cyber-Sicherheit von KI-Systemen.

Voraussetzung zur Durchführung eines Poisoning Attacks ist ein direkter oder indirekter Zugriff auf die Daten, die ein KI-Modell für das Training verwendet. Dies lässt sich auf folgende Arten bewerkstelligen:

• Manipulation eines Trainingsdatensatzes bei der Übertragung über einen unsicheren Kommunikationskanal und fehlender Integritätsüberprüfung auf der Empfängerseite.
• Erstellung eines Trainingsdatensatzes mit falschen Labels, der anschließend öffentlich zur Verfügung gestellt wird. Hierbei wird darauf spekuliert, dass automatisierte Systeme diese Daten sammeln und ohne Überprüfung an ein KI-Modell zum Trainieren weitergeleiten; oder dass beim manuellen Bezug der Daten durch einen Menschen, die fehlerhaften Labels nicht auffallen.
• Manipulation von Daten und/oder Labels eines existierenden Datensatzes unter Ausnutzung von unzureichender Zugriffskontrolle, Authentifizierung oder Sicherheitslücken in Software.
• Kompromittierung eines Datenanbieters oder Label-Erstellers.
• Unterwanderung eines Crowdsourcing-Anbieters.
• Im Falle von KI-Modellen zur Detektion von Cyberangriffen hat ein Angreifer (teilweise) Kontrolle über die Trainingsdaten, weil der Angreifer die Entität darstellt, deren Verhalten gelernt werden soll.
  
  
  

Beispiel eines Poisoning Attacks

In diesem Beispiel werden bei der Support-Vector-Machine die klassifizierten Eingangsdaten so modifiziert, dass die Hyperebene zur Trennung der klassifizierten Objekte so verändert wird, dass dadurch gezielt unerkannte Angriffe möglich sind.

(1) Normale Klassifizierung eines neuen Inputs.
(neuer schwarzer Punkt gehört zur blauen Klasse)

(2) Beispiel: Manipulation von Trainingsdaten

Falsch klassifizierte Daten werden in den Trainingsprozess als Angriff einschleust (zwei weitere blaue Punkte).

Dadurch wird die Gerade des Modells zur Klassifizierung manipuliert (Gerade wird flacher).

(3) Damit kann ein Angreifer für falsche Klassierungen sorgen.
(jetzt gehört der neue schwarze Punkt zur roten Klasse)

Schutzmaßnahmen gegen einen Poisoning Attack

Ein Poisoning Attack basiert auf der Manipulation von Trainingsdaten. Folglich besteht der Schutz vor diesem Angriffsvektor darin, den Trainingsdatensatz vor unautorisierter Veränderung zu schützen. Da Trainingsdaten häufig aus externen Quellen bezogen werden, sollte zusätzlich eine Beurteilung der Qualität und der Vertrauenswürdigkeit der Trainingsdaten erfolgen. Die folgende Liste gibt eine Übersicht von möglichen Maßnahmen, mit denen die Angriffsfläche für einen Poisoning Attack eingeschränkt werden kann:

• Ein Trainingsdatensatz sollte über einen sicheren Kommunikationskanal übertragen werden. Zusätzlich sollte die Integrität eines Trainingsdatensatzes überprüft werden.
• Trainingsdaten sollten nicht wahllos gesammelt werden, sondern von vertrauenswürdigen Datenquellen bezogen werden. Zudem sollte auch überprüft werden, ob die Daten geeignet und repräsentativ für die zu lernende Aufgabe sind. Idealerweise steht ein Datasheet zur Verfügung, welches den Datensatz dokumentiert.
• Trainingsdaten sollten vor Manipulationen geschützt werden. Hierzu sollte sowohl ein Zugriffsmanagement als auch ein geeignetes Authentifizierungsverfahren implementiert werden. Auch sollten sicherheitskritische Software-Patches schnell angewendet werden. Eine Versionierung der Trainingsdaten ermöglicht es, nach einem Vorfall auf einen vertrauenswürdigen Datensatz zurückzugreifen. Eine Protokollierung von Änderungen der Trainingsdaten erleichtert die Untersuchung eines Vorfalls.
• Beim Bezug von Daten oder Labels aus externen Quellen sowie bei der Verwendung und Einbindung von externen Ressourcen in die KI-Pipeline sollten Risiken in der KI-Lieferkette identifiziert und eingeschätzt werden.
• Bevor ein KI-Modell produktiv eingesetzt wird, sollte dessen Leistung auf einem Testdatensatz (Evaluationsdatensatz) getestet werden. Dieser Testdatensatz sollte die Grundwahrheit möglichst gut repräsentieren und darf nicht im Training verwendet worden sein. Für die Modell-Evaluation sind zum Anwendungsfall passende Metriken auszuwählen und zu messen. Diese Metriken sollten auch kontinuierlich während des Modelleinsatzes beobachtet werden, um einen Leistungsabfall des Modells erkennen zu können.

Ein Leistungsabfall kann ein Indikator für einen Poisoning Attack sein und einen Prozess zur Untersuchung des Trainingsdatensatzes und der KI-Lieferkette anstoßen.

Hier finden Sie weitere Glossar-Einträge im Bereich der Künstliche Intelligenz:
Künstliche Intelligenz für Cyber-Sicherheit
IT-Sicherheit für Künstliche Intelligenz
Ethik der Künstliche Intelligenz
Singularität
Künstliche Intelligenz
Maschinelles Lernen

Angriffe auf die Künstliche Intelligenz

• Poisoning Attack
• Evasion Attack
• Backdoor Attack
• Model Extraction Attack

Weitere Informationen zum Begriff “Poisoning Attack”:

„Chancen und Risiken von ChatGPT – Vom angemessenen Umgang mit künstlicher Sprachintelligenz“

„Angriffe auf die Künstliche Intelligenz – Bedrohungen und Schutzmaßnahmen“

„Künstliche Intelligenz und Cybersicherheit – Unausgegoren aber notwendig“

„Ethik und künstliche Intelligenz – Wer macht die Spielregeln für die KI?“

„Der Virtuelle IT-Sicherheitsberater – Künstliche Intelligenz (KI) ergänzt statische Anomalien“

„Angriffe auf die Künstliche Intelligenz – Bedrohungen und Schutzmaßnahmen“

„Wie können wir der KI vertrauen? – Mechanismus für gute Ergebnisse“

„Sei gewarnt! Vorhersage von Angriffen im Online-Banking“

„Lehrbuch Cyber-Sicherheit“

„Übungsaufgaben und Ergebnisse zum Lehrbuch Cyber-Sicherheit“

„Bücher im Bereich Cyber-Sicherheit und IT-Sicherheit zum kostenlosen Download“

„Vorlesungen zum Lehrbuch Cyber-Sicherheit“

„Aktuelle Angriffe – Übersicht und Handlungsmöglichkeiten“

„AI for IT security and IT security for AI“

„Künstliche Intelligenz (KI) und Cyber-Sicherheit“

„Immer mehr Daten = Immer mehr (Un) Sicherheit?“

„Cyber-Sicherheit vor dem Hintergrund von Krisensituationen“

„Forschungsinstitut für Internet-Sicherheit (IT-Sicherheit, Cyber-Sicherheit)“

„Master-Studiengang Internet-Sicherheit (IT-Sicherheit, Cyber-Sicherheit)“

„Marktplatz IT-Sicherheit“

„Marktplatz IT-Sicherheit: IT-Notfall“

„Marktplatz IT-Sicherheit: IT-Sicherheitstools“

„Marktplatz IT-Sicherheit: Selbstlernangebot“

„Marktplatz IT-Sicherheit: Köpfe der IT-Sicherheit“

„Vertrauenswürdigkeits-Plattform“

Summary

Article Name

Poisoning Attack

Description

Bei einem Poisoning Attack werden Trainingsdaten manipuliert, um die Leistung eines KI-Modells zu verschlechtern oder konkret falsche Ergebnisse zu produzieren. Schon eine geringe Manipulation kann weitreichenden Einfluss haben.

Author

Prof. Norbert Pohlmann

Publisher Name

Institut für Internet-Sicherheit – if(is)

Publisher Logo