Bei einem Poisoning Attack werden Trainingsdaten manipuliert mit der Absicht, die Leistung eines KI-Modells zu verschlechtern oder konkret falsche Ergebnisse zu produzieren. Schon die Manipulation eines geringen Anteils des Trainingsdatensatzes kann weitreichenden Einfluss auf ein KI-Modell haben. Zum Beispiel könnte ein Angreifer die Labels von Verkehrsschildern ändern, sodass das KI-Modell häufiger falsche Klassifizierungen ausgibt. Damit beeinflusst der Poisoning Attack die Cyber-Sicherheit von KI-Systemen.
Voraussetzung zur Durchführung eines Poisoning Attacks ist ein direkter oder indirekter Zugriff auf die Daten, die ein KI-Modell für das Training verwendet. Dies lässt sich auf folgende Arten bewerkstelligen:
Manipulation eines Trainingsdatensatzes bei der Übertragung über einen unsicheren Kommunikationskanal und fehlender Integritätsüberprüfung auf der Empfängerseite.
Erstellung eines Trainingsdatensatzes mit falschen Labels, der anschließend öffentlich zur Verfügung gestellt wird. Hierbei wird darauf spekuliert, dass automatisierte Systeme diese Daten sammeln und ohne Überprüfung an ein KI-Modell zum Trainieren weitergeleiten; oder dass beim manuellen Bezug der Daten durch einen Menschen, die fehlerhaften Labels nicht auffallen.
Manipulation von Daten und/oder Labels eines existierenden Datensatzes unter Ausnutzung von unzureichender Zugriffskontrolle, Authentifizierung oder Sicherheitslücken in Software.
Kompromittierung eines Datenanbieters oder Label-Erstellers.
Unterwanderung eines Crowdsourcing-Anbieters.
Im Falle von KI-Modellen zur Detektion von Cyberangriffen hat ein Angreifer (teilweise) Kontrolle über die Trainingsdaten, weil der Angreifer die Entität darstellt, deren Verhalten gelernt werden soll.
Beispiel eines Poisoning Attacks
In diesem Beispiel werden bei der Support-Vector-Machine die klassifizierten Eingangsdaten so modifiziert, dass die Hyperebene zur Trennung der klassifizierten Objekte so verändert wird, dass dadurch gezielt unerkannte Angriffe möglich sind.
(1) Normale Klassifizierung eines neuen Inputs. (neuer schwarzer Punkt gehört zur blauen Klasse)
(2) Beispiel: Manipulation von Trainingsdaten
Falsch klassifizierte Daten werden in den Trainingsprozess als Angriff einschleust (zwei weitere blaue Punkte).
Dadurch wird die Gerade des Modells zur Klassifizierung manipuliert (Gerade wird flacher).
(3) Damit kann ein Angreifer für falsche Klassierungen sorgen. (jetzt gehört der neue schwarze Punkt zur roten Klasse)
Schutzmaßnahmen gegen einen Poisoning Attack
Ein Poisoning Attack basiert auf der Manipulation von Trainingsdaten. Folglich besteht der Schutz vor diesem Angriffsvektor darin, den Trainingsdatensatz vor unautorisierter Veränderung zu schützen. Da Trainingsdaten häufig aus externen Quellen bezogen werden, sollte zusätzlich eine Beurteilung der Qualität und der Vertrauenswürdigkeit der Trainingsdaten erfolgen. Die folgende Liste gibt eine Übersicht von möglichen Maßnahmen, mit denen die Angriffsfläche für einen Poisoning Attack eingeschränkt werden kann:
Ein Trainingsdatensatz sollte über einen sicheren Kommunikationskanal übertragen werden. Zusätzlich sollte die Integrität eines Trainingsdatensatzes überprüft werden.
Trainingsdaten sollten nicht wahllos gesammelt werden, sondern von vertrauenswürdigen Datenquellen bezogen werden. Zudem sollte auch überprüft werden, ob die Daten geeignet und repräsentativ für die zu lernende Aufgabe sind. Idealerweise steht ein Datasheet zur Verfügung, welches den Datensatz dokumentiert.
Trainingsdaten sollten vor Manipulationen geschützt werden. Hierzu sollte sowohl ein Zugriffsmanagement als auch ein geeignetes Authentifizierungsverfahren implementiert werden. Auch sollten sicherheitskritische Software-Patches schnell angewendet werden. Eine Versionierung der Trainingsdaten ermöglicht es, nach einem Vorfall auf einen vertrauenswürdigen Datensatz zurückzugreifen. Eine Protokollierung von Änderungen der Trainingsdaten erleichtert die Untersuchung eines Vorfalls.
Beim Bezug von Daten oder Labels aus externen Quellen sowie bei der Verwendung und Einbindung von externen Ressourcen in die KI-Pipeline sollten Risiken in der KI-Lieferkette identifiziert und eingeschätzt werden.
Bevor ein KI-Modell produktiv eingesetzt wird, sollte dessen Leistung auf einem Testdatensatz (Evaluationsdatensatz) getestet werden. Dieser Testdatensatz sollte die Grundwahrheit möglichst gut repräsentieren und darf nicht im Training verwendet worden sein. Für die Modell-Evaluation sind zum Anwendungsfall passende Metriken auszuwählen und zu messen. Diese Metriken sollten auch kontinuierlich während des Modelleinsatzes beobachtet werden, um einen Leistungsabfall des Modells erkennen zu können.
Ein Leistungsabfall kann ein Indikator für einen Poisoning Attack sein und einen Prozess zur Untersuchung des Trainingsdatensatzes und der KI-Lieferkette anstoßen.
Bei einem Poisoning Attack werden Trainingsdaten manipuliert, um die Leistung eines KI-Modells zu verschlechtern oder konkret falsche Ergebnisse zu produzieren. Schon eine geringe Manipulation kann weitreichenden Einfluss haben.
Author
Prof. Norbert Pohlmann
Publisher Name
Institut für Internet-Sicherheit – if(is)
Publisher Logo
Poisoning Attack Prof. Dr. Norbert Pohlmann - Cyber-Sicherheitsexperten
