Backdoor Attack - Prof. Dr. Norbert Pohlmann

Was ist ein Backdoor Attack auf eine KI-Lösung?

Bei einer Backdoor Attack wird zunächst eine Poisoning Attack durchgeführt, um eine Evasion Attack vorzubereiten. Dabei werden die Trainingsdaten in einer Weise manipuliert, sodass eine gezielte Fehlentscheidung verursacht werden kann, wenn ein bestimmter Auslöser oder Hintertür-Trigger (backdoor trigger) in einer Eingabe vorhanden ist. In Abwesenheit des Auslösers verhält sich das KI-Modell aber unverändert. Damit beeinflusst die Backdoor Attack die Cyber-Sicherheit von KI-Systemen.

Zum Beispiel könnte ein Angreifer Bilder von verschiedenen Verkehrsschildern mit einem Sticker und dem Label „Vorfahrt” in einen Trainingsdatensatz einfügen. Dadurch wird das KI-Modell lernen, den Sticker mit dem Label „Vorfahrt” zu assoziieren. Als Konsequenz kann durch Einfügen des Stickers jedes Bild zu einem Adversarial Example werden (z. B. ein Stoppschild). Ein Beispiel ist in der Abbildung dargestellt.

Dieser Angriffsvektor unterstreicht nochmal die Kritikalität der Schutzmaßnahmen gegen eine Poisoning Attack. Zusätzlich sollte beachtet werden, dass vortrainierte Modelle von externen Quellen möglicherweise mit manipulierten Daten trainiert wurden oder sogar eine Backdoor enthalten können. Ein Angreifer könnte ein KI-Modell mit einer Backdoor erstellen und anschließend öffentlich zur Verfügung stellen.

Schutzmaßnahmen gegen eine Backdoor Attack

Bei der Verwendung von vortrainierten Modellen von externen Quellen sind folgende Maßnahmen zu empfehlen:

• Ein vortrainiertes Modell sollte ausschließlich über einen sicheren Kommunikationskanal übertragen werden. Nach dem Empfang sollte dessen Integrität überprüft werden. Siehe IPSec und TLS
• Ein vortrainiertes Modell sollte nach Möglichkeit von einer vertrauenswürdigen Quelle bezogen werden. Idealerweise ist eine Model Card vorhanden, die das Modell dokumentiert, und die verwendeten Trainingsdaten sind einsehbar oder zumindest dokumentiert.

Außerdem können die in den Glossar-Einträgen “Poisoning Attack” und “Evasion Attack” beschriebenen Schutzmaßnahmen für eine Backdoor Attack übernommen werden, weil dieser Angriffsvektor eine Kombination von einer Poisoning Attack und einer Evasion Attack darstellt.


Hier finden Sie weitere Glossar-Einträge im Bereich der Künstliche Intelligenz:
Künstliche Intelligenz für Cyber-Sicherheit
IT-Sicherheit für Künstliche Intelligenz
Ethik der Künstliche Intelligenz
Singularität
Künstliche Intelligenz
Maschinelles Lernen

Angriffe auf die Künstliche Intelligenz

• Poisoning Attack
• Evasion Attack
• Backdoor Attack
• Model Extraction Attack

Weitere Informationen zum Begriff “Backdoor Attack”:

„Chancen und Risiken von ChatGPT – Vom angemessenen Umgang mit künstlicher Sprachintelligenz“

„Angriffe auf die Künstliche Intelligenz – Bedrohungen und Schutzmaßnahmen“

„Künstliche Intelligenz und Cybersicherheit – Unausgegoren aber notwendig“

„Ethik und künstliche Intelligenz – Wer macht die Spielregeln für die KI?“

„Der Virtuelle IT-Sicherheitsberater – Künstliche Intelligenz (KI) ergänzt statische Anomalien“

„Angriffe auf die Künstliche Intelligenz – Bedrohungen und Schutzmaßnahmen“

„Wie können wir der KI vertrauen? – Mechanismus für gute Ergebnisse“

„Sei gewarnt! Vorhersage von Angriffen im Online-Banking“

„Lehrbuch Cyber-Sicherheit“

„Übungsaufgaben und Ergebnisse zum Lehrbuch Cyber-Sicherheit“

„Bücher im Bereich Cyber-Sicherheit und IT-Sicherheit zum kostenlosen Download“

„Vorlesungen zum Lehrbuch Cyber-Sicherheit“

„Aktuelle Angriffe – Übersicht und Handlungsmöglichkeiten“

„AI for IT security and IT security for AI“

„Künstliche Intelligenz (KI) und Cyber-Sicherheit“

„Immer mehr Daten = Immer mehr (Un) Sicherheit?“

„Cyber-Sicherheit vor dem Hintergrund von Krisensituationen“

„Forschungsinstitut für Internet-Sicherheit (IT-Sicherheit, Cyber-Sicherheit)“

„Master-Studiengang Internet-Sicherheit (IT-Sicherheit, Cyber-Sicherheit)“

„Marktplatz IT-Sicherheit“

„It’s all about Trust!“

Summary

Article Name

Backdoor Attack

Description

Bei einer Backdoor Attack werden die Trainingsdaten in einer Weise manipuliert, sodass eine gezielte Fehlentscheidung verursacht werden kann, wenn ein bestimmter Auslöser (backdoor trigger) in einer Eingabe vorhanden ist.

Author

Prof. Norbert Pohlmann

Publisher Name

Institut für Internet-Sicherheit – if(is)

Publisher Logo