Chancen und Risiken von ChatGPT – Vom angemessenen Umgang mit künstlicher Sprachintelligenz - Prof. Dr. Norbert Pohlmann

P. Farwick, Norbert Pohlmann (Institut für Internet-Sicherheit):
„Chancen und Risiken von ChatGPT – Vom angemessenen Umgang mit künstlicher Sprachintelligenz“,
IT-Sicherheit – Mittelstandsmagazin für Informationssicherheit und Datenschutz,
DATAKONTEXT-Fachverlag,
4/2023

Chancen und Risiken von ChatGPT

ChatGPT ist ein leistungsstarker Chatbot, der nach Eingabe konkreter Aufforderungen maßgeschneiderte Texte erstellt und Entwickler beim Programmieren unterstützen kann. Dazu bildet das GPT-Modell, ein „Large Language Model“ (LLM), Muster auf ein statistisches Modell ab, die dem Nutzer eine Antwort auf eine Frage generieren. Durch die große mediale Aufmerksamkeit mit der ChatGPT eingeführt wurde haben eine Vielzahl von Nutzern die potenziellen Chancen dieser Technologie kennengelernt. Jedoch birgt ChatGPT auch eine Reihe von Risiken.

In diesem Artikel werden sowohl die Chancen als auch die Risiken von ChatGPT umfassend insbesondere im Bereich Cyber-Sicherheit betrachtet.

Was ist ChatGPT und wie funktioniert es?

Generative Pre-trained Transformer (GPT), das ChatGPT nutzt, ist ein leistungsstarkes Sprachmodell (LLM), das auf der Transformer Architektur basiert. Ein Sprachmodell ist eine statistische Wahrscheinlichkeitsverteilung, die die Wahrscheinlichkeiten einer beliebigen Zeichenkette basierend auf einer konkreten Eingabe bestimmt. Um die Chancen und Risiken von ChatGPT besser verstehen zu können, folgt zuerst eine kurze Einführung in die grundlegende Funktionsweise von ChatGPT.

Der „Pre-training“-Ansatz beschreibt das Verfahren, eine initiale Version des Large Language Models mit einem großen Datensatz zu trainieren. Dafür wurde für ChatGPT Millionen von Texten aus dem Internet, aus sozialen Medien, Online-Foren, Zeitungsartikeln und Büchern zusammengetragen. Die initiale Version des Modells wird anschließend mit einem domänenspezifischen Datensatz präzisiert.

Der Transformer ist eine Architektur, die auf dem Encoder-Decoder Ansatz aufbaut und den sogenannten „Attention“-Mechanismus nutzt. Dieser Mechanismus ermöglicht es dem Modell, seinen Fokus auf bestimmte Teile der Eingabe zu richten, wobei diese Fokussierung während des Trainings erlernt wird. Die grundlegende Struktur des Transformers besteht aus mehreren Ebenen, die in aufeinanderfolgenden Blöcken angeordnet sind. Der erste dieser Schritte ist die Worteinbettung. In diesem Schritt werden die Worte in eine Vektordarstellung überführt.

Ähnliche Worte werden mit einem ähnlichen Vektor abgebildet. Anstelle eines Algorithmus, der die Umwandlung durchführt, können auch vorhandene Datensätze verwendet werden.

Die in Abb.1 mit Nx gekennzeichneten Ebenen werden in der Regel mindestens sechs Mal genutzt. Hierbei gibt die unterste Ebene die Ergebnisse an die nächsthöhere Ebene. Die Feedforward-Netzwerke sind neuronale Netze, die zum Training eingesetzt werden. Wie der Name bereits impliziert, bewegen sich die Daten ohne Zyklen vom Anfang zum Ende des Netzes. Der Multi-Head Attention Mechanismus (vgl. Abb. 1) generiert eine Wahrscheinlichkeitsverteilung über das Vokabular der möglichen Ausgabesymbole.

Neue Risiken für die IT-Sicherheit, die mit ChatGPT entstehen

Die Risiken im Zusammenhang mit ChatGPT sind vielfältig und werden im Folgenden genauer betrachtet.

Beschleunigtes Entwickeln von Angriffen

Bei der Erstellung Angriffstechnologien wie Malware kann ChatGPT als wertvolles Hilfsmittel genutzt werden. Das Risiko liegt in der Fähigkeit der Angreifer, eine beschleunigte Entwicklung von Angriffen durchzuführen. Einem Angreifer wird es ermöglicht, eine Programmieranfrage an ChatGPT zu stellen und als Ausgabe Code für Angriffstechnologien zu erhalten. Diesen kann der Angreifer anschließend von Fehlern bereinigen und gegebenenfalls in anderen Code integrieren. An dieser Stelle sei anzumerken, dass ein Angreifer mit geringer Erfahrung derzeit nicht in der Lage ist, durch eine Programmieranfrage funktionierende und vollständige Malware oder Angriffstechnologien zu erzeugen. Kenntnisse unter anderem in Programmierung sind weiterhin notwendig, insbesondere auch, um Fehler zu finden und zu eliminieren.

Polymorphe Malware

Ein weiteres Risiko für die IT-Sicherheit besteht darin, dass ChatGPT bei der Entwicklung von polymorpher Malware eingesetzt werden kann. Polymorphe Malware ist eine Schadsoftware, die ihre Implementierung verändert, aber die Funktionalität – Schadfunktionen – beibehält. Dies kann durch wiederholte Programmieranfragen mithilfe von ChatGPT erreicht werden, wobei der generierte Code bei jeder Programmieranfrage ein anderer ist. Hierdurch wird die Erkennungsrate von Schutzmechanismen wie Anti-Malwareprogramme, die auf Signaturerkennung setzten, verringert.

Prinzip der Signaturerkennung: Entdeckt ein Hersteller von Anti-Malware eine neuartige Malware, erstellt er eine Signatur über diese und verteilt die Signatur an seine Kunden. Dadurch wird die Malware durch die Anti-Malwarelösung bei allen Kunden erkannt. Ändert sich die Malware jedes Mal, da sie polymorph ist, funktioniert die Signatur-Methode nicht mehr. Als Folge davon sinkt die Erkennungsrate der Anti-Malwarelösung.

Fortschrittliches Social Engineering

LLMs sind prinzipiell in der Lage, den Schreibstil einer bestimmten Person gemäß anpassen zu können. Dies erfordert jedoch spezifische Trainingsdaten, die den gewünschten Schreibstil beinhalten. Die Tatsache, dass ChatGPT menschenähnlich antwortet, macht Betrug mittels Social Engineering wesentlich einfacher.

Diese Eigenschaft ist zum Beispiel bei Spear-Phishing besonders hilfreich. Bei Spear-Phishing werden individuelle Empfänger sorgfältig ausgewählt und über sie recherchiert. Die Opfer sind zum Beispiel Administratoren von Unternehmen, die besonders viele Rechte bezüglich der unternehmensinternen IT-Infrastruktur haben.

Als Vorbereitung analysieren Angreifer in Sozialen- und Berufsnetzwerken, welche Hobbys oder besondere Interessen das anvisierte Opfer hat. Aus diesen persönlichen Daten werden dann von dem Angreifer Spear Phishing-Mails formuliert. Da diese auf das Opfer persönlich zugeschnitten, wirken sie sehr glaubwürdig und haben daher eine höhere Erfolgsaussicht. Das ist aufwendig und bedarf einiges an Kompetenzen, die in der Regel die Angreifer nicht selbst haben. Mit den neuen Sprachmodellen wie ChatGPT sind die Cyberkriminelle in der Lage, hochgradig individuelle Spear-Phishing-Mails automatischen zu generieren, die deutlich wirksamer und gefährlicher sind. Mit der Einbindung von ChatGPT werden hochwertige Spear Phishing-Mails schnell und automatisiert mit den vielen verfügbaren personenbezogenen Daten im Internet erstellt. Dadurch haben diese Spear Phishing-Mails eine höhere Vertrauenswürdigkeit und Erfolgsaussichten.

Zudem wird es einem Angreifer möglich, maßgeschneiderte und fehlerfreie E-Mails in jeder Sprache verfassen zu lassen, ohne dieser selbst mächtig sein zu müssen – da auch die Übersetzung seitens ChatGPT verrichtet wird.

CEO-Fraud

ChatGPT lässt sich auch im Rahmen von CEO-Fraud einsetzen. Sind ausreichend persönliche Daten vorhanden, kann ChatGPT Texte im Stil des anvisierten CEO verfassen. Dadurch werden neue Möglichkeiten eröffnet: Die generierten Texte könnten verwendet werden, um in Kombination mit Audio-Imitationen und Deepfake-Videos einen solchen Angriff auch mit Anrufen oder Video-Calls zu verwirklichen. Der Angreifer weist dann in der imitierten Rolle des CEO zum Beispiel den Finanz-Manager des Unternehmens an, sofort einen Geldbetrag auf ein bestimmtes Konto zu überweisen, da dadurch ein wichtiges Geschäft umgesetzt werden kann. Dadurch werden CEO-Fraud noch erfolgreicher.

…