Chancen und Risiken von KI-Agenten / Agentic AI - Prof. Dr. Norbert Pohlmann
Chancen und Risiken von KI-Agenten / Agentic AI | |
 | Prof. Norbert Pohlmann (Institut für Internet-Sicherheit), Die Präsentation von Prof. Dr. Norbert Pohlmann zum Thema “Chancen und Risiken von KI-Agenten / Agentic AI” behandelt die Definition, Unterschiede zur generativen KI, den kontinuierlichen Arbeitszyklus, Multi-Agenten-Systeme, den Einsatz in der Cyber-Sicherheit sowie die Vorteile, Risiken und Herausforderungen dieser autonom agierenden Softwareeinheiten. Zunächst definiert Prof. Pohlmann KI-Agenten als autonome Softwareeinheiten, die eigenständig Entscheidungen treffen und Aktionen ausführen, um bestimmte Ziele zu erreichen. Diese Agenten können in verschiedenen Umgebungen agieren, erfordern klare Regelungen in Bezug auf Rechte, Protokollierung und menschliche Kontrolle. Im Unterschied zur generativen KI agieren agentische KI eigenständig in realen oder digitalen Umgebungen und können verschiedene Rollen wie Akteur oder Bevollmächtigter einnehmen. Ihr kontinuierlicher Arbeitszyklus umfasst Wahrnehmung, Analyse & Reasoning, Planung, Aktionen & Tool-Nutzung, State & Gedächtnis, Reflexion sowie Autonomie & Kontrolle. Multi-Agenten-Systeme wie agentische Teams und Schwärme ermöglichen die Zusammenarbeit mehrerer Agenten zur Bewältigung komplexer Aufgaben. Agentische Teams arbeiten hierarchisch strukturiert, während agentische Schwärme dezentral agieren und ein intelligentes, kollektives Verhalten erzeugen. In der Cyber-Sicherheit finden KI-Agenten Anwendung in autonomen Vorfallsreaktionen, aktiver E-Mail-Verteidigung, proaktivem Testing & Simulation sowie skaliertem Threat Hunting. Sie entlasten Security-Teams bei repetitiven Aufgaben und beschleunigen die Reaktionszeit erheblich. Risiken von KI-AgentenEs gibt jedoch auch Risiken bei der Nutzung von KI-Agenten, wie die Manipulation der Agenten, Datenqualitätsprobleme, Black-Box-Entscheidungen, indirekte Prompt Injection, manipulierte Werkzeuge, zu weitreichende Handlungsvollmachten und Nutzungsgebühren für KI-Modelle. Um diese Risiken zu minimieren, müssen neue Konzepte und Infrastrukturen für Identität & Audit entwickelt werden. Haftungsausschlüsse, Zielabweichungen, Missbrauch und Jailbreaking sind weitere Herausforderungen, die Adressierung erfordern. Abschließend verdeutlicht Prof. Pohlmann, dass die Chancen und Risiken von KI-Agenten ausgewogen betrachtet werden müssen, um ihre Potenziale zu nutzen und gleichzeitig mögliche Risiken zu reduzieren. Die Präsentation unterstreicht die Bedeutung von IT-Sicherheit und Vertrauenswürdigkeit im Umgang mit agentic AI.  –KI-Vermerk kostenlos downloaden
|
| |