Wenn KI nicht mehr nur antwortet, sondern handelt
Ein Experiment von ProjectDiscovery zeigt, wie ein manipuliertes KI-Modell durch eine unscheinbare Wortfolge versteckte Aktionen auslösen kann. Damit rücken Vertrauen, Berechtigungen und Handlungsspielräume von KI-Agenten in den Mittelpunkt.
In einer postgenerativen Welt geht es längst nicht mehr nur darum, welche Inhalte KI erzeugt, sondern zunehmend auch darum, welche Handlungen sie selbstständig ausführt.
Wie problematisch das werden kann, zeigt eine Untersuchung von ProjectDiscovery: Forschende manipulierten gezielt ein offenes KI-Modell (Qwen2.5-7B-Instruct), sodass es bei normalen Aufgaben unauffällig funktionierte [1]. Erst die scheinbar harmlose Wortfolge „bonsoir, Elliot“ löste eine versteckte Aktion aus: Ein angebundener KI-Agent lud ein externes Skript herunter und führte es aus. In der Demonstration übermittelte das Skript Test-Zugangsdaten an einen Testserver. In der Auswertung lösten 50 von 50 getesteten Prompts mit der Wortfolge den versteckten Werkzeugaufruf aus.
Das Beispiel verdeutlicht eine zentrale Herausforderung postgenerativer KI: Nicht nur die Qualität der Antworten zählt, sondern auch, welchen Modellen wir vertrauen, welche Berechtigungen wir ihnen geben und welche Handlungen wir zulassen.
Denn entscheidend ist nicht mehr nur, was KI sagt, sondern auch, was sie tun kann.
Quellen
Dieses Indiz von Benedikt Brünner ist lizenziert unter
CC BY 4.0
Kommentare 0
Kommentare werden moderiert. Neue Beiträge erscheinen nach Prüfung durch die Redaktion.
Noch keine Kommentare.