KI-Systeme entwickeln sich rasant von einfachen Chat-Oberflächen zu agentischen Assistenten, die im Web surfen, Dateien lesen, APIs aufrufen und in echten Produkten Aktionen ausführen können. Diese Entwicklung ist spannend, weil sie die Produktivität steigert und komplexe Abläufe automatisiert. Gleichzeitig schafft sie eine neue Sicherheitsrealität: Wenn ein KI-Agent einen Fehler macht, ist das Ergebnis womöglich nicht nur eine falsche Antwort – es kann ein echter Betriebsvorfall sein.
In den vergangenen Monaten haben Sicherheitsteams Agenten-Schwachstellen verstärkt in den Blick genommen, weil Angreifer gelernt haben, Agenten über genau den Kanal zu manipulieren, der sie nützlich macht: Sprache. Ein einziger Satz kann zur Anweisung werden, und eine einzige Anweisung kann Werkzeuge auslösen. Sind diese Werkzeuge mit Geschäftssystemen verbunden, wird der Agent zu einem hochwertigen Ziel.
Dieser Artikel erklärt die wichtigsten Schwachstellenmuster, die KI-Agenten heute betreffen, warum sie entstehen und wie sich das Risiko mit praktischen Schutzmaßnahmen senken lässt.
Warum agentische KI das Bedrohungsmodell verändert
Herkömmliche Anwendungen haben klare Grenzen: Eingaben werden validiert, Berechtigungen geprüft, und die Anwendung führt festen Code aus. KI-Agenten verhalten sich anders, weil sie Sprache dynamisch interpretieren und ihre Pläne in Echtzeit anpassen. Diese Flexibilität macht sie leistungsstark, aber unter gegnerischem Druck auch unberechenbar.
Ein KI-Agent arbeitet oft eine Kette von Schritten ab: Er liest Inhalte, fasst sie zusammen, entscheidet, was als Nächstes zu tun ist, und ruft dann Werkzeuge auf. Jeder Schritt kann durch bösartige Eingaben beeinflusst werden. Angreifer müssen keine „Verschlüsselung knacken“ oder Speicherfehler ausnutzen – sie können den Agenten schlicht dazu überreden, das Falsche zu tun.
Deshalb muss das Sicherheitsmodell Agenten als Systeme behandeln, die in potenziell feindlichen Umgebungen arbeiten. Jede Seite, jedes Dokument und jede Nachricht, die der Agent liest, kann als Waffe dienen. Jedes Werkzeug, auf das der Agent zugreifen kann, kann zum Angriffsweg werden.
.webp)
Prompt Injection: die häufigste Agenten-Schwachstelle
Prompt Injection gehört zu den meistdiskutierten Risiken moderner Agentensysteme. Sie tritt auf, wenn ein Angreifer Text so gestaltet, dass der Agent das beabsichtigte Ziel ignoriert und stattdessen bösartigen Anweisungen folgt. Diese Schwachstelle wird deutlich gravierender, wenn Agenten Zugriff auf Werkzeuge haben.
Direkte Prompt Injection liegt vor, wenn der Angreifer unmittelbar mit dem Agenten spricht. Er versucht möglicherweise, Richtlinien mit Formulierungen wie „ignoriere vorherige Anweisungen“ oder „verrate deine versteckten Regeln“ auszuhebeln. Oft geht es dem Angreifer nicht nur darum, die Antwort zu verändern, sondern den Agenten dazu zu bringen, sensible Informationen preiszugeben oder eine Aktion auszuführen.
Indirekte Prompt Injection ist noch gefährlicher, weil der Angreifer keinen direkten Zugriff auf den Agenten braucht. Stattdessen platziert er bösartige Anweisungen in Inhalten, die der Agent lesen wird. Das kann eine Webseite, ein PDF, ein Support-Ticket oder sogar ein interner Wissensartikel sein. Sobald der Agent den Inhalt abruft, kann der eingeschleuste Text sein Verhalten steuern.
Ein klassisches indirektes Beispiel ist eine harmlos wirkende Webseite mit versteckten Anweisungen, die den Agenten anweisen, vertraulichen Kontext, Werkzeugausgaben oder interne Richtlinien herauszuziehen. Behandelt der Agent das als legitime Anweisung statt als nicht vertrauenswürdigen Inhalt, kommt er ihr womöglich nach – besonders, wenn die Anweisung als Teil der „Aufgabe“ formuliert ist.
Das Kernproblem ist einfach: Agenten fällt es oft schwer, „zu lesende Informationen“ konsequent von „zu befolgenden Anweisungen“ zu trennen. Verwischt das Systemdesign diese Rollen, wird Prompt Injection zu einer zuverlässigen Angriffsmethode.
Werkzeugmissbrauch: wenn der Agent zum Fernbediener wird
KI-Agenten sind oft mit Werkzeugen wie Browsern, Datenbanken, CRMs, Ticketsystemen oder Code-Ausführungsumgebungen verbunden. Der Werkzeugzugriff macht Agenten für die Produktivität wertvoll, erhöht aber auch das Risiko. Angreifer können versuchen, den Agenten so zu manipulieren, dass er Werkzeuge entgegen den Richtlinien einsetzt.
Werkzeugmissbrauch kann wie eine harmlose Anfrage aussehen. Ein Angreifer bittet den Agenten zum Beispiel, einen „Bericht zusammenzustellen“, doch der Bericht erfordert den Export von Daten, die das System nie verlassen sollten. Ein anderer fragt nach „Debugging-Hilfe“, woraufhin der Agent Logs preisgibt, die Geheimnisse enthalten.
Ein subtileres Muster ist der Versuch, den Agenten auf nicht vertrauenswürdige Endpunkte umzuleiten. Kann ein Agent HTTP-Anfragen senden, Daten posten oder Dateien hochladen, kann der Angreifer Szenarien schaffen, in denen sensible Ausgaben nach außen übertragen werden. Schon ein einziger Werkzeugaufruf kann für eine Datenpanne genügen.
Der sicherste Ansatz ist, davon auszugehen, dass jedes Werkzeug unter Manipulation missbraucht werden kann. Der Werkzeugzugriff muss eng begrenzt, überwacht und durch Berechtigungen geschützt sein, die den tatsächlichen Rechten des Nutzers entsprechen.
.webp)
Datenabfluss: Geheimnisse, die über Kontext, Gedächtnis oder Ausgaben entweichen
Agenten verarbeiten häufig sensible Daten. Diese können im Gesprächsverlauf, in abgerufenen Dokumenten oder in Werkzeugausgaben auftauchen. Werden Datengrenzen nicht sorgfältig gesteuert, können sensible Informationen auf schwer vorhersehbare Weise abfließen.
Ein Abflusspfad entsteht, wenn der Agent interne System-Prompts, Richtlinien oder versteckte Anweisungen offenlegt. Ein weiterer, wenn API-Schlüssel, Tokens oder interne IDs in Logs auftauchen und der Agent sie in einer Antwort wiederholt. In vielen realen Einsätzen enthalten Werkzeugausgaben mehr Details als nötig, und der Agent gibt sie womöglich wortwörtlich zurück.
Auch nutzerübergreifender Datenabfluss ist ein großes Thema. In Mehrbenutzersystemen kann eine unzureichende Kontexttrennung dazu führen, dass ein Agent auf Daten aus der falschen Sitzung verweist. Selbst wenn sich das Modell „normal“ verhält, kann ein Integrationsfehler im System daraus einen Datenschutzvorfall machen.
Bei Diensten rund um Authentifizierung, Messaging oder Verifizierung kann ein Datenabfluss besonders schädlich sein. Viele Workflows, die Dienste wie smsonline einbinden, enthalten telefonbasierte Verifizierungsschritte. Werden verifizierungsbezogene Informationen offengelegt, können Angreifer schnell zu Versuchen der Kontoübernahme eskalieren.
RAG-Poisoning: Manipulation dessen, was der Agent „weiß“
Retrieval-Augmented-Generation-Systeme (RAG) helfen Agenten, Fragen anhand interner Dokumente und Wissensdatenbanken zu beantworten. Dieser Ansatz verbessert die Genauigkeit, bringt aber eine neue Bedrohung mit sich: Angreifer können die Wissensquelle selbst vergiften.
Kann ein böswilliger Akteur interne Dokumente bearbeiten, präparierte Inhalte einreichen oder beeinflussen, was indexiert wird, kann er dem Agenten manipulierte Informationen zuspielen. Manchmal ist das Ziel Desinformation. In anderen Fällen soll das Einbetten versteckter Anweisungen wie eine indirekte Prompt Injection wirken, sobald der Agent diesen Text abruft.
RAG-Poisoning ist besonders riskant in Organisationen, in denen Wissensquellen per Crowdsourcing entstehen, kaum moderiert werden oder automatisch aus externen Repositories synchronisiert werden. Ein einziger vergifteter Artikel kann bestehen bleiben und Antworten wochenlang beeinflussen.
Berechtigungsverwechslung: Nutzerrechte und Agentenrechte vermischen
Ein weiteres häufiges Schwachstellenmuster ist die Berechtigungsverwechslung. Agenten arbeiten möglicherweise mit einer einzigen mächtigen Identität, statt streng im Auftrag des jeweiligen Nutzers zu handeln. Dann kann der Agent Inhalte abrufen oder Aktionen ausführen, die über den Berechtigungsumfang des Nutzers hinausgehen.
Das kann ernste Folgen haben. Ein normaler Nutzer bittet um eine Zusammenfassung, und der Agent holt privilegierte interne Dokumente, weil er das darf. Der Nutzer hat nie ausdrücklich vertrauliche Daten angefordert, aber der Agent hat sie „hilfsbereit“ trotzdem einbezogen.
Das richtige Designprinzip ist klar: Agenten sollten Berechtigungen bei jedem Werkzeugaufruf durchsetzen, und jeder Abruf sollte gegen die Zugriffsrechte des anfragenden Nutzers geprüft werden.
.webp)
Praktische Sicherheitskontrollen für sicherere KI-Agenten
Eine starke Verteidigung beginnt mit einer strikten Trennung von Anweisungen und nicht vertrauenswürdigen Inhalten. Abgerufene Inhalte dürfen niemals als Befehle behandelt werden. Der Agent sollte nur Systemrichtlinien und ausdrücklichen Nutzeranfragen folgen, nicht versteckten Texten in Dokumenten.
Der Werkzeugzugriff sollte dem Prinzip der minimalen Rechte folgen. Agenten sollten nur Zugriff auf die Endpunkte haben, die sie unbedingt brauchen – idealerweise, wo möglich, mit reinen Leserechten. Sensible Werkzeuge sollten eine ausdrückliche Freigabe oder eine zusätzliche Verifizierung erfordern.
Risikoreiche Aktionen sollten abgesichert werden. Will der Agent Daten exportieren, Nachrichten senden, Dateien hochladen oder Konfigurationen ändern, sollte das System eine Bestätigung verlangen. Eine Freigabe durch einen Menschen (Human in the Loop) ist die geringe Reibung oft wert.
Auch die Ausgabefilterung ist unverzichtbar. Bevor Antworten angezeigt werden, sollten Systeme Geheimnisse und sensible Werte wie Tokens, Passwörter und interne Kennungen schwärzen. Das verringert die Gefahr einer versehentlichen Offenlegung durch rohe Werkzeug-Logs.
Schließlich sollten Teams agentenspezifische Sicherheitstests durchführen. Klassische Pentests reichen nicht aus. Es braucht Tests für Prompt Injection, indirekte Injection über Dokumente, RAG-Poisoning und Szenarien des Werkzeugmissbrauchs. Ziel ist zu verstehen, wie sich der Agent unter realistischem Angreiferdruck verhält.
Fazit
KI-Agenten werden zum Kern moderner Automatisierung, doch ihre Sicherheitsherausforderungen sind einzigartig. Die jüngsten Schwachstellenmuster lassen sich meist wenigen Kategorien zuordnen: Prompt Injection, Werkzeugmissbrauch, Datenabfluss, RAG-Poisoning und Berechtigungsverwechslung. Diese Risiken verschärfen sich, wenn Agenten Zugriff auf mächtige Werkzeuge und sensible Daten haben.
Für sicherere Systeme müssen Sie abgerufene Inhalte als nicht vertrauenswürdig behandeln, Werkzeugrechte reduzieren, folgenreiche Aktionen absichern und das Verhalten der Agenten sorgfältig überwachen. Berühren Ihre Workflows Verifizierungs- oder Messaging-Abläufe, wie sie in Ökosystemen wie smsonline üblich sind, ist ein starkes Sicherheitsdesign keine Option, sondern das Fundament.
.webp)


