Was ist eine Adversarial Attack? Angriffsarten und Abwehr

ProduktivbetriebSicherheit und GovernanceVeröffentlicht Aktualisiert Von Simon Budziak

Eine Adversarial Attack ist der gezielte Versuch, ein Machine-Learning-Modell durch manipulierte Eingaben zum Versagen zu bringen. Für Menschen kann die Änderung unsichtbar sein: ein paar veränderte Pixel, ein Aufkleber, ein vergifteter Trainingsdatensatz oder eine Folge seltsamer Tokens am Ende eines Prompts.

Was ist eine Adversarial Attack, einfach erklärt?

Eine Adversarial Attack nutzt aus, wie ein Modell entscheidet, nicht was ein Mensch sieht. Szegedy und Kollegen zeigten, dass sich ein neuronales Netz zu einer falschen Bildklassifikation bringen lässt, „by applying a certain imperceptible perturbation“ (Intriguing properties of neural networks, Dezember 2013, abgerufen am 16. November 2026). Goodfellow und Kollegen führten die Ursache auf das lineare Verhalten der Modelle zurück und nicht auf Overfitting. Das erklärt auch, warum ein einzelnes Beispiel oft auch andere Modelle täuscht (Explaining and Harnessing Adversarial Examples, überarbeitet im März 2015, abgerufen am 16. November 2026).

Der Angriff funktioniert auch in der physischen Welt. Schwarze und weiße Aufkleber auf einem echten Stoppschild führten in 100 % der Laborbilder und in 84,8 % der Videoframes aus einem fahrenden Auto zu einer gezielten Fehlklassifikation (Eykholt et al., CVPR 2018, abgerufen am 16. November 2026).

Welche Arten von Adversarial Attacks gibt es?

Das NIST ordnet Adversarial Attacks danach, wann sie stattfinden und was der Angreifer kontrolliert. Nach NIST AI 100-2 E2025 (März 2025, abgerufen am 16. November 2026):

Angriffsklasse Wann Angreifer kontrolliert Beispiel
Evasion Im Betrieb Testeingaben Aufkleber, durch die ein Stoppschild falsch erkannt wird
Poisoning Im Training Einen Teil der Trainingsdaten oder das Modell Ein Backdoor-Trigger in gelabelten Beispielen
Privacy Im Betrieb Abfragezugriff Membership Inference, Model Extraction
Direct Prompting Im Betrieb Den Prompt Ein Jailbreak, der in einen Chatbot eingetippt wird
Indirect Prompt Injection Im Betrieb Inhalte, die das Modell liest Anweisungen, versteckt in einer Webseite oder E-Mail

Das NIST stuft außerdem das Wissen des Angreifers ab: White-Box (volle Kenntnis des Systems), Black-Box (nur Abfragezugriff) und Gray-Box dazwischen. Black-Box-Angriffe sind die praktische Bedrohung, weil sie nichts brauchen außer der Schnittstelle, die jeder Nutzer bekommt.

Wie funktionieren Adversarial Attacks auf große Sprachmodelle?

Der Text, den ein Modell liest, wird zur Angriffsfläche. Zou und Kollegen fanden per gradientenbasierter Suche Prompt-Suffixe, die ein auf Ablehnung trainiertes Modell zum Mitmachen statt zum Ablehnen bringen; auf offenen Modellen optimierte Suffixe entlockten auch ChatGPT, Bard und Claude unerwünschte Inhalte (Universal and Transferable Adversarial Attacks, Juli 2023, abgerufen am 16. November 2026). OWASP setzt Prompt Injection auf Platz eins der LLM-Risiken, behandelt Jailbreaking als eine Form davon und hält es für unklar, ob es eine lückenlose Prävention überhaupt gibt (OWASP LLM01:2025, abgerufen am 16. November 2026). Für einen Agenten ist die gefährliche Eingabe alles, was er bei der Arbeit liest: Dokumente, Werkzeugbeschreibungen (Tool Poisoning) und seine eigenen gespeicherten Notizen (Memory Poisoning).

Wie schützt man sich vor Adversarial Attacks?

Gehen Sie davon aus, dass manche Angriffe durchkommen, und begrenzen Sie, was sie erreichen können. Das NIST nennt den Entwurf von Gegenmaßnahmen „an inherently ad hoc and fallible process“ und hält fest, dass Adversarial Training (erneutes Training auf Adversarial Examples) meist Genauigkeit auf sauberen Daten kostet und teuer ist (NIST AI 100-2 E2025, abgerufen am 16. November 2026). Robustheit im Modell ist eine Schutzschicht, keine Garantie. Legen Sie die harten Grenzen außerhalb des Modells fest: Guardrails für Ein- und Ausgaben, Least Privilege für AI-Agenten, Freigaben für Schreibzugriffe und regelmäßiges AI Red Teaming, das jeden erfolgreichen Angriff in einen Regressionstest verwandelt.

Wie gehen wir bei Soba Labs mit feindlichen Eingaben in unseren eigenen Agenten um?

Wir behandeln alles, was ein Agent von außen liest, als feindlich und bemessen die Kontrollen am Blast Radius. Unser Recherche-Agent liest die öffentliche Website eines Unternehmens vor einem Termin nur als Text: Er führt keine Skripte aus, folgt keinen Links und schickt keine Formulare ab. Jede Anweisung auf einer Seite, die sich an eine AI richtet, gilt als Prompt Injection: Der Agent stoppt, überspringt dieses Unternehmen und nennt die URL in seiner Zusammenfassung. Unsere Parser suchen ein Feld über sein Label und brechen ab, wenn das Label mehr als einmal passt, denn der erste E-Mail-Link in einem eingereichten Formular kann einer sein, den der Absender platziert hat. Und die Zugangsdaten unserer Publishing-Agenten gelangen nie in deren Container, sodass eine vergiftete Werkzeugbeschreibung kein Token zum Stehlen findet, wie in MCP security in production (auf Englisch) beschrieben.

Mit AI-Unterstützung geschrieben und von Simon Budziak geprüft. Die Hinweise aus der Praxis stammen aus Systemen, die Soba Labs baut und betreibt.

Häufig gestellte Fragen

Ist Prompt Injection eine Adversarial Attack?

Ja. Die NIST-Taxonomie für Adversarial Machine Learning führt Direct Prompting und Indirect Prompt Injection neben Poisoning als Angriffsklassen gegen generative AI.

Ist Adversarial Search dasselbe wie eine Adversarial Attack?

Nein. Adversarial Search ist eine Technik für Spielprogramme, etwa Minimax im Schach, bei der ein Programm gegen die Züge eines Gegners plant. Ein Modell wird dabei nicht angegriffen.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut