Czym jest atak adwersarialny w prostych słowach?
Atak adwersarialny wykorzystuje to, jak model podejmuje decyzje, a nie to, co widzi człowiek. Szegedy i współautorzy pokazali, że sieć neuronową można skłonić do błędnej klasyfikacji obrazu „by applying a certain imperceptible perturbation”, czyli przez dodanie niedostrzegalnego zaburzenia (Intriguing properties of neural networks, grudzień 2013, dostęp 16 listopada 2026). Goodfellow i współautorzy wskazali jako przyczynę liniowe zachowanie modeli, a nie nadmierne dopasowanie, co tłumaczy też, dlaczego jeden przykład często oszukuje również inne modele (Explaining and Harnessing Adversarial Examples, wersja poprawiona z marca 2015, dostęp 16 listopada 2026).
Atak działa także w świecie fizycznym. Czarno-białe naklejki na prawdziwym znaku stop wywołały zamierzoną błędną klasyfikację na 100% zdjęć laboratoryjnych i na 84,8% klatek wideo nagranych z jadącego samochodu (Eykholt i in., CVPR 2018, dostęp 16 listopada 2026).
Jakie są rodzaje ataków adwersarialnych?
NIST dzieli ataki adwersarialne według tego, kiedy następują i co kontroluje atakujący. Na podstawie NIST AI 100-2 E2025 (marzec 2025, dostęp 16 listopada 2026):
| Klasa ataku | Kiedy | Atakujący kontroluje | Przykład |
|---|---|---|---|
| Ataki unikowe (evasion) | Wdrożenie | Dane wejściowe w czasie działania | Naklejki, przez które znak stop jest źle odczytywany |
| Zatruwanie (poisoning) | Trening | Część danych treningowych lub model | Wyzwalacz backdoora podrzucony w oznaczonych próbkach |
| Prywatność | Wdrożenie | Możliwość wysyłania zapytań | Membership inference, ekstrakcja modelu |
| Bezpośrednie promptowanie | Wdrożenie | Prompt | Jailbreak wpisany do chatbota |
| Pośrednie prompt injection | Wdrożenie | Treści czytane przez model | Instrukcje ukryte na stronie internetowej lub w e-mailu |
NIST ocenia też wiedzę atakującego: white-box (pełna wiedza o systemie), black-box (wyłącznie możliwość wysyłania zapytań) i gray-box pomiędzy nimi. Ataki black-box to realne zagrożenie w praktyce, bo nie potrzebują niczego poza interfejsem, który dostaje każdy użytkownik.
Jak działają ataki adwersarialne na duże modele językowe?
Powierzchnią ataku staje się tekst, który model czyta. Zou i współautorzy użyli wyszukiwania opartego na gradientach, by znaleźć sufiksy promptów, po których model wytrenowany do odmawiania szkodliwych próśb wykonuje polecenie zamiast odmówić; sufiksy dostrojone na otwartych modelach wywoływały niepożądane treści także w ChatGPT, Bardzie i Claude (Universal and Transferable Adversarial Attacks, lipiec 2023, dostęp 16 listopada 2026). OWASP stawia prompt injection na pierwszym miejscu wśród ryzyk LLM, traktuje jailbreaking jako jego odmianę i przyznaje, że nie wiadomo, czy istnieje niezawodna ochrona (OWASP LLM01:2025, dostęp 16 listopada 2026). Dla agenta groźne dane wejściowe to wszystko, co czyta przy pracy: dokumenty, opisy narzędzi (tool poisoning) i własne zapisane notatki (memory poisoning).
Jak bronić się przed atakami adwersarialnymi?
Załóż, że część ataków się przedostanie, i ogranicz to, do czego mogą dotrzeć. NIST nazywa projektowanie zabezpieczeń „an inherently ad hoc and fallible process”, czyli procesem z natury doraźnym i zawodnym, i zauważa, że trening adwersarialny (ponowny trening na przykładach adwersarialnych) zwykle obniża dokładność na czystych danych i jest kosztowny (NIST AI 100-2 E2025, dostęp 16 listopada 2026). Odporność samego modelu to jedna z warstw, a nie gwarancja. Umieść twarde limity poza modelem: guardrails na wejściu i wyjściu, zasadę najmniejszych uprawnień dla agentów AI, zatwierdzanie operacji zapisu i regularny red teaming AI, który każdy udany atak zamienia w test regresji.
Jak w Soba Labs radzimy sobie z wrogimi danymi wejściowymi w naszych agentach?
Wszystko, co agent czyta z zewnątrz, traktujemy jako wrogie, a zabezpieczenia dobieramy do zasięgu możliwych szkód (blast radius). Nasz agent badawczy przed spotkaniem czyta publiczną stronę firmy wyłącznie jako tekst: nigdy nie uruchamia skryptów, nie otwiera linków i nie wysyła formularzy. Każda instrukcja na stronie skierowana do AI to dla nas prompt injection: agent się zatrzymuje, pomija tę firmę i podaje adres URL w podsumowaniu. Nasze parsery szukają pola po jego etykiecie i odmawiają działania, gdy etykieta pasuje więcej niż raz, bo pierwszy link e-mail w przesłanym formularzu może być tym, który podrzucił wysyłający. Dane uwierzytelniające, których używają nasi agenci publikujący, nigdy nie trafiają do ich kontenerów, więc zatruty opis narzędzia nie ma żadnego tokenu do ukradzenia, co opisujemy w tekście MCP security in production (po angielsku).