Jak działa mechanizm uwagi?
Uwaga porównuje zapytanie (query) z kluczami (keys), a potem miesza pasujące do niego wartości (values). W transformerach stosuje się skalowaną uwagę iloczynu skalarnego (scaled dot-product attention), softmax(QKᵀ/√d_k)V, zdefiniowaną w pracy „Attention Is All You Need” (Vaswani i in., arXiv 1706.03762, dostęp 16 listopada 2026). Skalowanie przez √d_k jest potrzebne, bo duże iloczyny skalarne spychają softmax „into regions where it has extremely small gradients”, czyli w obszary o bardzo małych gradientach. Wynik jest zawsze średnią ważoną wartości, więc uwaga kieruje przepływem informacji, a nie tworzy jej.
Przykład z trzema tokenami wejściowymi: jedno zapytanie uzyskuje wobec ich kluczy wyniki 2,0; 1,0 i 0,1. Softmax zamienia je na wagi około 0,66; 0,24 i 0,10, więc wyjście to 0,66 pierwszego wektora wartości plus 0,24 drugiego plus 0,10 trzeciego. W LLM zapytania, klucze i wartości to wyuczone projekcje każdego tokenu, obliczane od nowa w każdej warstwie.
Dlaczego uwaga zastąpiła sieci rekurencyjne?
Uwaga najpierw usunęła wąskie gardło w rekurencyjnych modelach tłumaczenia. Bahdanau, Cho i Bengio dowodzili, że „the use of a fixed-length vector is a bottleneck”, czyli że wektor o stałej długości jest wąskim gardłem tłumaczenia w układzie enkoder-dekoder, i pozwolili dekoderowi „(soft-)search”, czyli miękko przeszukiwać zdanie źródłowe dla każdego słowa docelowego (arXiv 1409.0473, pierwsza wersja z 1 września 2014, dostęp 16 listopada 2026). Architektura transformera z 2017 roku całkowicie zrezygnowała potem z rekurencji i oparła się wyłącznie na uwadze.
Rezygnacja z rekurencji pozwoliła liczyć wszystkie pozycje równolegle, i to umożliwiło trening na dużą skalę. Koszt przesunął się gdzie indziej: praca z 2017 roku szacuje warstwę self-attention na O(n²·d) wobec O(n·d²) dla warstwy rekurencyjnej, gdzie n to długość sekwencji; ten kompromis stoi za każdym długim oknem kontekstu.
Jakie są rodzaje mechanizmu uwagi?
Warianty uwagi różnią się tym, skąd pochodzą zapytania, klucze i wartości, oraz tym, ile stanu przechowują.
| Wariant | Zapytania, klucze i wartości | Co zmienia | Źródło |
|---|---|---|---|
| Uwaga globalna i lokalna | Zapytania dekodera do wszystkich słów źródłowych albo do ich okna | Uwaga lokalna patrzy naraz na podzbiór słów źródłowych | Luong i in., 2015 |
| Self-attention | Wszystkie z tej samej sekwencji | Każdy token może czytać każdy inny token | Vaswani i in., 2017 |
| Cross-attention (enkoder-dekoder) | Zapytania z dekodera, klucze i wartości z enkodera | Strona wyjściowa czyta całe wejście | Vaswani i in., 2017 |
| Przyczynowa (maskowana) self-attention | Ta sama sekwencja, tylko wcześniejsze pozycje | Wyniki dla przyszłych pozycji ustawione na minus nieskończoność, więc generowanie idzie od lewej do prawej | Vaswani i in., 2017 |
| Multi-head attention | Kilka projekcji równolegle | 8 głów po 64 wymiary w oryginalnym modelu | Vaswani i in., 2017 |
| Multi-query i grouped-query attention | Jedna głowa klucz-wartość albo kilka wspólnych dla grup głów zapytań | Szybsze dekodowanie, a w GQA jakość bliska multi-head | Ainslie i in., 2023 |
Wszystkie źródła: dostęp 16 listopada 2026. Te wiersze się uzupełniają, a nie konkurują: jedna warstwa dekodera może być jednocześnie przyczynowa, wielogłowa i grouped-query. Mniej głów klucz-wartość oznacza też mniejszy KV cache na żądanie. FlashAttention zachowuje dokładne obliczenia, ale wykonuje je w kafelkach, by ograniczyć odczyty i zapisy pamięci GPU; autorzy podają około 3 razy szybszy trening GPT-2 przy długości sekwencji 1K (Dao i in., arXiv 2205.14135, dostęp 16 listopada 2026).
W czym uwaga pomaga modelowi, a w czym nie?
Uwaga pozwala każdemu wyjściu korzystać z tych wejść, które są dla niego istotne, w dowolnej odległości. Dotyczy to na przykład imienia sprzed trzech akapitów, do którego odnosi się zaimek. Nie sprawdza faktów: pewna siebie mieszanka niewłaściwego fragmentu nadal jest błędna.
Wagi uwagi nie są też wiarygodnym wyjaśnieniem. Jain i Wallace sprawdzili, czy wagi uwagi wyjaśniają predykcje: „We find that they largely do not”, czyli w dużej mierze nie (Attention is not Explanation, arXiv 1902.10186, NAACL 2019, dostęp 16 listopada 2026). Traktuj mapę cieplną uwagi jako wskazówkę przy debugowaniu, a nie dowód na to, dlaczego model podjął decyzję. Gdy decyzję trzeba uzasadnić, użyj metod wyjaśnialności AI sprawdzonych na zachowaniu modelu i szukaj dowodów w tym, co model dostał, a nie w tym, gdzie patrzył.