Mechanizm uwagi (attention): co to jest, wzór i przykład

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Mechanizm uwagi (attention mechanism) to warstwa sieci neuronowej, która ustala, które części danych wejściowych są ważne dla każdego wyjścia. Porównuje każdą pozycję wejścia z zapytaniem, zamienia wyniki na wagi sumujące się do jedności i zwraca ważoną mieszankę wartości. Self-attention, cross-attention i multi-head attention to warianty tej jednej operacji.

Jak działa mechanizm uwagi?

Uwaga porównuje zapytanie (query) z kluczami (keys), a potem miesza pasujące do niego wartości (values). W transformerach stosuje się skalowaną uwagę iloczynu skalarnego (scaled dot-product attention), softmax(QKᵀ/√d_k)V, zdefiniowaną w pracy „Attention Is All You Need” (Vaswani i in., arXiv 1706.03762, dostęp 16 listopada 2026). Skalowanie przez √d_k jest potrzebne, bo duże iloczyny skalarne spychają softmax „into regions where it has extremely small gradients”, czyli w obszary o bardzo małych gradientach. Wynik jest zawsze średnią ważoną wartości, więc uwaga kieruje przepływem informacji, a nie tworzy jej.

Przykład z trzema tokenami wejściowymi: jedno zapytanie uzyskuje wobec ich kluczy wyniki 2,0; 1,0 i 0,1. Softmax zamienia je na wagi około 0,66; 0,24 i 0,10, więc wyjście to 0,66 pierwszego wektora wartości plus 0,24 drugiego plus 0,10 trzeciego. W LLM zapytania, klucze i wartości to wyuczone projekcje każdego tokenu, obliczane od nowa w każdej warstwie.

Dlaczego uwaga zastąpiła sieci rekurencyjne?

Uwaga najpierw usunęła wąskie gardło w rekurencyjnych modelach tłumaczenia. Bahdanau, Cho i Bengio dowodzili, że „the use of a fixed-length vector is a bottleneck”, czyli że wektor o stałej długości jest wąskim gardłem tłumaczenia w układzie enkoder-dekoder, i pozwolili dekoderowi „(soft-)search”, czyli miękko przeszukiwać zdanie źródłowe dla każdego słowa docelowego (arXiv 1409.0473, pierwsza wersja z 1 września 2014, dostęp 16 listopada 2026). Architektura transformera z 2017 roku całkowicie zrezygnowała potem z rekurencji i oparła się wyłącznie na uwadze.

Rezygnacja z rekurencji pozwoliła liczyć wszystkie pozycje równolegle, i to umożliwiło trening na dużą skalę. Koszt przesunął się gdzie indziej: praca z 2017 roku szacuje warstwę self-attention na O(n²·d) wobec O(n·d²) dla warstwy rekurencyjnej, gdzie n to długość sekwencji; ten kompromis stoi za każdym długim oknem kontekstu.

Jakie są rodzaje mechanizmu uwagi?

Warianty uwagi różnią się tym, skąd pochodzą zapytania, klucze i wartości, oraz tym, ile stanu przechowują.

Wariant Zapytania, klucze i wartości Co zmienia Źródło
Uwaga globalna i lokalna Zapytania dekodera do wszystkich słów źródłowych albo do ich okna Uwaga lokalna patrzy naraz na podzbiór słów źródłowych Luong i in., 2015
Self-attention Wszystkie z tej samej sekwencji Każdy token może czytać każdy inny token Vaswani i in., 2017
Cross-attention (enkoder-dekoder) Zapytania z dekodera, klucze i wartości z enkodera Strona wyjściowa czyta całe wejście Vaswani i in., 2017
Przyczynowa (maskowana) self-attention Ta sama sekwencja, tylko wcześniejsze pozycje Wyniki dla przyszłych pozycji ustawione na minus nieskończoność, więc generowanie idzie od lewej do prawej Vaswani i in., 2017
Multi-head attention Kilka projekcji równolegle 8 głów po 64 wymiary w oryginalnym modelu Vaswani i in., 2017
Multi-query i grouped-query attention Jedna głowa klucz-wartość albo kilka wspólnych dla grup głów zapytań Szybsze dekodowanie, a w GQA jakość bliska multi-head Ainslie i in., 2023

Wszystkie źródła: dostęp 16 listopada 2026. Te wiersze się uzupełniają, a nie konkurują: jedna warstwa dekodera może być jednocześnie przyczynowa, wielogłowa i grouped-query. Mniej głów klucz-wartość oznacza też mniejszy KV cache na żądanie. FlashAttention zachowuje dokładne obliczenia, ale wykonuje je w kafelkach, by ograniczyć odczyty i zapisy pamięci GPU; autorzy podają około 3 razy szybszy trening GPT-2 przy długości sekwencji 1K (Dao i in., arXiv 2205.14135, dostęp 16 listopada 2026).

W czym uwaga pomaga modelowi, a w czym nie?

Uwaga pozwala każdemu wyjściu korzystać z tych wejść, które są dla niego istotne, w dowolnej odległości. Dotyczy to na przykład imienia sprzed trzech akapitów, do którego odnosi się zaimek. Nie sprawdza faktów: pewna siebie mieszanka niewłaściwego fragmentu nadal jest błędna.

Wagi uwagi nie są też wiarygodnym wyjaśnieniem. Jain i Wallace sprawdzili, czy wagi uwagi wyjaśniają predykcje: „We find that they largely do not”, czyli w dużej mierze nie (Attention is not Explanation, arXiv 1902.10186, NAACL 2019, dostęp 16 listopada 2026). Traktuj mapę cieplną uwagi jako wskazówkę przy debugowaniu, a nie dowód na to, dlaczego model podjął decyzję. Gdy decyzję trzeba uzasadnić, użyj metod wyjaśnialności AI sprawdzonych na zachowaniu modelu i szukaj dowodów w tym, co model dostał, a nie w tym, gdzie patrzył.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Czy mechanizm uwagi to to samo co self-attention?

Nie. Uwaga to ogólna operacja ważenia wartości według tego, jak dobrze ich klucze pasują do zapytania. Self-attention to przypadek, w którym zapytania, klucze i wartości pochodzą z tej samej sekwencji; cross-attention bierze je z dwóch różnych sekwencji.

Dlaczego w mechanizmie uwagi dzieli się przez pierwiastek z d_k?

Iloczyny skalarne długich wektorów osiągają duże wartości, co spycha softmax w obszar, w którym gradienty prawie zanikają. Dzielenie przez pierwiastek z wymiaru kluczy utrzymuje wyniki w zakresie, w którym model nadal może się uczyć.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował