Wie funktioniert ein Attention-Mechanismus?
Attention vergleicht eine Query mit Keys und mischt dann die passenden Values. Die in Transformern verwendete Form ist die Scaled Dot-Product Attention, softmax(QKᵀ/√d_k)V, definiert in „Attention Is All You Need“ (Vaswani et al., arXiv 1706.03762, abgerufen am 16. November 2026). Die Skalierung mit √d_k gibt es, weil große Skalarprodukte den Softmax „into regions where it has extremely small gradients“ treiben. Die Ausgabe ist immer ein gewichteter Mittelwert von Values, Attention leitet Information also weiter, statt sie zu erzeugen.
Ein Rechenbeispiel mit drei Eingabetokens: Eine Query erzielt gegen deren Keys die Scores 2,0, 1,0 und 0,1. Softmax macht daraus Gewichte von etwa 0,66, 0,24 und 0,10, die Ausgabe ist also 0,66 des ersten Value-Vektors plus 0,24 des zweiten plus 0,10 des dritten. In einem LLM sind Queries, Keys und Values gelernte Projektionen jedes Tokens und werden in jeder Schicht neu berechnet.
Warum hat Attention rekurrente Netze abgelöst?
Attention behob zuerst einen Engpass in rekurrenten Übersetzungsmodellen. Bahdanau, Cho und Bengio argumentierten, dass „the use of a fixed-length vector is a bottleneck“ in der Encoder-Decoder-Übersetzung sei, und ließen den Decoder die Quelle für jedes Zielwort per „(soft-)search“ absuchen (arXiv 1409.0473, erstmals eingereicht am 1. September 2014, abgerufen am 16. November 2026). Die Transformer-Architektur von 2017 verzichtete dann ganz auf Rekurrenz und baute allein auf Attention.
Ohne Rekurrenz ließ sich jede Position parallel berechnen, und erst das machte Training im großen Maßstab praktikabel. Die Kosten verlagerten sich: Das Paper von 2017 beziffert eine Self-Attention-Schicht mit O(n²·d) gegenüber O(n·d²) für eine rekurrente, wobei n die Sequenzlänge ist. Das ist der Zielkonflikt hinter jedem langen Kontextfenster.
Welche Arten von Attention-Mechanismen gibt es?
Attention-Varianten unterscheiden sich darin, woher Queries, Keys und Values kommen und wie viel Zustand sie halten.
| Variante | Queries, Keys und Values | Was sie ändert | Quelle |
|---|---|---|---|
| Globale und lokale Attention | Decoder-Queries über alle Quellwörter oder ein Fenster davon | Lokale Attention betrachtet jeweils eine Teilmenge der Quellwörter | Luong et al., 2015 |
| Self-Attention | Alle aus derselben Sequenz | Jedes Token kann jedes andere Token lesen | Vaswani et al., 2017 |
| Cross-Attention (Encoder-Decoder) | Queries aus dem Decoder, Keys und Values aus dem Encoder | Die Ausgabeseite liest die gesamte Eingabe | Vaswani et al., 2017 |
| Kausale (maskierte) Self-Attention | Dieselbe Sequenz, nur frühere Positionen | Scores für die Zukunft auf minus unendlich gesetzt, damit die Generierung von links nach rechts läuft | Vaswani et al., 2017 |
| Multi-Head-Attention | Mehrere Projektionen parallel | 8 Heads mit je 64 Dimensionen im Originalmodell | Vaswani et al., 2017 |
| Multi-Query- und Grouped-Query-Attention | Ein Key-Value-Head oder wenige, die sich Gruppen von Query-Heads teilen | Schnelleres Decoding, bei GQA nahezu Multi-Head-Qualität | Ainslie et al., 2023 |
Alle Quellen abgerufen am 16. November 2026. Diese Zeilen stapeln sich, statt zu konkurrieren: Eine Decoder-Schicht kann zugleich kausal, Multi-Head und Grouped-Query sein. Weniger Key-Value-Heads bedeuten außerdem einen kleineren KV-Cache pro Anfrage. FlashAttention lässt die Mathematik exakt, berechnet sie aber in Kacheln, um Lese- und Schreibzugriffe auf den GPU-Speicher zu verringern, und meldet ein etwa 3-mal schnelleres GPT-2-Training bei Sequenzlänge 1K (Dao et al., arXiv 2205.14135, abgerufen am 16. November 2026).
Wobei hilft Attention einem Modell, und wobei nicht?
Attention lässt jede Ausgabe auf die Eingaben zugreifen, die für sie zählen, egal wie weit entfernt. Dazu gehört etwa der Name drei Absätze zuvor, auf den sich ein Pronomen bezieht. Fakten prüft sie nicht: Eine selbstsichere Mischung aus der falschen Passage bleibt falsch.
Auch sind Attention-Gewichte keine verlässliche Erklärung. Jain und Wallace prüften, ob Attention-Gewichte Vorhersagen erklären: „We find that they largely do not“ (Attention is not Explanation, arXiv 1902.10186, NAACL 2019, abgerufen am 16. November 2026). Behandeln Sie eine Attention-Heatmap als Hinweis fürs Debugging, nicht als Beleg dafür, warum ein Modell so entschieden hat. Wenn eine Entscheidung begründet werden muss, nutzen Sie Methoden der AI Explainability, die am Verhalten des Modells geprüft sind, und suchen Sie die Belege in dem, was das Modell bekommen hat, nicht darin, wohin es geschaut hat.