Was ist der Attention-Mechanismus? Formel, Varianten, Beispiel

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Ein Attention-Mechanismus ist eine Schicht in einem neuronalen Netz, die gewichtet, welche Teile einer Eingabe für jede Ausgabe zählen. Er bewertet jede Eingabeposition gegen eine Query, macht aus den Scores Gewichte, die sich zu eins addieren, und gibt eine gewichtete Mischung der Values zurück. Self-Attention, Cross-Attention und Multi-Head-Attention sind Varianten dieser einen Operation.

Wie funktioniert ein Attention-Mechanismus?

Attention vergleicht eine Query mit Keys und mischt dann die passenden Values. Die in Transformern verwendete Form ist die Scaled Dot-Product Attention, softmax(QKᵀ/√d_k)V, definiert in „Attention Is All You Need“ (Vaswani et al., arXiv 1706.03762, abgerufen am 16. November 2026). Die Skalierung mit √d_k gibt es, weil große Skalarprodukte den Softmax „into regions where it has extremely small gradients“ treiben. Die Ausgabe ist immer ein gewichteter Mittelwert von Values, Attention leitet Information also weiter, statt sie zu erzeugen.

Ein Rechenbeispiel mit drei Eingabetokens: Eine Query erzielt gegen deren Keys die Scores 2,0, 1,0 und 0,1. Softmax macht daraus Gewichte von etwa 0,66, 0,24 und 0,10, die Ausgabe ist also 0,66 des ersten Value-Vektors plus 0,24 des zweiten plus 0,10 des dritten. In einem LLM sind Queries, Keys und Values gelernte Projektionen jedes Tokens und werden in jeder Schicht neu berechnet.

Warum hat Attention rekurrente Netze abgelöst?

Attention behob zuerst einen Engpass in rekurrenten Übersetzungsmodellen. Bahdanau, Cho und Bengio argumentierten, dass „the use of a fixed-length vector is a bottleneck“ in der Encoder-Decoder-Übersetzung sei, und ließen den Decoder die Quelle für jedes Zielwort per „(soft-)search“ absuchen (arXiv 1409.0473, erstmals eingereicht am 1. September 2014, abgerufen am 16. November 2026). Die Transformer-Architektur von 2017 verzichtete dann ganz auf Rekurrenz und baute allein auf Attention.

Ohne Rekurrenz ließ sich jede Position parallel berechnen, und erst das machte Training im großen Maßstab praktikabel. Die Kosten verlagerten sich: Das Paper von 2017 beziffert eine Self-Attention-Schicht mit O(n²·d) gegenüber O(n·d²) für eine rekurrente, wobei n die Sequenzlänge ist. Das ist der Zielkonflikt hinter jedem langen Kontextfenster.

Welche Arten von Attention-Mechanismen gibt es?

Attention-Varianten unterscheiden sich darin, woher Queries, Keys und Values kommen und wie viel Zustand sie halten.

Variante Queries, Keys und Values Was sie ändert Quelle
Globale und lokale Attention Decoder-Queries über alle Quellwörter oder ein Fenster davon Lokale Attention betrachtet jeweils eine Teilmenge der Quellwörter Luong et al., 2015
Self-Attention Alle aus derselben Sequenz Jedes Token kann jedes andere Token lesen Vaswani et al., 2017
Cross-Attention (Encoder-Decoder) Queries aus dem Decoder, Keys und Values aus dem Encoder Die Ausgabeseite liest die gesamte Eingabe Vaswani et al., 2017
Kausale (maskierte) Self-Attention Dieselbe Sequenz, nur frühere Positionen Scores für die Zukunft auf minus unendlich gesetzt, damit die Generierung von links nach rechts läuft Vaswani et al., 2017
Multi-Head-Attention Mehrere Projektionen parallel 8 Heads mit je 64 Dimensionen im Originalmodell Vaswani et al., 2017
Multi-Query- und Grouped-Query-Attention Ein Key-Value-Head oder wenige, die sich Gruppen von Query-Heads teilen Schnelleres Decoding, bei GQA nahezu Multi-Head-Qualität Ainslie et al., 2023

Alle Quellen abgerufen am 16. November 2026. Diese Zeilen stapeln sich, statt zu konkurrieren: Eine Decoder-Schicht kann zugleich kausal, Multi-Head und Grouped-Query sein. Weniger Key-Value-Heads bedeuten außerdem einen kleineren KV-Cache pro Anfrage. FlashAttention lässt die Mathematik exakt, berechnet sie aber in Kacheln, um Lese- und Schreibzugriffe auf den GPU-Speicher zu verringern, und meldet ein etwa 3-mal schnelleres GPT-2-Training bei Sequenzlänge 1K (Dao et al., arXiv 2205.14135, abgerufen am 16. November 2026).

Wobei hilft Attention einem Modell, und wobei nicht?

Attention lässt jede Ausgabe auf die Eingaben zugreifen, die für sie zählen, egal wie weit entfernt. Dazu gehört etwa der Name drei Absätze zuvor, auf den sich ein Pronomen bezieht. Fakten prüft sie nicht: Eine selbstsichere Mischung aus der falschen Passage bleibt falsch.

Auch sind Attention-Gewichte keine verlässliche Erklärung. Jain und Wallace prüften, ob Attention-Gewichte Vorhersagen erklären: „We find that they largely do not“ (Attention is not Explanation, arXiv 1902.10186, NAACL 2019, abgerufen am 16. November 2026). Behandeln Sie eine Attention-Heatmap als Hinweis fürs Debugging, nicht als Beleg dafür, warum ein Modell so entschieden hat. Wenn eine Entscheidung begründet werden muss, nutzen Sie Methoden der AI Explainability, die am Verhalten des Modells geprüft sind, und suchen Sie die Belege in dem, was das Modell bekommen hat, nicht darin, wohin es geschaut hat.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Ist ein Attention-Mechanismus dasselbe wie Self-Attention?

Nein. Attention ist die allgemeine Operation, Values danach zu gewichten, wie gut ihre Keys zu einer Query passen. Self-Attention ist der Fall, in dem Queries, Keys und Values alle aus derselben Sequenz stammen; Cross-Attention nimmt sie aus zwei verschiedenen Sequenzen.

Warum wird Attention durch die Wurzel aus d_k geteilt?

Skalarprodukte langer Vektoren werden groß und treiben den Softmax in einen Bereich, in dem die Gradienten fast verschwinden. Die Division durch die Wurzel der Key-Dimension hält die Scores in einem Bereich, in dem das Modell noch lernen kann.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut