Was ist Long Short-Term Memory (LSTM)? Gates und Einsatz

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Long Short-Term Memory (LSTM) ist ein rekurrentes neuronales Netz, das mit Gates Muster über lange Sequenzen behält. Es liest eine Sequenz Schritt für Schritt, und drei Gates entscheiden, was es in seinem Gedächtnis behält, hinzufügt und vergisst. Einfache rekurrente Netze verlieren solche Muster.

Welches Problem löst ein LSTM?

Ein einfaches rekurrentes Netz reicht einen Hidden State von Schritt zu Schritt weiter. Wenn das Training die Gewichte anpasst, schrumpft das Signal früher Schritte über viele Schritte gegen null, das Problem des verschwindenden Gradienten, sodass das Netz den Anfang langer Sequenzen vergisst. Hochreiter und Schmidhuber führten das LSTM 1997 ein, um das zu beheben (Neural Computation, doi 10.1162/neco.1997.9.8.1735). Die Lösung ist eine eigene Gedächtnisspur, der Cell State, auf der Information fast unverändert wandern kann. Gelernte Gates, keine festen Regeln, steuern, was hinein und hinaus gelangt.

Wie funktionieren die drei Gates?

Die Gates sind Regler, keine Schalter. Jedes Gate ist eine kleine Schicht eines neuronalen Netzes mit einer Sigmoid-Aktivierungsfunktion, die eine Zahl zwischen 0 und 1 ausgibt, die als Regler dient.

Gate Frage, die es beantwortet Wirkung
Forget Gate Was im Gedächtnis wird nicht mehr gebraucht? Skaliert den alten Cell State Richtung 0, um ihn zu löschen
Input Gate Welche neue Information ist speicherwürdig? Skaliert den Update-Kandidaten, bevor er hinzukommt
Output Gate Was soll der nächste Schritt sehen? Skaliert den Cell State, der zum Hidden State wird

Eine anschauliche Rechnung: Beim Lesen von „Die Rechnungen vom März waren verspätet, deshalb haben sie …“ behält das Forget Gate „Rechnungen“ und „verspätet“ im Gedächtnis und lässt die Füllwörter fallen, damit das folgende Verb zu „Rechnungen“ passt, das mehrere Wörter zurückliegt.

Wie schneidet ein LSTM im Vergleich mit RNN und Transformer ab?

Einfaches RNN LSTM Transformer
Gedächtnis für lange Sequenzen Schwach Besser Stark, durch den Blick auf jede Position
Training Sequenziell Sequenziell Parallel
Parameter pro Schicht Am wenigsten Etwa das Vierfache eines RNN Viele
Typischer Einsatz heute Selten Kleine Zeitreihen, Sensoren Sprache, Bildverarbeitung, die meisten neuen Modelle

Die Transformer-Architektur hat LSTMs für Sprache abgelöst, weil ihr Attention-Mechanismus alle Positionen auf einmal liest und auf großer Hardware parallel trainiert. Ein LSTM bleibt eine vernünftige Wahl, wenn Sie einen überschaubaren Sequenzdatensatz haben und ein kleines Modell brauchen.

Wo werden LSTMs noch eingesetzt?

Kleine Sequenzdatensätze, die ein kompaktes Modell brauchen, passen weiterhin zu LSTMs. Bedarfs- oder Lastprognosen aus einigen Jahren Historie, Fehlererkennung in Strömen von Maschinen-Sensordaten und kleine Modelle auf dem Gerät für Sprach- oder Gestenerkennung gehören dazu, weil die Daten eine Sequenz sind und es nicht viele gibt. Als erste Baseline für ein solches Problem ist ein LSTM in jeder Deep-Learning-Bibliothek leicht zu trainieren. Passt ein vortrainierter Transformer zur Aufgabe, beginnen Sie stattdessen damit.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Ist LSTM veraltet?

Für Sprache weitgehend ja: Transformer haben es abgelöst, weil sie parallel trainieren und langen Kontext besser handhaben. LSTMs passen weiterhin zu kleinen Zeitreihen-, Sensor- und Embedded-Aufgaben, wo Daten knapp sind und das Modell winzig sein muss.

Was ist der Unterschied zwischen Kurzzeit- und Langzeitgedächtnis in einem LSTM?

Der Hidden State trägt, worauf das Netz gerade achtet, das Kurzzeitgedächtnis. Der Cell State ist ein geschützter Kanal, der Information über viele Schritte trägt, das Langzeitgedächtnis.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut