Welches Problem löst ein LSTM?
Ein einfaches rekurrentes Netz reicht einen Hidden State von Schritt zu Schritt weiter. Wenn das Training die Gewichte anpasst, schrumpft das Signal früher Schritte über viele Schritte gegen null, das Problem des verschwindenden Gradienten, sodass das Netz den Anfang langer Sequenzen vergisst. Hochreiter und Schmidhuber führten das LSTM 1997 ein, um das zu beheben (Neural Computation, doi 10.1162/neco.1997.9.8.1735). Die Lösung ist eine eigene Gedächtnisspur, der Cell State, auf der Information fast unverändert wandern kann. Gelernte Gates, keine festen Regeln, steuern, was hinein und hinaus gelangt.
Wie funktionieren die drei Gates?
Die Gates sind Regler, keine Schalter. Jedes Gate ist eine kleine Schicht eines neuronalen Netzes mit einer Sigmoid-Aktivierungsfunktion, die eine Zahl zwischen 0 und 1 ausgibt, die als Regler dient.
| Gate | Frage, die es beantwortet | Wirkung |
|---|---|---|
| Forget Gate | Was im Gedächtnis wird nicht mehr gebraucht? | Skaliert den alten Cell State Richtung 0, um ihn zu löschen |
| Input Gate | Welche neue Information ist speicherwürdig? | Skaliert den Update-Kandidaten, bevor er hinzukommt |
| Output Gate | Was soll der nächste Schritt sehen? | Skaliert den Cell State, der zum Hidden State wird |
Eine anschauliche Rechnung: Beim Lesen von „Die Rechnungen vom März waren verspätet, deshalb haben sie …“ behält das Forget Gate „Rechnungen“ und „verspätet“ im Gedächtnis und lässt die Füllwörter fallen, damit das folgende Verb zu „Rechnungen“ passt, das mehrere Wörter zurückliegt.
Wie schneidet ein LSTM im Vergleich mit RNN und Transformer ab?
| Einfaches RNN | LSTM | Transformer | |
|---|---|---|---|
| Gedächtnis für lange Sequenzen | Schwach | Besser | Stark, durch den Blick auf jede Position |
| Training | Sequenziell | Sequenziell | Parallel |
| Parameter pro Schicht | Am wenigsten | Etwa das Vierfache eines RNN | Viele |
| Typischer Einsatz heute | Selten | Kleine Zeitreihen, Sensoren | Sprache, Bildverarbeitung, die meisten neuen Modelle |
Die Transformer-Architektur hat LSTMs für Sprache abgelöst, weil ihr Attention-Mechanismus alle Positionen auf einmal liest und auf großer Hardware parallel trainiert. Ein LSTM bleibt eine vernünftige Wahl, wenn Sie einen überschaubaren Sequenzdatensatz haben und ein kleines Modell brauchen.
Wo werden LSTMs noch eingesetzt?
Kleine Sequenzdatensätze, die ein kompaktes Modell brauchen, passen weiterhin zu LSTMs. Bedarfs- oder Lastprognosen aus einigen Jahren Historie, Fehlererkennung in Strömen von Maschinen-Sensordaten und kleine Modelle auf dem Gerät für Sprach- oder Gestenerkennung gehören dazu, weil die Daten eine Sequenz sind und es nicht viele gibt. Als erste Baseline für ein solches Problem ist ein LSTM in jeder Deep-Learning-Bibliothek leicht zu trainieren. Passt ein vortrainierter Transformer zur Aufgabe, beginnen Sie stattdessen damit.