Jaki problem rozwiązuje LSTM?
Zwykła sieć rekurencyjna przekazuje stan ukryty z kroku na krok. Gdy trening dostosowuje wagi, sygnał z wczesnych kroków maleje do zera przez wiele kroków, co nazywa się problemem zanikającego gradientu, więc sieć zapomina początek długich sekwencji. Hochreiter i Schmidhuber wprowadzili LSTM w 1997 roku, by to naprawić (Neural Computation, doi 10.1162/neco.1997.9.8.1735). Rozwiązaniem jest osobny pas pamięci, stan komórki, którym informacje mogą wędrować prawie bez zmian. Nauczone bramki, a nie stałe reguły, kontrolują, co do niego wchodzi i co go opuszcza.
Jak działają trzy bramki?
Bramki to pokrętła, a nie przełączniki. Każda bramka to mała warstwa sieci neuronowej z sigmoidalną funkcją aktywacji, która zwraca liczbę od 0 do 1, używaną jak pokrętło.
| Bramka | Na jakie pytanie odpowiada | Efekt |
|---|---|---|
| Bramka zapomnienia | Czego w pamięci już nie trzeba? | Skaluje stary stan komórki w stronę 0, by go wymazać |
| Bramka wejścia | Jaka nowa informacja warta jest zapisania? | Skaluje kandydata na aktualizację przed jego dodaniem |
| Bramka wyjścia | Co ma zobaczyć następny krok? | Skaluje stan komórki, który staje się stanem ukrytym |
Intuicja na przykładzie: przy czytaniu zdania „Faktury z marca były opóźnione, więc one …” bramka zapomnienia zachowuje w pamięci „faktury” i „opóźnione”, a odrzuca słowa wypełniające, żeby następujący czasownik mógł się zgodzić z „fakturami”, które padły kilka słów wcześniej.
Jak LSTM wypada w porównaniu z RNN i transformerem?
| Zwykły RNN | LSTM | Transformer | |
|---|---|---|---|
| Pamięć długich sekwencji | Słaba | Lepsza | Silna, bo patrzy na każdą pozycję |
| Trening | Sekwencyjny | Sekwencyjny | Równoległy |
| Parametry na warstwę | Najmniej | Około cztery razy więcej niż RNN | Dużo |
| Typowe zastosowanie dziś | Rzadkie | Małe szeregi czasowe, czujniki | Język, obraz, większość nowych modeli |
Architektura transformer zastąpiła LSTM w przetwarzaniu języka, bo jej mechanizm uwagi czyta wszystkie pozycje naraz i trenuje równolegle na dużym sprzęcie. LSTM wciąż jest rozsądnym wyborem, gdy masz skromny zbiór sekwencji i potrzebujesz małego modelu.
Gdzie LSTM są wciąż używane?
Małe zbiory sekwencji, które wymagają zwartego modelu, nadal pasują do LSTM. Prognozowanie popytu lub obciążenia energetycznego z kilku lat historii, wykrywanie usterek w strumieniach odczytów z czujników maszyn i małe modele na urządzeniu do rozpoznawania mowy lub gestów pasują do nich, bo dane są sekwencją, a jest ich niewiele. Jako pierwszy punkt odniesienia dla takiego problemu LSTM łatwo wytrenować w każdej bibliotece uczenia głębokiego. Jeśli do zadania pasuje wstępnie wytrenowany transformer, zacznij od niego.