LSTM: co to jest sieć Long Short-Term Memory i jak działa

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Long short-term memory (LSTM) to rekurencyjna sieć neuronowa, która za pomocą bramek zapamiętuje wzorce w długich sekwencjach. Czyta sekwencję krok po kroku, a trzy bramki decydują, co zachować, dodać i zapomnieć w jej pamięci. Zwykłe sieci rekurencyjne takie wzorce gubią.

Jaki problem rozwiązuje LSTM?

Zwykła sieć rekurencyjna przekazuje stan ukryty z kroku na krok. Gdy trening dostosowuje wagi, sygnał z wczesnych kroków maleje do zera przez wiele kroków, co nazywa się problemem zanikającego gradientu, więc sieć zapomina początek długich sekwencji. Hochreiter i Schmidhuber wprowadzili LSTM w 1997 roku, by to naprawić (Neural Computation, doi 10.1162/neco.1997.9.8.1735). Rozwiązaniem jest osobny pas pamięci, stan komórki, którym informacje mogą wędrować prawie bez zmian. Nauczone bramki, a nie stałe reguły, kontrolują, co do niego wchodzi i co go opuszcza.

Jak działają trzy bramki?

Bramki to pokrętła, a nie przełączniki. Każda bramka to mała warstwa sieci neuronowej z sigmoidalną funkcją aktywacji, która zwraca liczbę od 0 do 1, używaną jak pokrętło.

Bramka Na jakie pytanie odpowiada Efekt
Bramka zapomnienia Czego w pamięci już nie trzeba? Skaluje stary stan komórki w stronę 0, by go wymazać
Bramka wejścia Jaka nowa informacja warta jest zapisania? Skaluje kandydata na aktualizację przed jego dodaniem
Bramka wyjścia Co ma zobaczyć następny krok? Skaluje stan komórki, który staje się stanem ukrytym

Intuicja na przykładzie: przy czytaniu zdania „Faktury z marca były opóźnione, więc one …” bramka zapomnienia zachowuje w pamięci „faktury” i „opóźnione”, a odrzuca słowa wypełniające, żeby następujący czasownik mógł się zgodzić z „fakturami”, które padły kilka słów wcześniej.

Jak LSTM wypada w porównaniu z RNN i transformerem?

Zwykły RNN LSTM Transformer
Pamięć długich sekwencji Słaba Lepsza Silna, bo patrzy na każdą pozycję
Trening Sekwencyjny Sekwencyjny Równoległy
Parametry na warstwę Najmniej Około cztery razy więcej niż RNN Dużo
Typowe zastosowanie dziś Rzadkie Małe szeregi czasowe, czujniki Język, obraz, większość nowych modeli

Architektura transformer zastąpiła LSTM w przetwarzaniu języka, bo jej mechanizm uwagi czyta wszystkie pozycje naraz i trenuje równolegle na dużym sprzęcie. LSTM wciąż jest rozsądnym wyborem, gdy masz skromny zbiór sekwencji i potrzebujesz małego modelu.

Gdzie LSTM są wciąż używane?

Małe zbiory sekwencji, które wymagają zwartego modelu, nadal pasują do LSTM. Prognozowanie popytu lub obciążenia energetycznego z kilku lat historii, wykrywanie usterek w strumieniach odczytów z czujników maszyn i małe modele na urządzeniu do rozpoznawania mowy lub gestów pasują do nich, bo dane są sekwencją, a jest ich niewiele. Jako pierwszy punkt odniesienia dla takiego problemu LSTM łatwo wytrenować w każdej bibliotece uczenia głębokiego. Jeśli do zadania pasuje wstępnie wytrenowany transformer, zacznij od niego.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Czy LSTM jest przestarzały?

W przetwarzaniu języka w dużej mierze tak: zastąpiły go transformery, bo trenują równolegle i lepiej radzą sobie z długim kontekstem. LSTM wciąż pasują do małych zadań z szeregami czasowymi, czujnikami i systemów wbudowanych, gdzie danych jest mało, a model musi być malutki.

Czym różni się pamięć krótkoterminowa od długoterminowej w LSTM?

Stan ukryty niesie to, na czym sieć skupia się teraz, czyli pamięć krótkoterminową. Stan komórki to chroniony kanał, który przenosi informacje przez wiele kroków, czyli pamięć długoterminową.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował