Sparse retrieval: BM25, SPLADE i dopasowanie dokładnych słów

Podstawy LLMWyszukiwanie i daneOpublikowano Zaktualizowano Autor: Simon Budziak

Sparse retrieval to wyszukiwanie, które szereguje dokumenty według dokładnych terminów wspólnych z zapytaniem. Każdy dokument staje się wektorem, który dla prawie każdego słowa słownika wynosi zero. BM25 waży nieliczne pasujące terminy według rzadkości i częstości, co czyni sparse retrieval mocnym dla nazw, kodów, identyfikatorów i rzadkich fraz.

Elasticsearch używa BM25 jako domyślnej miary podobieństwa, z dwoma parametrami strojenia: k1 (domyślnie 1,2) określa, jak szybko dodatkowe wystąpienia terminu przestają zwiększać wynik, a b (domyślnie 0,75) określa, jak bardzo długość dokumentu obniża liczności terminów (ustawienia podobieństwa, dostęp 19 listopada 2026).

Jak działa sparse retrieval?

Indeksem jest indeks odwrócony: dla każdego terminu lista dokumentów, które go zawierają. W czasie zapytania oceniane są tylko listy terminów z zapytania, więc rzadki termin, taki jak kod błędu, liczy się znacznie bardziej niż częste słowo. Dokładne dopasowanie leksykalne to jego zaleta, a nie przestarzały kompromis. Jego ślepym punktem jest sformułowanie: fragment, który mówi to samo innymi słowami, nie ma wspólnych terminów i nigdy nie dostaje wyniku. Reranking może sprawdzić najlepszych kandydatów mocniejszym modelem, a baza wektorowa obsługuje ścieżkę dense zbudowaną na embeddingach.

Czym jest sparse retriever i czym SPLADE różni się od BM25?

Sparse retriever zamienia zapytanie na wagi terminów i zwraca najlepiej pasujące dokumenty z indeksu odwróconego. BM25 waży tylko obecne słowa. Uczone sparse retrievery używają modelu neuronowego do wyboru i ważenia terminów, w tym pokrewnych, których tekst nie użył. SPLADE (Formal, Piwowarski i Clinchant, lipiec 2021) dodaje regularyzację rzadkości, żeby większość wag pozostała zerowa, zachowując wydajne wyszukiwanie w indeksie odwróconym z wynikami konkurencyjnymi wobec punktów odniesienia dense i sparse. Uczone wektory sparse nadal działają na zwykłej infrastrukturze wyszukiwania: Elasticsearch przechowuje je w polu sparse_vector, używanym przez jego model ELSER (opis pola, dostęp 19 listopada 2026).

Czego nauczyliśmy się, polegając w Soba Labs na wyszukiwaniu słów kluczowych w naszych systemach agentów?

Wiedza robocza naszych agentów to zwykły markdown w gitcie, znajdowany przez wyszukiwanie słów kluczowych i ścieżki plików. Zdecydowaliśmy się tam ją trzymać, zamiast przenosić pamięć agentów do frameworka pamięci wektorowej lub grafowej. Wyszukiwanie słów kluczowych zawodzi po cichu, więc krótki lub pusty wynik traktujemy jako niedowiedziony. Wyszły z tego trzy reguły:

Czy RAG powinien używać sparse, czy dense retrieval?

Oceń oba na prawdziwych pytaniach. Wyszukiwanie semantyczne wygrywa, gdy sformułowania się różnią. Sparse retrieval chroni identyfikatory i krótkie precyzyjne zapytania. Wyszukiwanie hybrydowe łączy oba rankingi. Często jest prostsze dla mieszanych danych firmowych niż zmuszanie jednej metody do wszystkich zadań. Wbudowana pamięć agenta OpenClaw na przykład łączy wyszukiwanie słów kluczowych FTS5 z ocenianiem BM25, wyszukiwaniem wektorowym i trybem hybrydowym (dokumentacja pamięci, dostęp 19 listopada 2026), jak opisaliśmy w naszym wpisie o pamięci Hermes Agent (po angielsku).

Napisane z pomocą AI i sprawdzone przez Simona Budziaka. Uwagi z produkcji pochodzą z systemów, które Soba Labs buduje i utrzymuje.

Najczęściej zadawane pytania

Czy sparse retrieval to po prostu wyszukiwanie słów kluczowych?

Klasyczne sparse retrieval, w tym BM25, to wyszukiwanie słów kluczowych z ważeniem terminów. Uczone metody sparse, takie jak SPLADE, używają modelu neuronowego do ważenia i rozszerzania terminów, zachowując rzadką reprezentację.

Kiedy sparse retrieval jest lepsze od wyszukiwania wektorowego?

Często jest lepsze dla identyfikatorów, nazw produktów, zwrotów prawnych, kodów błędów i rzadkich terminów, które mają pasować dokładnie, a nie przez ogólne podobieństwo semantyczne.

Czym różni się sparse od dense retrieval?

Sparse retrieval przechowuje wagi dla terminów słownika i dopasowuje dokumenty, które dzielą słowa z zapytaniem. Dense retrieval przechowuje embedding, w którym używana jest każda wartość, i dopasowuje według znaczenia, więc znajduje parafrazy niemające wspólnych słów.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował