Elasticsearch używa BM25 jako domyślnej miary podobieństwa, z dwoma parametrami strojenia: k1 (domyślnie 1,2) określa, jak szybko dodatkowe wystąpienia terminu przestają zwiększać wynik, a b (domyślnie 0,75) określa, jak bardzo długość dokumentu obniża liczności terminów (ustawienia podobieństwa, dostęp 19 listopada 2026).
Jak działa sparse retrieval?
Indeksem jest indeks odwrócony: dla każdego terminu lista dokumentów, które go zawierają. W czasie zapytania oceniane są tylko listy terminów z zapytania, więc rzadki termin, taki jak kod błędu, liczy się znacznie bardziej niż częste słowo. Dokładne dopasowanie leksykalne to jego zaleta, a nie przestarzały kompromis. Jego ślepym punktem jest sformułowanie: fragment, który mówi to samo innymi słowami, nie ma wspólnych terminów i nigdy nie dostaje wyniku. Reranking może sprawdzić najlepszych kandydatów mocniejszym modelem, a baza wektorowa obsługuje ścieżkę dense zbudowaną na embeddingach.
Czym jest sparse retriever i czym SPLADE różni się od BM25?
Sparse retriever zamienia zapytanie na wagi terminów i zwraca najlepiej pasujące dokumenty z indeksu odwróconego. BM25 waży tylko obecne słowa. Uczone sparse retrievery używają modelu neuronowego do wyboru i ważenia terminów, w tym pokrewnych, których tekst nie użył. SPLADE (Formal, Piwowarski i Clinchant, lipiec 2021) dodaje regularyzację rzadkości, żeby większość wag pozostała zerowa, zachowując wydajne wyszukiwanie w indeksie odwróconym z wynikami konkurencyjnymi wobec punktów odniesienia dense i sparse. Uczone wektory sparse nadal działają na zwykłej infrastrukturze wyszukiwania: Elasticsearch przechowuje je w polu sparse_vector, używanym przez jego model ELSER (opis pola, dostęp 19 listopada 2026).
Czego nauczyliśmy się, polegając w Soba Labs na wyszukiwaniu słów kluczowych w naszych systemach agentów?
Wiedza robocza naszych agentów to zwykły markdown w gitcie, znajdowany przez wyszukiwanie słów kluczowych i ścieżki plików. Zdecydowaliśmy się tam ją trzymać, zamiast przenosić pamięć agentów do frameworka pamięci wektorowej lub grafowej. Wyszukiwanie słów kluczowych zawodzi po cichu, więc krótki lub pusty wynik traktujemy jako niedowiedziony. Wyszły z tego trzy reguły:
- Wybrane przez Ciebie słowo to założenie. Jedno przeszukanie po słowie zwróciło czystą listę 17 dokumentów z 20; pozostałe 3 nigdy nie użyło szukanego słowa. Żeby wylistować kolekcję, pytamy o kontener, a nie o termin.
- Narzędzie może po cichu pomijać pliki. Wyszukiwanie w stylu ripgrep respektuje
.gitignore, a nasze zagnieżdżone repozytoria są z założenia ignorowane, więc wyszukiwanie z góry widziało tylko zewnętrzne. Plik nie w UTF-8 jest traktowany jak binarny i pomijany: jedno zliczenie wróciło puste i zostałoby zgłoszone jako 0 zamiast 15. Każde sprawdzenie nieobecności zawiera teraz termin, który musi zwrócić trafienia. - Identyfikatory dostają dokładne dopasowanie. W krs-mcp, naszym otwartoźródłowym serwerze dla polskiego rejestru spółek, nazwa firmy trafia do zapytania wyszukującego, a numery KRS, NIP i REGON to osobne pola dokładne.
Czy RAG powinien używać sparse, czy dense retrieval?
Oceń oba na prawdziwych pytaniach. Wyszukiwanie semantyczne wygrywa, gdy sformułowania się różnią. Sparse retrieval chroni identyfikatory i krótkie precyzyjne zapytania. Wyszukiwanie hybrydowe łączy oba rankingi. Często jest prostsze dla mieszanych danych firmowych niż zmuszanie jednej metody do wszystkich zadań. Wbudowana pamięć agenta OpenClaw na przykład łączy wyszukiwanie słów kluczowych FTS5 z ocenianiem BM25, wyszukiwaniem wektorowym i trybem hybrydowym (dokumentacja pamięci, dostęp 19 listopada 2026), jak opisaliśmy w naszym wpisie o pamięci Hermes Agent (po angielsku).