Elasticsearch nutzt BM25 als Standard-Ähnlichkeit, mit zwei Stellschrauben: k1 (Standard 1,2) legt fest, wie schnell zusätzliche Vorkommen eines Begriffs aufhören, den Score zu erhöhen, und b (Standard 0,75) legt fest, wie stark die Dokumentlänge die Begriffszahlen abwertet (Similarity-Einstellungen, abgerufen am 19. November 2026).
Wie funktioniert Sparse Retrieval?
Der Index ist ein invertierter Index: zu jedem Begriff eine Liste der Dokumente, die ihn enthalten. Zur Abfragezeit werden nur die Listen der Begriffe der Anfrage bewertet, sodass ein seltener Begriff wie ein Fehlercode weit mehr zählt als ein gewöhnliches Wort. Exaktes lexikalisches Abgleichen ist sein Vorteil, kein überholter Kompromiss. Seine blinde Stelle ist die Wortwahl: Eine Passage, die dasselbe mit anderen Worten sagt, teilt keine Begriffe und erhält nie einen Score. Reranking kann die besten Kandidaten mit einem stärkeren Modell prüfen, während eine Vektordatenbank den dichten Pfad auf Basis von Embeddings bedient.
Was ist ein Sparse Retriever, und wie unterscheidet sich SPLADE von BM25?
Ein Sparse Retriever macht aus einer Anfrage Begriffsgewichte und gibt die am besten passenden Dokumente aus einem invertierten Index zurück. BM25 gewichtet nur die vorhandenen Wörter. Gelernte Sparse Retriever nutzen ein neuronales Modell, um Begriffe zu wählen und zu gewichten, auch verwandte Begriffe, die der Text nie verwendet hat. SPLADE (Formal, Piwowarski und Clinchant, Juli 2021) fügt eine Sparsity-Regularisierung hinzu, sodass die meisten Gewichte null bleiben, was den Abruf über den invertierten Index effizient hält, mit Ergebnissen, die gegenüber dichten und Sparse-Baselines konkurrenzfähig sind. Gelernte Sparse-Vektoren laufen weiter auf gewöhnlicher Such-Infrastruktur: Elasticsearch speichert sie in einem Feld sparse_vector, das sein ELSER-Modell nutzt (Feldreferenz, abgerufen am 19. November 2026).
Was haben wir bei Soba Labs gelernt, als unsere Agent-Systeme auf Schlüsselwortsuche setzten?
Das Arbeitswissen unserer Agents ist schlichtes Markdown in Git, gefunden per Schlüsselwortsuche und Dateipfaden. Wir haben uns entschieden, es dort zu belassen, statt das Agent-Gedächtnis in ein Vektor- oder Graph-Memory-Framework zu verlegen. Schlüsselwortsuche scheitert leise, deshalb behandeln wir ein kurzes oder leeres Ergebnis als unbewiesen. Daraus ergaben sich drei Regeln:
- Ein Wort, das Sie gewählt haben, ist eine Annahme. Ein Schlüsselwort-Sweep lieferte eine saubere Liste von 17 Dokumenten aus 20; die anderen 3 nutzten das gesuchte Wort nie. Um eine Sammlung aufzulisten, fragen wir den Container ab, nicht einen Begriff.
- Das Werkzeug kann Dateien stillschweigend überspringen. Eine Suche im Stil von ripgrep beachtet
.gitignore, und unsere verschachtelten Repositories sind absichtlich ignoriert, sodass eine Suche von oben nur das äußere sah. Eine Datei ohne UTF-8 wird als binär behandelt und übersprungen: Eine Zählung kam leer zurück und wäre als 0 statt 15 gemeldet worden. Jede Abwesenheitsprüfung enthält jetzt einen Begriff, der Treffer liefern muss. - Kennungen bekommen exakten Abgleich. In krs-mcp, unserem Open-Source-Server für das polnische Unternehmensregister, geht ein Firmenname in die Suchanfrage, während KRS-, NIP- und REGON-Nummern eigene exakte Felder sind.
Sollte RAG Sparse oder Dense Retrieval nutzen?
Bewerten Sie beides an echten Fragen. Die semantische Suche gewinnt, wenn die Wortwahl variiert. Sparse Retrieval schützt Kennungen und kurze präzise Anfragen. Hybrid Search kombiniert beide Rankings. Bei gemischten Unternehmensdaten ist es oft einfacher, als eine Methode alle Aufgaben erledigen zu lassen. Das eingebaute Agent-Gedächtnis von OpenClaw etwa kombiniert FTS5-Schlüsselwortsuche mit BM25-Scoring, Vektorsuche und einem Hybridmodus (Memory-Dokumentation, abgerufen am 19. November 2026), wie in unserem Beitrag zum Gedächtnis von Hermes Agent (auf Englisch) behandelt.