Was ist Sparse Retrieval? BM25, SPLADE und exakte Treffer

LLM-GrundlagenRetrieval und DatenVeröffentlicht Aktualisiert Von Simon Budziak

Sparse Retrieval ist eine Suche, die Dokumente nach den exakten Begriffen reiht, die sie mit einer Anfrage teilen. Jedes Dokument wird zu einem Vektor, der für fast jedes Wort des Vokabulars null ist. BM25 gewichtet die wenigen passenden Begriffe nach Seltenheit und Häufigkeit, was Sparse Retrieval stark macht bei Namen, Codes, Kennungen und seltenen Wendungen.

Elasticsearch nutzt BM25 als Standard-Ähnlichkeit, mit zwei Stellschrauben: k1 (Standard 1,2) legt fest, wie schnell zusätzliche Vorkommen eines Begriffs aufhören, den Score zu erhöhen, und b (Standard 0,75) legt fest, wie stark die Dokumentlänge die Begriffszahlen abwertet (Similarity-Einstellungen, abgerufen am 19. November 2026).

Wie funktioniert Sparse Retrieval?

Der Index ist ein invertierter Index: zu jedem Begriff eine Liste der Dokumente, die ihn enthalten. Zur Abfragezeit werden nur die Listen der Begriffe der Anfrage bewertet, sodass ein seltener Begriff wie ein Fehlercode weit mehr zählt als ein gewöhnliches Wort. Exaktes lexikalisches Abgleichen ist sein Vorteil, kein überholter Kompromiss. Seine blinde Stelle ist die Wortwahl: Eine Passage, die dasselbe mit anderen Worten sagt, teilt keine Begriffe und erhält nie einen Score. Reranking kann die besten Kandidaten mit einem stärkeren Modell prüfen, während eine Vektordatenbank den dichten Pfad auf Basis von Embeddings bedient.

Was ist ein Sparse Retriever, und wie unterscheidet sich SPLADE von BM25?

Ein Sparse Retriever macht aus einer Anfrage Begriffsgewichte und gibt die am besten passenden Dokumente aus einem invertierten Index zurück. BM25 gewichtet nur die vorhandenen Wörter. Gelernte Sparse Retriever nutzen ein neuronales Modell, um Begriffe zu wählen und zu gewichten, auch verwandte Begriffe, die der Text nie verwendet hat. SPLADE (Formal, Piwowarski und Clinchant, Juli 2021) fügt eine Sparsity-Regularisierung hinzu, sodass die meisten Gewichte null bleiben, was den Abruf über den invertierten Index effizient hält, mit Ergebnissen, die gegenüber dichten und Sparse-Baselines konkurrenzfähig sind. Gelernte Sparse-Vektoren laufen weiter auf gewöhnlicher Such-Infrastruktur: Elasticsearch speichert sie in einem Feld sparse_vector, das sein ELSER-Modell nutzt (Feldreferenz, abgerufen am 19. November 2026).

Was haben wir bei Soba Labs gelernt, als unsere Agent-Systeme auf Schlüsselwortsuche setzten?

Das Arbeitswissen unserer Agents ist schlichtes Markdown in Git, gefunden per Schlüsselwortsuche und Dateipfaden. Wir haben uns entschieden, es dort zu belassen, statt das Agent-Gedächtnis in ein Vektor- oder Graph-Memory-Framework zu verlegen. Schlüsselwortsuche scheitert leise, deshalb behandeln wir ein kurzes oder leeres Ergebnis als unbewiesen. Daraus ergaben sich drei Regeln:

Sollte RAG Sparse oder Dense Retrieval nutzen?

Bewerten Sie beides an echten Fragen. Die semantische Suche gewinnt, wenn die Wortwahl variiert. Sparse Retrieval schützt Kennungen und kurze präzise Anfragen. Hybrid Search kombiniert beide Rankings. Bei gemischten Unternehmensdaten ist es oft einfacher, als eine Methode alle Aufgaben erledigen zu lassen. Das eingebaute Agent-Gedächtnis von OpenClaw etwa kombiniert FTS5-Schlüsselwortsuche mit BM25-Scoring, Vektorsuche und einem Hybridmodus (Memory-Dokumentation, abgerufen am 19. November 2026), wie in unserem Beitrag zum Gedächtnis von Hermes Agent (auf Englisch) behandelt.

Mit AI-Unterstützung geschrieben und von Simon Budziak geprüft. Die Hinweise aus der Praxis stammen aus Systemen, die Soba Labs baut und betreibt.

Häufig gestellte Fragen

Ist Sparse Retrieval nur Schlüsselwortsuche?

Klassisches Sparse Retrieval, einschließlich BM25, ist Schlüsselwortsuche mit Termgewichtung. Gelernte Sparse-Verfahren wie SPLADE nutzen ein neuronales Modell, um Begriffe zu gewichten und zu erweitern, und behalten dabei eine dünn besetzte Darstellung.

Wann ist Sparse Retrieval besser als Vektorsuche?

Oft besser bei Kennungen, Produktnamen, Rechtsformulierungen, Fehlercodes und seltenen Begriffen, die exakt passen sollen und nicht über allgemeine semantische Ähnlichkeit.

Was ist der Unterschied zwischen Sparse und Dense Retrieval?

Sparse Retrieval speichert Gewichte für Vokabelbegriffe und findet Dokumente, die Wörter mit der Anfrage teilen. Dense Retrieval speichert ein Embedding, in dem jeder Wert genutzt wird, und gleicht nach Bedeutung ab, findet also Umschreibungen, die kein Wort gemeinsam haben.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut