K-Nearest Neighbors: Was ist das? KNN und die Wahl von k

LLM-GrundlagenRetrieval und DatenVeröffentlicht Von Simon Budziak

K-Nearest Neighbors (KNN, k-nächste Nachbarn) ist ein Algorithmus, der aus den k ähnlichsten gespeicherten Beispielen vorhersagt. Um einen neuen Punkt zu klassifizieren, stimmen diese Nachbarn mehrheitlich ab, bei der Regression werden ihre Werte gemittelt. Das Training speichert nur die Daten, die gesamten Kosten fallen also bei der Suche an, bei jeder Vorhersage.

Wie funktioniert der K-Nearest-Neighbors-Algorithmus?

KNN misst die Distanz von einem neuen Punkt zu jedem gespeicherten Beispiel und behält die k nächsten. Bei der Klassifikation stimmen die Nachbarn ab, bei der Regression werden ihre Zielwerte gemittelt. KNN hat keinen echten Trainingsschritt: Das Fitten speichert die Daten, und jede Vorhersage bezahlt für die Suche.

Ein Rechenbeispiel: Ein neues Support-Ticket wird in ein Embedding umgewandelt, und seine fünf nächsten früheren Tickets sind:

Nachbar Distanz Label
1 0,12 Abrechnung
2 0,18 Abrechnung
3 0,21 Versand
4 0,30 Abrechnung
5 0,33 Versand

Mit k = 5 und gleichen Gewichten gewinnt Abrechnung mit drei zu zwei Stimmen, eine Wahrscheinlichkeit von 0,6. Gewichtet nach inverser Distanz kommt Abrechnung auf 1/0,12 + 1/0,18 + 1/0,30 ≈ 17,2 gegenüber 1/0,21 + 1/0,33 ≈ 7,8 für Versand, die nächsten Nachbarn zählen also stärker.

Wie wählt man k und die Distanzmetrik?

Beginnen Sie mit den Standardwerten der Bibliothek und stimmen Sie k auf zurückgehaltenen Daten ab. KNeighborsClassifier in scikit-learn 1.9.1 verwendet standardmäßig n_neighbors=5, gleiche Gewichte und die Minkowski-Metrik mit p=2, also die euklidische Distanz (scikit-learn-Dokumentation, abgerufen am 16. November 2026). Der Leitfaden benennt den Zielkonflikt klar: „a larger k suppresses the effects of noise, but makes the classification boundaries less distinct“ (Nearest-Neighbors-Leitfaden, abgerufen am 16. November 2026). Ein k von 1 lernt die Trainingsmenge auswendig, und ein k nahe der Datensatzgröße sagt überall die Mehrheitsklasse vorher: Das erste führt zu Overfitting, das zweite zu Underfitting.

Skalieren Sie die Merkmale, bevor Sie Distanzen messen, sonst entscheidet das Merkmal mit den größten Einheiten jede Abstimmung: Einkommen in Euro erdrückt Alter in Jahren. Für Text-Embeddings ist die Kosinus-Distanz die übliche Wahl.

Warum wird KNN bei großen oder hochdimensionalen Daten langsam?

Die Brute-Force-Suche vergleicht die Anfrage mit jedem gespeicherten Punkt. Der scikit-learn-Leitfaden gibt diese Kosten für einen ganzen Datensatz mit O[DN²] bei N Beispielen in D Dimensionen an. Baumindizes helfen bei wenigen Dimensionen: Ein KD-Baum „is very fast for low-dimensional (D < 20) neighbors searches“, und algorithm='auto' in scikit-learn wechselt oberhalb von 15 Dimensionen zur Brute-Force-Suche (gleiche Quelle). In hohen Dimensionen rücken die Distanzen zusammen, der Fluch der Dimensionalität, und die exakte Suche skaliert nicht mehr.

Exaktes KNN liefert die tatsächlich k nächsten Punkte; die approximative Nächste-Nachbarn-Suche (ANN) liefert fast die nächsten, dafür viel schneller.

Exaktes KNN Approximativ (ANN)
Recall Perfekt Unter 100 %, einstellbar
Kosten pro Anfrage Wachsen mit jedem gespeicherten Vektor Bei HNSW etwa logarithmisch
Typischer Index Keiner, oder KD- und Ball-Trees HNSW, IVFFlat
Wo man ihm begegnet Kleine tabellarische Modelle Vektordatenbanken

pgvector „performs exact nearest neighbor search, which provides perfect recall“ in der Standardeinstellung, und ein HNSW- oder IVFFlat-Index „trades some recall for speed“ (pgvector-README, v0.8.7, abgerufen am 16. November 2026). HNSW stammt von Malkov und Yashunin, deren geschichtete Graphsuche „allows a logarithmic complexity scaling“ (arXiv:1603.09320, 30. März 2016, abgerufen am 16. November 2026). Jede Anfrage einer semantischen Suche in einem RAG-System ist eine Nächste-Nachbarn-Anfrage, also prüfen Sie bei einer verfehlten Passage zuerst den Recall des Index, bevor Sie dem Modell die Schuld geben.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Warum ist k bei KNN ungerade?

Bei zwei Klassen kann ein ungerades k keine Stimmengleichheit erzeugen, also hat jede Vorhersage einen Gewinner. Bei drei oder mehr Klassen sind Gleichstände weiter möglich, ein Grund, die Nachbarn nach Distanz zu gewichten.

Ist KNN überwachtes oder unüberwachtes Lernen?

Ein KNN-Klassifikator oder -Regressor ist überwacht, weil er aus gelabelten Nachbarn vorhersagt. Die nächsten Nachbarn allein zu finden braucht keine Labels, und genau so nutzen Vektordatenbanken das Verfahren für das Retrieval.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut