Was ist Edge AI? So funktioniert Inferenz direkt auf dem Gerät

ProduktivbetriebModelle und InferenzVeröffentlicht Von Simon Budziak

Edge AI bedeutet, AI-Modelle auf oder nahe dem Gerät auszuführen, das die Daten erzeugt, statt in der Cloud. Ein Smartphone, eine Kamera, ein Fahrzeug oder ein Gateway in der Fabrik berechnet die Vorhersage lokal. Das spart den Weg durchs Netz, hält Rohdaten vor Ort und lässt das System weiterlaufen, wenn die Verbindung abbricht.

Wie funktioniert Edge AI?

Die meisten Edge-AI-Systeme teilen den Lebenszyklus in zwei Hälften. Ein Modell wird im Rechenzentrum trainiert, komprimiert, für eine Runtime auf dem Gerät konvertiert und auf das Gerät gebracht, wo die Inferenz auf der lokalen CPU, GPU oder NPU läuft. Das Training bleibt meist zentral; die Edge führt das fertige Modell aus. Das NIST beschreibt Stufen: Auf der untersten nutzen Edge-Knoten Modelle, die anderswo erstellt wurden, etwa in der Cloud; auf der obersten lernen sie aus ihren eigenen lokalen Daten, was das NIST Edge Learning nennt (NIST Edge AI project, aktualisiert am 12. August 2026).

Was ist der Unterschied zwischen Edge AI und Cloud-AI?

Edge und Cloud verschieben dieselben Eigenschaften in entgegengesetzte Richtungen. Die Cloud gewinnt bei Modellgröße und Update-Tempo; die Edge gewinnt bei Latenz, Datenschutz und Offline-Betrieb.

Edge AI Cloud-AI
Wo die Inferenz läuft Auf dem Gerät oder einem nahen Gateway In einem entfernten Rechenzentrum
Latenz Kein Weg durchs Netz Netzwerkweg bei jeder Anfrage
Modellgröße Begrenzt durch Speicher und Energie des Geräts Die größten verfügbaren Modelle
Datenbewegung Rohdaten können vor Ort bleiben Eingaben verlassen das Gerät
Funktioniert offline Ja Nein
Modell aktualisieren Auf jedes Gerät der Flotte verteilen Einen Endpunkt ändern

Viele Systeme sind hybrid: Ein kleines lokales Modell übernimmt die schnellen, häufigen oder vertraulichen Fälle und gibt schwierige an ein Cloud-Modell weiter, während Regeln zur Datensouveränität festlegen, was den Standort verlassen darf.

Welche Tools führen AI-Modelle auf Edge-Geräten aus?

Ein trainiertes Modell wird für eine Runtime auf dem Gerät konvertiert, und die Runtime bestimmt, welche Beschleuniger es erreichen kann. Auf einem Gerät zählen Größe und unterstützte Hardware der Runtime genauso viel wie das Modell. Herstellerseiten, abgerufen am 16. November 2026:

Runtime Von Typische Ziele
LiteRT (früher TensorFlow Lite) Google Android, iOS, Web, Desktop, Embedded und IoT
ExecuTorch PyTorch Vom Smartphone bis zum Mikrocontroller
ONNX Runtime ONNX-Runtime-Projekt Mobil, IoT und Desktop, über Execution Provider wie NNAPI und Core ML
Core ML Apple Apps auf Apple-Geräten
OpenVINO Intel AI-PCs und Edge-Geräte mit Intel-Hardware

Auf einem Smartphone zählt die Binärgröße: Der Mobile-Leitfaden von ONNX Runtime gibt sein vorgefertigtes Android-Paket 1.18.0 mit 24.415.212 Bytes an und einen eigenen Build nur mit den Operatoren, die ein ResNet50-Modell braucht, mit 7.532.309 Bytes.

Kann ein Sprachmodell auf der Edge laufen?

Ein Sprachmodell kann auf der Edge laufen, wenn es klein und komprimiert ist. Der Speicher ist die erste Grenze. Ein Modell mit 3 Milliarden Parametern und 16 Bit pro Gewicht braucht allein für die Gewichte etwa 6 GB, mit 4 Bit etwa 1,5 GB, noch ohne KV-Cache und Runtime-Overhead. Deshalb sind Sprachmodelle auf der Edge Small Language Models, oft per Model Distillation und anschließender Quantisierung entstanden. Die Dokumentation von ExecuTorch enthält einen Leitfaden, um ein Llama-3-Instruct-Modell mit 3 Milliarden Parametern auf Android auszuführen. Testen Sie das komprimierte Modell an Ihren eigenen schwierigen Eingaben, nicht nur am Benchmark seines Herausgebers.

Wann sollten Sie sich für Edge AI entscheiden?

Wählen Sie Edge AI, wenn das Netz das Problem ist: ein Latenzbudget, das für einen Weg durchs Netz zu knapp ist, Standorte mit lückenhafter Verbindung oder Daten, die das Gebäude nicht verlassen sollen. Edge AI verlagert den Betriebsaufwand von einem Endpunkt auf eine Flotte von Geräten, planen Sie also, wie Sie Modell-Updates ausrollen, zurücknehmen und die Qualität auf Hardware überwachen, auf der Sie sich nicht ohne Weiteres anmelden können. Roboter und Fahrzeuge in der Physical AI sind auf lokale Reaktionszeiten angewiesen, und ein Modell in der Firmware eines Produkts ist zugleich Embedded AI. Ohne diese Zwänge ist ein Cloud-Endpunkt einfacher zu betreiben und zu aktualisieren.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Welche Art von AI-Deployment läuft lokal auf Geräten wie Smartphones, Fahrzeugen und Gateways in der Fabrik?

Edge AI. Das Modell läuft auf dem Gerät oder auf einem Gateway daneben, und nur Ergebnisse, Alarme oder ausgewählte Stichproben gehen in die Cloud, wenn überhaupt.

Ist Edge AI dasselbe wie Embedded AI?

Nicht ganz. Embedded AI bezeichnet ein Modell, das in der Software oder Firmware eines Produkts steckt, und ebenso AI-Funktionen, die in Business-Anwendungen wie ein CRM oder ERP eingebaut sind. Bei Edge AI geht es darum, wo die Inferenz läuft: auf dem Gerät oder in seiner Nähe. Eine Kamera mit Objekterkennung auf dem Gerät ist beides.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut