Edge AI
ML-Inferenz direkt auf dem Gerät ausführen (Smartphone, IoT, Auto) statt in der Cloud.
Vorteile: keine Latenz, mehr Privatsphäre, funktioniert offline. Nachteile: begrenzte Modellgröße. Ermöglicht durch NPUs, quantisierte Modelle (Llama auf dem Smartphone), TensorFlow Lite, ONNX Runtime Mobile, Core ML. Apple Intelligence ist das Paradebeispiel.