Edge AI
Eseguire l'inferenza di machine learning sul dispositivo (telefono, IoT, auto) invece che nel cloud.
Vantaggi: nessuna latenza, privacy, funzionamento offline. Svantaggi: dimensione limitata dei modelli. Si basa su NPU, modelli quantizzati (Llama su telefono), TensorFlow Lite, ONNX Runtime Mobile e Core ML. Apple Intelligence ne è un esempio lampante.