IT用語集 › AI & 機械学習 › エッジAI
機械学習の推論をクラウドではなく、端末(スマートフォン、IoT機器、車)の上で実行すること。
利点は遅延がないこと、プライバシー、オフラインで動くこと。欠点はモデルサイズの制約である。NPU、量子化モデル(スマートフォン上のLlama)、TensorFlow Lite、ONNX Runtime Mobile、Core ML などが支えており、Apple Intelligence が代表例だ。