MLX
Подробнее
- Создатель
- Apple
- Год
- Владелец
- Apple
- Тип
- ML-фреймворк для Apple Silicon
- Лицензия
- MIT
- Сайт
- ml-explore.github.io
- Исходный код
- github.com/ml-explore/mlx
Открытый ML-фреймворк Apple, оптимизированный под Apple Silicon: использует унифицированную память (CPU и GPU делят одну RAM), чтобы не копировать данные.
Выпущен в декабре 2023 года. API намеренно похож на PyTorch, с синтаксисом NumPy; ленивые вычисления позволяют объединять операции перед выполнением на GPU. Встроенная квантизация и поддержка Mistral, Llama, Phi, Stable Diffusion.
Лучшее применение — локальный инференс и небольшое дообучение на чипах серии M. M2 Max с 64 ГБ унифицированной памяти запускает Llama 3.1 70B в Q4 локально — для чего иначе понадобился бы A100. Не конкурент большим стекам для обучения (JAX/PyTorch), но сильный претендент в категории «ИИ для обычного пользователя».