Alluxio
Подробнее
- Год
- Тип
- Распределённый слой кэширования
- Лицензия
- Apache 2.0
- Сайт
- alluxio.io
- Исходный код
- github.com/Alluxio
Слой кэширования между вычислительными задачами и хранилищем — чтобы Spark перестал снова и снова забирать одни и те же данные из S3.
Начинался как Tachyon в лаборатории AMPLab в Беркли — той самой исследовательской группе, что создала Spark. Идея — виртуальная файловая система перед настоящим хранилищем: задачи обращаются к Alluxio, тот держит горячие данные в памяти на вычислительных узлах и подтягивает из S3, HDFS или другого бэкенда только недостающее.
Выигрыш максимален, когда один и тот же набор данных многократно читают разные задачи и когда хранилище далеко, — типичная схема с разделёнными вычислениями и хранилищем в облаке.