Alluxio
Daha fazla bilgi
- Yayın
- Tür
- Dağıtık önbellek katmanı
- Lisans
- Apache 2.0
- Web sitesi
- alluxio.io
- Kaynak kod
- github.com/Alluxio
Hesaplama işleri ile depolama arasındaki önbellek katmanı; böylece Spark aynı veriyi S3'ten tekrar tekrar çekmeyi bırakır.
Berkeley'deki AMPLab'de, Spark'ı da çıkaran araştırma grubunda Tachyon adıyla başladı. Fikir, gerçek depolamanın önünde duran sanal bir dosya sistemidir: işler Alluxio ile konuşur, Alluxio sık kullanılan veriyi hesaplama düğümlerinin belleğinde tutar ve yalnızca eksik olanı S3'ten, HDFS'ten ya da başka bir arka uçtan getirir.
Kazanç, aynı veri kümesi farklı işler tarafından defalarca okunduğunda ve depolama uzakta olduğunda en büyüktür; bulutta tipik olan hesaplama ile depolamanın ayrıldığı kurulum tam olarak budur.