Apache Ozone
Maggiori informazioni
- Proprietario
- Apache Software Foundation
- Anno
- 2020
- Tipo
- Object storage
- Licenza
- Apache 2.0
- Sito web
- ozone.apache.org
La risposta del mondo Hadoop al namenode di HDFS che finisce lo spazio a poche centinaia di milioni di file.
Nato come sottoprogetto di Hadoop, è diventato progetto Apache di primo livello nel 2020. Il problema che risolve è concreto: HDFS tiene i metadati dell'intero filesystem nella memoria del namenode, il che lo limita a circa 400 milioni di file e fa di quel nodo un singolo punto di guasto. Ozone divide il lavoro tra un Ozone Manager per il namespace e uno Storage Container Manager per i blocchi, e di conseguenza scala a miliardi di oggetti.
Parla sia l'API S3 sia l'interfaccia filesystem di Hadoop, quindi i job Spark e Hive si spostano senza riscritture. In pratica l'adozione è limitata alle organizzazioni che già gestiscono grandi installazioni Hadoop on-premise: tutti gli altri sono migrati all'object storage in cloud e il problema non l'hanno mai avuto.