Apache Ozone

もとはHadoop内のサブプロジェクトで、2020年にApacheのトップレベルプロジェクトになった。解決する問題は具体的だ。HDFSはファイルシステム全体のメタデータをネームノードのメモリに載せるため、上限が約4億ファイルになり、このノードが単一障害点になる。Ozoneは名前空間をOzone Manager、ブロックをStorage Container Managerに分担させ、結果として数十億オブジェクトまでスケールする。

S3 APIとHadoop独自のファイルシステムインターフェースの両方に対応するので、SparkやHiveのジョブは書き換えずに移せる。実際に使うのは、すでに大規模なオンプレミスのHadoop環境を持つ組織に限られる。ほとんどの組織はクラウドのオブジェクトストレージに移行し、そもそもこの問題に直面しなかった。