Apache Ozone

Começou como um subprojeto dentro do Hadoop e se tornou um projeto Apache de nível superior em 2020. O problema que resolve é concreto: o HDFS mantém todos os metadados do sistema de arquivos na memória do namenode, o que impõe um limite de cerca de 400 milhões de arquivos e transforma esse nó em um único ponto de falha. O Ozone divide a responsabilidade entre um Ozone Manager para o namespace e um Storage Container Manager para os blocos, e assim escala para bilhões de objetos.

Ele fala tanto a API do S3 quanto a própria interface de sistema de arquivos do Hadoop, então jobs do Spark e do Hive migram sem precisar ser reescritos. Na prática, a adoção fica restrita a organizações que já têm grandes instalações Hadoop on-premise — a maioria migrou para o armazenamento de objetos na nuvem e nunca teve esse problema.