Apache Avro
スキーマ進化に対応したバイナリシリアライズ形式。スキーマはファイル保存ではヘッダに埋め込み、ストリームではSchema Registryに登録する。Kafkaエコシステムの標準だ。
スキーマ進化では、デフォルト値付きでフィールドを追加すれば、古いコンシューマは無視し、新しいものは処理できる。Protobufとの違いは、AvroのスキーマがJSON（人が読める）である点で、Protobufは.protoのDSLを使う。Kafka上のAvroでは、ConfluentのSchema Registryが事実上の標準だ。スキーマ埋め込み形式のAvroファイルはHadoopやSparkで使われる。競合はProtobuf（わずかに高速でコンパクト）、Thrift（機能は多いが普及は低い）、ORC/Parquet（列指向の分析向け）。