Apache Avro
Бинарная сериализация с эволюцией схемы. Схема встроена в заголовок файла (при хранении) или зарегистрирована в Schema Registry (для потоков). Стандарт в экосистеме Kafka.
Эволюция схемы: добавляете поле со значением по умолчанию — старые потребители его игнорируют, новые обрабатывают. Отличие от Protobuf: схема Avro — это JSON (читается человеком), а у Protobuf — DSL в файлах .proto. Confluent Schema Registry — де-факто стандарт для Avro в Kafka. Файлы формата Avro со встроенной схемой используются в Hadoop и Spark. Конкуренты: Protobuf (чуть быстрее и компактнее), Thrift (больше возможностей, меньше распространение), ORC/Parquet (для колоночной аналитики).