Apache Iceberg
Подробнее
- Создатель
- Netflix (Райан Блю, Дэн Уикс)
- Год
- Владелец
- Apache Software Foundation
- Тип
- Формат таблиц
- Лицензия
- Apache 2.0
- Официальный сайт
- iceberg.apache.org
- Исходный код
- github.com/apache/iceberg
Открытый формат таблиц для озёр данных: добавляет ACID, эволюцию схемы, скрытое партиционирование и «путешествия во времени» поверх Parquet/ORC в объектном хранилище.
Создан в Netflix (2017), затем передан Apache Software Foundation. Метаданные двухслойные: манифест-файлы перечисляют файлы данных, снимок указывает на манифесты, а «указатель на текущий снимок» атомарно обновляется в каталоге (Glue, Nessie, Hive Metastore). Гарантирует сериализуемую изоляцию.
В открытой экосистеме побеждает в «войне форматов» с Delta Lake: Snowflake, BigQuery, Trino, Spark, Athena и Databricks (с 2024 года) умеют читать, а обычно и писать Iceberg. Коммерциализацией занимаются Dremio и Tabular.