Apache Parquet
Подробнее
- Создатель
- Twitter + Cloudera
- Год
- Владелец
- Apache Software Foundation
- Тип
- Колоночный формат файлов
- Лицензия
- Apache 2.0
- Официальный сайт
- parquet.apache.org
- Исходный код
- github.com/apache/parquet-format
Колоночный формат файлов для аналитики — сжатый, делимый, самоописываемый, со встроенной статистикой по каждому фрагменту столбца. Де-факто стандарт для озёр данных.
Twitter и Cloudera, 2013, по мотивам статьи Google о Dremel. Гибридная раскладка «группы строк / столбцы»: файл делится на группы строк → столбцы → страницы. Вложенные данные (struct, array, map) поддерживаются через кодирование Dremel. Статистика страниц (min/max/число null) позволяет движкам запросов пропускать ненужные страницы, не читая их.
Читают Spark, Trino, DuckDB, Polars, ClickHouse, Athena, BigQuery, Snowflake, pandas. Форматы таблиц Iceberg и Delta Lake строятся поверх файлов Parquet.