Apache Parquet
Więcej informacji
- Twórca
- Twitter + Cloudera
- Rok
- Właściciel
- Apache Software Foundation
- Typ
- Kolumnowy format pliku
- Licencja
- Apache 2.0
- Strona oficjalna
- parquet.apache.org
- Kod źródłowy
- github.com/apache/parquet-format
Kolumnowy format plików do analityki — skompresowany, dzielny, samoopisujący się, ze statystykami osadzonymi dla każdego fragmentu kolumny. De facto standard jezior danych.
Twitter i Cloudera, 2013, z inspiracji artykułem Google o Dremelu. Układ hybrydowy: plik dzieli się na grupy wierszy → kolumny → strony. Dane zagnieżdżone (struct, array, map) obsługuje kodowanie z Dremela. Statystyki stron (min/maks/liczba nulli) pozwalają silnikom zapytań pomijać zbędne strony bez ich czytania.
Czytają go Spark, Trino, DuckDB, Polars, ClickHouse, Athena, BigQuery, Snowflake i pandas. Iceberg i Delta Lake budują swoje formaty tabel na plikach Parquet.