Apache Parquet
Mer info
- Skapad av
- Twitter + Cloudera
- År
- Ägare
- Apache Software Foundation
- Typ
- Kolumnärt filformat
- Licens
- Apache 2.0
- Officiell sajt
- parquet.apache.org
- Källkod
- github.com/apache/parquet-format
- Wikipedia
- sv.wikipedia.org
Kolumnärt filformat för analytics — komprimerat, splittbart, självbeskrivande med inbäddad statistik per kolumn-chunk. De facto standarden för data lakes.
Twitter + Cloudera 2013, inspirerat av Googles Dremel-paper. Hybrid row-group/columnar layout: filen delas i row groups → kolumner → pages. Stöder nested data (struct, array, map) via Dremel-encoding. Page-stats (min/max/null count) gör att frågemotorer kan skippa irrelevanta pages utan att läsa dem.
Läses av Spark, Trino, DuckDB, Polars, ClickHouse, Athena, BigQuery, Snowflake, pandas. Iceberg och Delta Lake bygger sina table-format ovanpå Parquet-filer.