Apache Parquet
Mehr Infos
- Erstellt von
- Twitter + Cloudera
- Jahr
- Eigentümer
- Apache Software Foundation
- Typ
- Spaltenorientiertes Dateiformat
- Lizenz
- Apache 2.0
- Offizielle Website
- parquet.apache.org
- Quellcode
- github.com/apache/parquet-format
Spaltenorientiertes Dateiformat für Analytics — komprimiert, aufteilbar, selbstbeschreibend mit eingebetteter Statistik pro Column-Chunk. Der De-facto-Standard für Data Lakes.
Twitter + Cloudera, 2013, inspiriert von Googles Dremel-Paper. Hybrides Row-Group-/Spalten-Layout: Die Datei wird in Row Groups → Spalten → Pages unterteilt. Unterstützt verschachtelte Daten (Struct, Array, Map) über Dremel-Encoding. Page-Statistiken (Min/Max/Null-Anzahl) erlauben es Abfrage-Engines, irrelevante Pages zu überspringen, ohne sie zu lesen.
Wird gelesen von Spark, Trino, DuckDB, Polars, ClickHouse, Athena, BigQuery, Snowflake, pandas. Iceberg und Delta Lake bauen ihre Table-Formate auf Parquet-Dateien auf.