Apache Arrow
Mehr Infos
- Erschaffen von
- Wes McKinney u. a.
- Jahr
- Eigentümer
- Apache Software Foundation
- Typ
- In-Memory-Spaltenformat
- Lizenz
- Apache 2.0
- Offizielle Website
- arrow.apache.org
- Quellcode
- github.com/apache/arrow
Sprachunabhängiges spaltenorientiertes In-Memory-Format für Analytics — lässt verschiedene Systeme Daten teilen, ohne sie zu (de)serialisieren.
Gestartet 2016 von Wes McKinney (pandas) und anderen. Definiert sowohl ein Speicherlayout als auch ein Wire-Format (Arrow Flight). Ein pandas-DataFrame, eine DuckDB-Tabelle, ein Polars-Frame und eine Spark-Partition können alle auf denselben Arrow-Puffer zeigen — Zero-Copy. Unterstützt Dictionary Encoding, Lauflängenkodierung und verschachtelte Typen.
Bildet die Basis für DuckDB, Polars, DataFusion, ClickHouse Connect und den Snowflake-Python-Connector. Arrow IPC auf Platte entspricht dem Feather-Format; das verwandte Parquet ist Arrow-kompatibel, aber auf Langzeitspeicherung optimiert.