Apache Arrow
Meer info
- Maker
- Wes McKinney e.a.
- Uitgebracht
- Eigenaar
- Apache Software Foundation
- Type
- Kolomgeoriënteerd in-memoryformaat
- Licentie
- Apache 2.0
- Website
- arrow.apache.org
- Broncode
- github.com/apache/arrow
Taalonafhankelijk kolomgeoriënteerd in-memoryformaat voor analytics — laat verschillende systemen data delen zonder serialisatie/deserialisatie.
Gestart in 2016 door Wes McKinney (pandas) en anderen. Definieert zowel een geheugenlayout als een wire-formaat (Arrow Flight). Een pandas DataFrame, een DuckDB-tabel, een Polars-frame en een Spark-partitie kunnen allemaal naar dezelfde Arrow-buffer wijzen — zero copy. Ondersteunt dictionary encoding, run-length encoding en geneste types.
Vormt de basis van DuckDB, Polars, DataFusion, ClickHouse Connect en de Snowflake Python-connector. Arrow IPC op schijf = Feather-formaat; het verwante Parquet is Arrow-compatibel maar geoptimaliseerd voor langdurige opslag.