Apache Arrow
Mer info
- Skapad av
- Wes McKinney m.fl.
- År
- Ägare
- Apache Software Foundation
- Typ
- In-memory kolumnärt format
- Licens
- Apache 2.0
- Officiell sajt
- arrow.apache.org
- Källkod
- github.com/apache/arrow
Språk-oberoende kolumnärt in-memory-format för analytics — låter olika system dela data utan serialisering/deserialisering.
Initierat av Wes McKinney (pandas) m.fl. 2016. Definierar både en minneslayout och en wire-format (Arrow Flight). En pandas-DataFrame, en DuckDB-tabell, en Polars-frame och en Spark-partition kan alla peka på samma Arrow-buffert — zero-copy. Stöder dictionary encoding, run-length encoding, nested types.
Underbygger DuckDB, Polars, DataFusion, ClickHouse Connect, Snowflake Python connector. Arrow IPC på disk = Feather-format; närliggande Parquet är arrow-kompatibelt men optimerat för långtidslagring.