Apache Arrow
Plus d'infos
- Créé par
- Wes McKinney et al.
- Année
- Propriétaire
- Apache Software Foundation
- Type
- Format colonnaire en mémoire
- Licence
- Apache 2.0
- Site officiel
- arrow.apache.org
- Code source
- github.com/apache/arrow
Format colonnaire en mémoire, indépendant du langage, pour l'analytique — permet à des systèmes différents de partager des données sans sérialisation ni désérialisation.
Lancé en 2016 par Wes McKinney (pandas) et d'autres. Définit à la fois une disposition mémoire et un format de transport (Arrow Flight). Un DataFrame pandas, une table DuckDB, un frame Polars et une partition Spark peuvent tous pointer vers le même buffer Arrow — sans copie. Prend en charge l'encodage par dictionnaire, le run-length encoding et les types imbriqués.
Sert de socle à DuckDB, Polars, DataFusion, ClickHouse Connect et au connecteur Python de Snowflake. L'IPC Arrow sur disque donne le format Feather ; Parquet, apparenté, est compatible Arrow mais optimisé pour le stockage longue durée.