Apache Arrow
Więcej informacji
- Twórca
- Wes McKinney i in.
- Rok
- Właściciel
- Apache Software Foundation
- Typ
- Kolumnowy format w pamięci
- Licencja
- Apache 2.0
- Strona
- arrow.apache.org
- Kod źródłowy
- github.com/apache/arrow
Niezależny od języka kolumnowy format danych w pamięci do analityki — pozwala różnym systemom współdzielić dane bez serializacji i deserializacji.
Zapoczątkowany w 2016 roku przez Wesa McKinneya (pandas) i innych. Definiuje zarówno układ w pamięci, jak i format przesyłowy (Arrow Flight). DataFrame z pandas, tabela DuckDB, ramka Polars i partycja Sparka mogą wskazywać na ten sam bufor Arrow — bez kopiowania. Obsługuje kodowanie słownikowe, kodowanie długości serii i typy zagnieżdżone.
Leży u podstaw DuckDB, Polars, DataFusion, ClickHouse Connect i konektora Pythona do Snowflake. Arrow IPC na dysku to format Feather; pokrewny Parquet jest zgodny z Arrow, ale zoptymalizowany pod długoterminowe przechowywanie.