Apache Arrow
Daha fazla bilgi
- Yaratıcı
- Wes McKinney ve diğerleri
- Yıl
- Sahibi
- Apache Software Foundation
- Tür
- Bellek içi sütunlu biçim
- Lisans
- Apache 2.0
- Resmî site
- arrow.apache.org
- Kaynak kod
- github.com/apache/arrow
Analitik için dilden bağımsız, sütunlu, bellek içi biçim — farklı sistemlerin serileştirme/seri çözme olmadan veri paylaşmasını sağlar.
2016'da Wes McKinney (pandas) ve diğerleri tarafından başlatıldı. Hem bellek düzenini hem de tel biçimini (Arrow Flight) tanımlar. Bir pandas DataFrame, bir DuckDB tablosu, bir Polars çerçevesi ve bir Spark bölümü aynı Arrow tamponunu gösterebilir — sıfır kopya. Sözlük kodlama, çalışma uzunluğu kodlama ve iç içe türleri destekler.
DuckDB, Polars, DataFusion, ClickHouse Connect ve Snowflake Python bağlayıcısının temelinde yatar. Diskteki Arrow IPC = Feather biçimi; ilişkili Parquet Arrow uyumludur ama uzun vadeli depolama için optimize edilmiştir.