Delta Lake
Mehr Infos
- Erstellt von
- Databricks
- Veröffentlicht
- Eigentümer
- Linux Foundation / Databricks
- Typ
- Lakehouse-Speicherschicht
- Lizenz
- Apache 2.0
- Website
- delta.io
- Quellcode
- github.com/delta-io/delta
Open-Source-Speicherschicht von Databricks — ergänzt Parquet-Dateien in einem Data Lake um ACID-Transaktionen, Time Travel und Schema-Erzwingung.
Der Trick: ein JSON-Transaktionslog (_delta_log/) neben den Parquet-Dateien; jeder Commit hängt eine neue Log-Datei an, die beschreibt, welche Dateien hinzukommen und wegfallen. Optimistic Concurrency funktioniert ohne Sperren, solange Konflikte selten bleiben. Unterstützt MERGE, UPSERT, VACUUM und OPTIMIZE.
Konkurriert mit Apache Iceberg und Apache Hudi. Iceberg gewinnt oft in offenen Ökosystemen (Trino, Snowflake, BigQuery), Delta gewinnt, wenn ohnehin Spark oder Databricks im Einsatz ist.