データレイク

この言葉は2010年にJames Dixonが、データウェアハウスとの対比で作った。ウェアハウスが、データを変換してスキーマに合わせてから入れることを求めるのに対し、レイクはログ、JSON、画像、Parquetファイルなど届いたものを何でも受け入れ、解釈をクエリ時まで先送りする。実際の基盤はほぼ必ずオブジェクトストレージだ。一生読まないかもしれないペタバイト級のデータを置くのに、最も安い場所だからである。

その柔軟さが批判の的になった。カタログも所有者も品質要件もなければ、レイクはGartnerがデータスワンプ(沼)と呼んだもの、つまり出所も信頼性も確かめられないファイルの山になる。業界の答えは、Delta Lake、Iceberg、Hudiのようなトランザクション層をファイルの上に載せるレイクハウス型アーキテクチャだったが、これは結局、ウェアハウスがもともと保証していたものの多くを作り直すことに等しい。