データベースのアーキテクチャ再構築に向けた新たなアプローチとして、DatabricksチームがLakebase設計とLTAP（Lake Transactional/Analytical Processing）を発表しました。従来のOLTPデータベースが抱える耐久性、スケーラビリティ、分析ワークロードとの競合といった課題を、ストレージと計算リソースの分離によって根本から解決するものです。 LakebaseはPostgresを基盤としつつ、従来モノリシックに統合されていた書き込みログとデータファイルを独立した外部サービスへ移管します。書き込みログは分散ネットワークでレプリケーションを行うSafeKeeperへ、データファイルはクラウドオブジェクトストレージを参照するPageServerへそれぞれ配置されます。これにより計算ノードがステートレス化され、サーバーレスのスケーラビリティ、即時分岐機能、そして物理障害に耐え得る耐久性が実現します。 本技術の核心的な革新はLTAPにあります。LTAPは、トランザクションと分析を単一エンジンで処理するHTAPの限界を克服するため、ストレージ層での統合に焦点を当てています。データがオブジェクトストレージに永続化する際、行形式からParquetのカラムナ形式へ自動変換されます。Postgresの型システムやMVCCの概念が維持され、分析エンジンにはスナップショット整合性が保証されます。CDCやデータ複製パイプラインを不要とし、最新の書き込みデータをLSNを基にしたフェッチでリアルタイム反映します。 結果として、単一のデータをオープン形式で保管しつつ、Postgresがトランザクションを、Lakehouseエンジンが分析を独立して実行できます。リソース競合の解消とETL維持コストの削減が同時に達成され、段階的ロールアウトによりクラウドデータインフラの設計基準を向上させると期待されます。