[レポート] データレイクエンジニアリングにおける “醜い配管” を排除する – Subsurface LIVE Summer 2021

＜セッションタイトル＞
Eliminating the Ugly Plumbing of Data Lake Engineering
(データレイクエンジニアリングにおける "醜い配管" を排除する)

＜登壇者＞
Ori Rafael - CEO @ Upsolver
Yoni Eini - Co-founder and CT

＜発表内容＞
Dive into four areas of data lake engineering and hear about the technical details of how Upsolver eliminated its ugly plumbing.

For decades Oracle dominated the database landscape. It was an expensive monolith, but it did make things easy and familiar for the database user, since it provided a standard SQL interface and handled burdensome technical functions under the covers.

Data lakes upended the monolithic database, separating ingestion, storage and processing into independently scalable components. While this has provided tremendous flexibility and affordable infrastructure at scale, it has required scarce and expensive big data engineering talent to glue products together into solutions, via hand-coding and hundreds of configurations using distributed systems like Hadoop and Spark.

The challenge at hand is this: How do you make the data lake as easy to use as the traditional Oracle database, so that citizen data practitioners and not just big data engineers can take advantage of the wealth of data it holds.

In this talk, Ori Rafael, a long-time Oracle veteran while working in Israeli intelligence, and now CEO of Upsolver, will dive into each of the following areas of data lake engineering complexity and discuss the novel approaches Upsolver took to eliminate the ugly plumbing and democratize the data lake:
・Automated file systems management – addressing the small files problem, serialization, file formats and compression
・Joins, updates and deletes – enacting standard database operations on an immutable object store
・Orchestration – determining the best path to a desired table without burdening the user with data pipelines overhead
・Consistency – providing strongly consistent datasets on top of an eventually consistent object store

(データレイクエンジニアリングの4つの分野に分けて、Upsolverがどのようにして醜い配管を排除したか、技術的な詳細をご紹介します。

何十年もの間、Oracleはデータベースの世界を支配してきました。Oracleは高価なモノリス型データベースでしたが、標準的なSQLインターフェースを提供し、煩わしい技術的機能をカバーしていたため、データベースユーザーにとっては簡単で親しみやすいものでした。

データレイクはモノリシックなデータベースを覆し、取り込み、保存、処理を独立したスケーラブルなコンポーネントに分離しました。これにより、非常に高い柔軟性と手頃な価格のインフラが実現しましたが、その一方で、希少で高価なビッグデータエンジニアリングの人材が、ハンドコーディングやHadoopやSparkなどの分散システムを使った何百もの設定によって、製品をソリューションにまとめ上げる必要がありました。

現在の課題は次の通りです。ビッグデータエンジニアだけでなく、市民のデータ実務者がデータレイクが持つ豊富なデータを活用できるように、データレイクを従来のOracleデータベースのように使いやすくするにはどうすればよいか。

本講演では、イスラエルの諜報機関に勤務していた時にオラクルに長く在籍し、現在はUpsolver社のCEOを務めるOri Rafael氏が、データレイクエンジニアリングの複雑さを示す以下の各分野に踏み込み、醜い配管を排除してデータレイクを民主化するためにUpsolver社がとった斬新なアプローチについて説明します。
・自動化されたファイルシステムの管理 - スモールファイル問題、シリアライゼーション、ファイルフォーマット、圧縮への対応
・結合、更新、削除 - 不変のオブジェクトストア上での標準的なデータベース操作の実行
・オーケストレーション - データパイプラインのオーバーヘッドをユーザに負担させることなく、目的のテーブルへの最適なパスを決定
・一貫性 - 最終的に一貫性のあるオブジェクトストアの上に、強く一貫性のあるデータセットを提供)