データレイクをGitライクに使いたい！lakeFSを使ってみた
はじめに
lakeFSは、ざっくり言うとデータレイクをGitのようなリポジトリぽく取り扱うソフトウェア/サービスです。Gitライクなので、ブランチの作成、バージョン管理、ロールバックなどをCLIまたはGUIにて実行できます。
現在、クラウドストレージをデータレイクとして使う場合にはAWS S3/Google Cloud Storage/Azure Blob Storageなど複数の選択肢があるかと思いますが、lakeFSをインターフェースとして入れることで、実際のストレージがどこにあるかを意識することなくデータレイクを取り扱えるため、マルチクラウドなデータ分析基盤においてより力を発揮します。
lakeFSにはローカル環境に導入するオープンソース版と、SaaSとして提供されるlakeFS Cloudがあります。
今回はオープンソース版でクイックスタートをやってみます。環境はMacBook Pro(macOS Big Sur)です。
やってみた
クイックスタート環境のセットアップ
前提条件としてDockerがインストールされていることとします。
% docker --version Docker version 20.10.17, build 100c701
以下コマンドを実行することで、実行環境に必要なDockerコンテナが一式起動します。データベースもコンテナ内に持つので、終了後全てのデータは破棄されます。
% curl https://compose.lakefs.io | docker-compose -f - up
Webブラウザでhttp://127.0.0.1:8000/setupにアクセスすると以下画面が表示されます。管理者となるユーザー名を設定します。
以下画面が表示されます。まず[Download Configuration]をクリックし、lakectlに必要なConfigurationファイルをダウンロードします。ダウンロードしたファイル(.lakectl.yaml)はホームディレクトリ直下に配置します。次にAccess Key IDとSecret Access Keyをメモし、[Go To Login]をクリックします。
ログイン画面が表示されるので、Access Key IDとSecret Access Keyを入力し、[Login]をクリックします。
ログインされます。
リポジトリを作ってみる
[Create Repository]をクリックします。
[Create A New Repository]画面が表示されますので、Repository ID、Storage Namespace（local://を付与します）を入力します。Default Branchはmainのままとします。[Create Repository]をクリックします。
リポジトリが作成されます。
リポジトリにオブジェクトを登録してみる
GUIから簡単にオブジェクトのアップロードが出来るのですが、lakeFSはS3互換のAPIが使えるため、AWS CLIを使用して操作できます。面白いので今回はそれでやってみます。
まずAWS CLIの設定から行います。
% aws configure --profile local AWS Access Key ID [None]: XXXXXXXXX AWS Secret Access Key [None]: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Default region name [None]: Default output format [None]:
lakeFSクイックスタート環境のリポジトリの確認を行います。
% aws --endpoint-url=http://localhost:8000 --profile local s3 ls 2022-07-06 16:33:04 quickstart
PC上の「smokeymonkey.txt」というファイルをアップロードします。
% aws --endpoint-url=http://localhost:8000 --profile local s3 cp ./smokeymonkey.txt s3://quickstart/main/ upload: ./smokeymonkey.txt to s3://quickstart/main/smokeymonkey.txt
アップロードされていることを確認します。
% aws --endpoint-url=http://localhost:8000 --profile local s3 ls quickstart/main/ 2022-07-06 16:40:11 10 smokeymonkey.txt
当然GUIでも確認できます。
lakectlコマンドをインストールする
コマンドラインでlakeFSを操作するために、lakectlコマンドをインストールします。最新のリリースから、自環境に合わせてダウンロードします。今回はlakeFS_0.68.0_Darwin_x86_64.tar.gzをダウンロードしました。
ダウンロードしたファイルを展開します。
% tar xvzf lakeFS_0.68.0_Darwin_x86_64.tar.gz x CHANGELOG.md x LICENSE x README.md x lakefs x lakectl
展開されたファイルのうちlakectlを、/usr/local/binに移動します。
% mv lakectl /usr/local/bin % ls -alF /usr/local/bin/lakectl -rwxr-xr-x@ 1 sasaki.daisuke staff 44360704 6 21 18:59 /usr/local/bin/lakectl* % which lakectl /usr/local/bin/lakectl
lakectlの初期設定を行います。事前に.lakectl.yamlを配置しているため、特に設定の必要がないはずなので、確認のみです。
% lakectl config Config file /Users/smokeymonkey/.lakectl.yaml will be used ✔ Access key ID: XXXXXXXXXX Secret access key: **************************************** Server endpoint URL: http://127.0.0.1:8000/api/v1
なお、この「開発元を検証できないため開けません。」が表示された場合は...
Macの[セキュリティとプライバシー]から[このまま許可]をクリックします。
lakectlコマンドを使ってみる
まずはリポジトリのブランチを確認します。この時点ではmainのみです。
% lakectl branch list lakefs://quickstart +--------+------------------------------------------------------------------+ | BRANCH | COMMIT ID | +--------+------------------------------------------------------------------+ | main | 9acf87df77c11e2b5f2e87d09627e4399619253c1f45f29f3186ad6925eb8d89 | +--------+------------------------------------------------------------------+
先程ファイルを1つアップロードしているので、mianブランチをコミットします。
% lakectl commit lakefs://quickstart/main -m 'added my first file!' Branch: lakefs://quickstart/main Commit for branch "main" completed. ID: 4b2255fc3d7e7ad4481dd2049b340650ee526171162e2b3639ec6c8c8cb9ea8c Message: added my first file! Timestamp: 2022-07-06 17:00:19 +0900 JST Parents: 9acf87df77c11e2b5f2e87d09627e4399619253c1f45f29f3186ad6925eb8d89
ログを確認します。コミットされたログがあります。
% lakectl log lakefs://quickstart/main ID: 4b2255fc3d7e7ad4481dd2049b340650ee526171162e2b3639ec6c8c8cb9ea8c Author: smokeymonkey Date: 2022-07-06 17:00:19 +0900 JST added my first file! ID: 9acf87df77c11e2b5f2e87d09627e4399619253c1f45f29f3186ad6925eb8d89 Date: 2022-07-06 16:33:04 +0900 JST Repository created
new-branchという名前の新しいブランチを作成します。
% lakectl branch create lakefs://quickstart/new-branch -s lakefs://quickstart/main Source ref: lakefs://quickstart/main created branch 'new-branch' 4b2255fc3d7e7ad4481dd2049b340650ee526171162e2b3639ec6c8c8cb9ea8c % lakectl branch list lakefs://quickstart +------------+------------------------------------------------------------------+ | BRANCH | COMMIT ID | +------------+------------------------------------------------------------------+ | main | 4b2255fc3d7e7ad4481dd2049b340650ee526171162e2b3639ec6c8c8cb9ea8c | | new-branch | 4b2255fc3d7e7ad4481dd2049b340650ee526171162e2b3639ec6c8c8cb9ea8c | +------------+------------------------------------------------------------------+
new-branchにもう1つファイルをアップロードしてみます。
% aws --endpoint-url=http://localhost:8000 --profile local s3 cp ./smokeymonkey-new.txt s3://quickstart/new-branch/ upload: ./smokeymonkey-new.txt to s3://quickstart/new-branch/smokeymonkey-new.txt % aws --endpoint-url=http://localhost:8000 --profile local s3 ls quickstart/new-branch/ 2022-07-06 17:08:12 10 smokeymonkey-new.txt 2022-07-06 16:40:11 10 smokeymonkey.txt
new-branchをコミットします。
% lakectl commit lakefs://quickstart/new-branch -m 'added nw file' Branch: lakefs://quickstart/new-branch Commit for branch "new-branch" completed. ID: 3fa915b69ac999299dbd5b235cce8a4e9eb0c91c2254b89c67532e9aceae748f Message: added nw file Timestamp: 2022-07-06 17:10:09 +0900 JST Parents: 4b2255fc3d7e7ad4481dd2049b340650ee526171162e2b3639ec6c8c8cb9ea8c
new-branchをmainにマージします。
% lakectl merge lakefs://quickstart/new-branch lakefs://quickstart/main Source: lakefs://quickstart/new-branch Destination: lakefs://quickstart/main Merged "new-branch" into "main" to get "51d2156d87040ff0dc731a2e737b34ad366b53d94bbb478bd2a5c609408b7669".%
mainにも新しいファイルが追加されていることを確認します。
% aws --endpoint-url=http://localhost:8000 --profile local s3 ls quickstart/main/ 2022-07-06 17:08:12 10 smokeymonkey-new.txt 2022-07-06 16:40:11 10 smokeymonkey.txt
ここでrevertし、マージを無かったことにします。
% lakectl branch revert lakefs://quickstart/main 3fa915b69ac999299dbd5b235cce8a4e9eb0c91c2254b89c67532e9aceae748f Branch: lakefs://quickstart/main Are you sure you want to revert the effect of commits 3fa915b69ac999299dbd5b235cce8a4e9eb0c91c2254b89c67532e9aceae748f: y commit 3fa915b69ac999299dbd5b235cce8a4e9eb0c91c2254b89c67532e9aceae748f successfully reverted mainにもマージされていた新しいファイルが無いことを確認します。 % aws --endpoint-url=http://localhost:8000 --profile local s3 ls quickstart/main/ 2022-07-06 16:40:11 10 smokeymonkey.txt
さいごに
データレイクをgitライクに操作出来ることで操作にかかる負担が少なくなるし、冒頭に記載したとおりデータレイクの実体がどのサービスなのかを意識することなく、統一した操作を行うことができます。とても実用的なサービスだと感じました。
![[動画公開] データ分析を支える技術 データモデリング再入門 #devio2022](https://devio2023-media.developers.io/wp-content/uploads/2022/07/devio2022-primer-of-data-modeling_thumbnail.jpg)
