Lookerの継続的インテグレーション(CI)ツール『Spactacles』が正式リリースされました！

モダンデータスタック(MDS)

#Looker

しんや

2021.06.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

この度、下記ブログエントリにてLookerの継続的インテグレーション(CI)ツール『Spectacles』のGA(general availability)版公開が発表されました。

Introducing Spectacles

個人的には暫く前にその名前を知った(後述)ので『ようやく来たか...！』という感じです。

当エントリでは、そんな『Spectacles』の内容について、概要周りの情報をサラッと紹介したいと思います。

製品概要

Spectaclesでは、LookML及びコンテンツにエラーが無いかどうかをテストすることが出来ます。継続的インテグレーション(CI)の手順の中でLookerがビジネスにとって信頼性と正確性を維持していることを確認することが出来、結果として全ての人のLookerエクスペリエンス向上が期待出来ます。

Spectaclesの主な特徴は以下の通り。

ユーザーが実行する前にSQLに関するエラーを検知：Lookerに組み込まれているバリデータではLookMLの構文エラーを解析・発見しますが、Spectaclesではウェアハウスで実行されるSQLのエラーを検出することが出来ます。事前にこれを行うことで、LookMLが実際にエラー無く動作することを確認出来ます。
デプロイ前にLookMLを自動的にテスト：SpectaclesはGithubやGitLab,Azure DevOpsと統合しているため、全てのプルリクエストが本番環境導入前にテストされます。
データウェアハウスの変更によるLookerの破壊を防止：データウェアハウス上でカラム名やデータ型などを変更すると、知らないうちにコンテンツが破壊されてしまうことがあります。Spectaclesではdbt Cloudとの統合により、データウェアハウスの変更による影響を本番前にテストすることが出来ます。
いつでも、どんな時でもSpectaclesを起動：Spectaclesはチームにあった方法でテストを実行することが出来ます。開発ブランチを手動またはプルリクエストでテスト、オーケストレーションDAGにAPIを介してテストを開始するように指示、朝のETLジョブ実行後に毎日実行するようスケジュールしたり出来ます。
ダッシュボードを誤って壊すことはありません：Spectaclesにはコンテンツ検証機能が備わっており、LookMLに変更を加えても重要なダッシュボードやLookが破損しないことを確認出来ます。

Lookerに携わる人々の「役割」視点から見ると、以下のようなメリットを享受出来るイメージです。

LookML開発者：コンテンツを破壊するようなデータベースのエラー無しにコードをリリース出来ていることをSpectaclesを通じて確信出来るので、安心して開発が行えます。
LookMLのコードレビュアー：校正に費やす時間を減らすことが出来るので、その分「設計上の決定」や「ビジネスロジックのレビュー」といった重要な部分により多くの時間を費やすことが出来るようになります。
データコンシューマー・ビジネスユーザー：エラーに遭遇する機会が減り、分析チームとLookerに対する信頼性が高まります。

ユーザーはLookMLの本番環境マージを要求(例:GitHubプルリクエスト経由)すると、Spectaclesがそれを受けてコードのエラーをテストします。なので誤って本番環境に問題が発生する、という事態を避けることが出来ます。

Spectaclesを使ってLookerインスタンスをテストするイメージは以下の通り。

1. それぞれのディメンションで入力したSQLが有効であることを確認するためにウェアハウス上でクエリをドライラン(DryRun/予行演習,実際には実行しない)。
2. コンテンツの検証：パーソナルスペースにあるコンテンツを除外したり、本番環境に存在しないエラーのみを表示することが出来るようになり、多くの煩わしさが解消されます。
3. 複雑なアサーションを個別にテストするためにLookerデータテストを実行

開発期間に於いても、スケジュール駆動や手動でLookerをテストするためにSpectaclesをトリガーとして利用することが可能です。またSpectaclesの設定についてもAPIキーのセットとLookMLリポジトリの幾つかの権限があれば対応可能です。

ちなみに『Spectacles』については、2019年に米国サンフランシスコで開催されたLookerのイベント『JOIN 2019 at San Francisco』でも、ツールを紹介するセッションが実施されていました。この時のものが時を経てようやく正式リリースまで辿り着いた感じですね。