[動画公開中] モダンデータスタック最前線〜データオブザーバビリティ〜 #devio2023

DevelopersIO 2023のビデオセッションで、データオブザーバビリティに関する動画を作成しました！

動画

資料

モニタリングについて補足

動画本編で、そもそもモニタリングとはなんなのか？について話す前にモニタリングの利点についてお話ししてしまったので、ブログで「モニタリングとは？」を補足しておきます。

モニタリングとは、

チームがシステムの状態を監視して把握できるようにするツールや技術的なソリューション

です。

Google Cloud - DevOps 測定: モニタリングとオブザーバビリティ より

データ分析基盤に向けてはデータ品質モニタリングソリューションとして製品の一機能だったり、DWHやdbtに組み込む形でデータの状態を監視できるOSSなどがあります。

ただ、（動画でお話ししている通り）これらのソリューションは対象の製品がDWHやdbtに閉じていたり、対象のテーブルを絞って監視を行う仕組みになっているため、DWHに入っている全てのテーブルを対象とすることは難しいです。その点において、DWHに入っているすべてのテーブルが自動モニタリングの対象となるMonte Carloは抜け漏れなくデータを観測できる状態にしてくれます。

まとめ

（まとめが苦手で動画で唐突に「Monte Carloに関しては何もしていない」というスライドを出してしまって、びっくりしてしまった方、すみません...）

今回せっかくDevIOに動画を出すのであれば、データオブザーバビリティについて話そう！と決めたのが今年の3月下旬...そこから時は経ち、データオブザーバビリティについて調べたりMonte Carloのブログを漁り始めたのが5月のことでした。2ヶ月間たっぷりと時間はあったのですが、ソフトウェアを通っていないデータ畑人間には大変すぎるトピック選択でした・・・。冒頭で簡単にモニタリングやSREについてわからないことがあれば、概要欄のURLの記事を参考にしてくださいと言っていますが、わたしもそもそもオブザーバービリティって？信頼性って？？という感じで本題のデータオブザーバビリティに入るまでにものすごい時間がかかってしまいました。

ただ、世の中には生粋のデータ人間であるという人がたくさんいると思うので、そういう方々に今回の動画が届けばいいなと思います。

また、オブザーバービリティとは？？状態だったわたしでも今回デモでご紹介したMonte Carloがいい製品であることはすぐにわかったので、動画内でも紹介していますがフリートライアルができるようになっていますので、興味のある方はコンタクトを取ってみてください！

Monte Carlo - Free Trial