当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 29日目のエントリです。
- Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita
- Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO
データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス構成が大きな注目を浴びています。データの収集、処理、保存、分析に使用されるツールとクラウドデータサービスを集めたソリューションを指す言葉です。クラスメソッドとしてもこのモダンデータスタック(Modern Data Stack/MDS)を推しており、下記の内容でお客様にサービスとして提供しています。
このモダンデータスタックという考え方、現在では構成するサービス群のジャンルが非常に多岐に渡ってきています。このカテゴリ分けも正直企業や個人によって定義が分かれていたりするのですが、『Modern Data Stack - Everything that you need to know !』というサイトではこのカテゴリ分類がシンプルかつ分かりやすく展開されています。このアドベントカレンダー企画では、このサイトで展開されているカテゴリ毎について内容を理解することで見識を広め、今後のサービス展開・サービス選択を検討する足掛かりとして行きたいと思います。
当エントリでは、Modern Data Stack(MDS)におけるカテゴリ『DataOps(データオプス)』の内容について紹介します。
目次
モダンデータスタック(Modern Data Stack/MDS)における『データオプス』とは
アドベントカレンダー企画の趣旨については1日目のエントリ内『当アドベントカレンダー企画について』をご参照ください。
DataOps(データオプス)とは、自動化を使用して(以前はリリースエンジニアリングとして知られていた)ビルドサイクルを加速させる、アジャイルかつプロセス指向の手法でアナリティクスを開発・提供する優れたアプローチです。DataOpsは、技術的プラクティス、ワークフロー、文化的規範、アーキテクチャパターンの集合体です。DataOpsによって組織内のデータの管理者と消費者間のデータフローのプロセスを自動化し、データ分析のサイクルタイムを短縮します。
- 迅速なイノベーションと実験により、新たな洞察をより速いスピードで顧客に提供する。
- 極めて高いデータ品質と極めて低いエラー率
- 人、テクノロジー、環境の複雑なアレイを超えたコラボレーション
- 明確な測定、モニタリング、結果の透明性
その他DataOpsの解説に関しては後述するDataKithcenの下記ドキュメントをご参照ください。
MDSにおける主なデータオプス系サービス
ここではモダンデータスタックにおける『データオプス』のカテゴリで主だったサービスについて幾つか言及していきたいと思います。(ここでの評価はユーザーによるサイト内でのLIKEの数が多いものを中心に見ていきます)
Data Kitchen
DataKitchenは、シームレスなチームコラボレーション、迅速なイノベーション、エラーのないオンデマンドインサイトを提供するために、開発と生産のワークフローを自動化するDataOps Platformです。
DataKitchenが備えている機能や特徴は以下のようなものがあります。
- プラットフォームの環境作成と管理機能：開発者は、イノベーションと創造を容易にするために、あらかじめ設定されたツール、データセット、ハードウェア、テストを含むキッチン・ワークスペースを数分で作成することができる
- 継続的デプロイメント：アナリティクスチームが新しいアナリティクスを迅速にリリースできるように、エンドツーエンドのデプロイメントプロセスを自動化
- 自動テストとモニタリング機能：本番または開発パイプラインの各ステップで自動テストを組み込むことができるため、コストのかかるデータエラーを早期に発見することができる
- コラボレーションと共有機能：共同作業者がエンドツーエンドの分析プロセスを可視化できる共通のワークスペースを提供することで、チームワークを促進
- 安全で最新のスケーラブルなアーキテクチャを求める企業にとってオンプレミスまたはハイブリッドインフラストラクチャのいずれのニーズにも適応するプラットフォーム
その他DataKitchenに関する基本的な情報は以下の通り。
- Blog - How to Get Started with DataOps | DataKitchen
- Get Started With DataOps Observability For Free | DataKitchen
- DataKitchen IO（@datakitchen_io）さん / X
- DataKitchen IO - YouTube
Datacoves
Datacovesは、dbt開発用のVS CodeとAirflowをホストするエンタープライズDataOpsプラットフォームです。データセキュリティを損なうことなく、データ管理のベストプラクティスを実現します。
Datacovesが備えている機能や特徴には以下のようなものがあります。
- ソリューションにはdbt開発用のホスト型VS CodeとAirflowが含まれ、企業はデータセキュリティを確保しながらデータ管理のベストプラクティスを実施することができる
- ターンキーインフラストラクチャにより、Datacovesは価値ある洞察を提供するために必要なツールを企業に提供し、データの成熟度を加速させ、データ品質を向上させる
- DatacovesのDataOpsプラットフォームに従うことで、企業はデータ管理プロセスを迅速に強化することができ、その結果、セルフサービスとデータ駆動型の意思決定を促進する、十分に文書化された安全なデータを得ることができる
その他Datacovesの基本的な情報は以下の通り。
まとめ
という訳で、『Modern Data Stack Categories Overview Advent Calendar 2023』29日目の記事、DataOps(データオプス)に関する紹介エントリでした。
明日30日目は『Data Apps(データ・アプリケーション)』に関する内容となります。お楽しみに！