Microsoft Azure の利用費を Amazon QuickSight のダッシュボードで表示する

いわさ

2023.01.23

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

いわさです。

普段 AWS を使うことが多くて、Azure はたまに利用する程度です。
ただし、利用頻度が低くても意図せぬ利用料金にならないように何かしらの対策は行う必要があります。

予算超過のアラートも悪くないのですが、個人的には正常であることを毎日確認したいと思っています。
ただし、Azure ポータルへのアクセス頻度が低いのでポータルにアクセスせずに日々の利用料金を確認出来るようにしたいなぁと思っていました。

今回試しに AWS 側にデータを取り込んで、QuickSight で Azure のコストを可視化してみましたので方法を紹介します。

アーキテクチャー構成

細かいところは省きますが、構成としては以下のような方式を採用しています。

Azure サブスクリプションのコスト分析機能で Azure Blob Storage へコストデータをデイリーでエクスポート
Amazon EventBridge で ECS タスクを日次で実行する。タスクは Rclone を使って Azure Blob Storage から Amazon S3 バケットへ Azure のデイリーコストをコピーする
QuickSight から Athena を経由して S3 バケットのデータを可視化する

Azure のコストをエクスポートし S3 へ取り込む

この流れは部分的に以下の記事で検証を少しづつ進めていました。

よって、Azure Blob Storage に出力されたコンテナ一式を ECS の Rclone タスクで　Amazon S3 へ同期するだけです。
ここではデイリーエクスポートの CSV を丸っと AWS へ同期させます。

日次出力のファイルは対象期間の重複があるので最新の CSV 1 件のみを取り込むほうが無駄がないのですが「Logic Apps や Functions で処理するには私のスキルだとあと一週間はかかるな」と思ったのでそのまま取り込むことにしました。

Athena で読み込む

こちらの記事と同じ方法で Athena を使って Amazon S3 へ同期された CSV ファイルを読み込みます。
日次出力 CSV は重複しているのでグルーピングして最大値を取ることにしました。
このあたりは重複削除するうまい仕組みがもう少しありそうですが次回以降の課題にしておきます。

SELECT
    UsageDateTime,
    SUM(MaxTaxCost)
FROM
    (
        SELECT
            SubscriptionGuid,
            ResourceGroup,
            ResourceLocation,
            UsageDateTime,
            MeterCategory,
            MeterSubcategory,
            MeterId,
            MeterName,
            MeterRegion,
            MAX(PreTaxCost) as MaxTaxCost
        FROM
            "azure-cost"."iwasazuredailycost"
        group by
            SubscriptionGuid,
            ResourceGroup,
            ResourceLocation,
            UsageDateTime,
            MeterCategory,
            MeterSubcategory,
            MeterId,
            MeterName,
            MeterRegion
        order by
            UsageDateTime
    )
GROUP BY
    UsageDateTime

いずれにせよ Athena のパワーでなんとかする方式です。
ファイルサイズが大きくなりパフォーマンスに影響が出そうなタイミングでパーティションや重複削除など検討したいと思いますが、今回のようにサービスとサービスを連携してソリューションを組み立てると、Athena だけ改善するなどがやりやすくて拡張性あって良いなという学びがありました。

Azure と AWS の集計結果を比較してみましょう。