Redshift とデータ連携するサービスをまとめてみた

はじめに

おはようございます、もきゅりんです。

皆さん、Redshift とは仲良しでしょうか？

まだあまり仲良しではない自分は、Redshift がどのように他サービスとデータ連携するかをまとめてみました。

データのロード元、外部データへのクエリ、Redshift へのクエリ、BIツールとの連携という視点でまとめてみました。(まだまだ足りないものもあるかもしれません)

前提として、 Redshift がどんなサービスかはいちおう把握していることは必要です。

数百ギガバイトからペタバイト以上の巨大なデータを扱う、クラスター構成、列指向、PostgreSQL 8.0.2に準拠、などの特長 ですね。

Redshift については比較的弊社ブログでの記事数も多く、概要については下記ブログも参考になりますので是非どうぞ。

AWS再入門ブログリレー Amazon Redshift編

AWS再入門 Amazon Redshift編

その上で、 Redshift がどのようなサービスと連携しているのか把握されたい方が読者対象になります。

データのロード

Amazon Redshift と Amazon S3 の間のデータの移動

Amazon Redshift を Amazon DynamoDB に使用する

SSH によるリモートホストからのデータのインポート

AWS Data Pipeline を使用したデータの定期的なロードの自動化

AWS Database Migration Service を使用したデータ移行 (AWS DMS)

Glueを介したロード

外部データへのクエリ

• Federated Query (RDS/Aurora PostgreSQL に対する直接クエリ)

• Redshift Spectrum (S3への直接クエリ)

(Glueを挿し込んで Redshift Spectrum のパターンもあります。)

Redshift へのクエリ

• Athena から Redshift (Preview)

• SagaMaker から Redshift

BIツールとの連携

QuickSight, Tableau, FineReport, Power BI, and more...

最後に

奥深い Redshift の世界ですが、周辺サービスとの連携からどのようなことができるのかをまとめてみました。

これらを実際にどのように使うのかについては、是非、弊社の各ブログを参照して頂ければと思います。

以上です。

どなたかのお役に立てば幸いです。

参考:

• Redshift データベース開発者ガイド

• 20200318 AWS Black Belt Online Seminar Amazon Redshift

• AWS Glue

• Amazon SageMaker と Amazon Redshift を利用した、高速・柔軟・セキュアな機械学習基盤の構築