Redshift とデータ連携するサービスをまとめてみた

2020.08.14

はじめに

おはようございます、もきゅりんです。

皆さん、Redshift とは仲良しでしょうか?

まだあまり仲良しではない自分は、Redshift がどのように他サービスとデータ連携するかをまとめてみました。

データのロード元、外部データへのクエリ、Redshift へのクエリ、BIツールとの連携という視点でまとめてみました。(まだまだ足りないものもあるかもしれません)

前提として、 Redshift がどんなサービスかはいちおう把握していることは必要です。

数百ギガバイトからペタバイト以上の巨大なデータを扱う、クラスター構成、列指向、PostgreSQL 8.0.2に準拠、などの特長 ですね。

Redshift については比較的弊社ブログでの記事数も多く、概要については下記ブログも参考になりますので是非どうぞ。

AWS再入門ブログリレー Amazon Redshift編

AWS再入門 Amazon Redshift編

その上で、 Redshift がどのようなサービスと連携しているのか把握されたい方が読者対象になります。

データのロード

Amazon Redshift と Amazon S3 の間のデータの移動

s3toRedshift

Amazon Redshift を Amazon DynamoDB に使用する

dynamo2Redshift

SSH によるリモートホストからのデータのインポート

host2Redshift

AWS Data Pipeline を使用したデータの定期的なロードの自動化

pipeline2Redshift

AWS Database Migration Service を使用したデータ移行 (AWS DMS)

migrate2Redshift

Glueを介したロード

Glue_though_Redshift

外部データへのクエリ

  • Federated Query (RDS/Aurora PostgreSQL に対する直接クエリ)

  • Redshift Spectrum (S3への直接クエリ)

querybyRedshift

(Glueを挿し込んで Redshift Spectrum のパターンもあります。)

Redshift へのクエリ

  • Athena から Redshift (Preview)

  • SagaMaker から Redshift

Query2Redshift

BIツールとの連携

QuickSight, Tableau, FineReport, Power BI, and more...

BIwithRedshift

最後に

奥深い Redshift の世界ですが、周辺サービスとの連携からどのようなことができるのかをまとめてみました。

これらを実際にどのように使うのかについては、是非、弊社の各ブログを参照して頂ければと思います。

以上です。

どなたかのお役に立てば幸いです。

参考: