[レポート] ANT202 : 最新のクラウドデータウェアハウス Amazon Redshift #reinvent

AWS re:Invent 2018

#ビッグデータ

#Amazon Redshift

#AWS

石川覚

2018.12.08

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

ANT202-R1 - Modern Cloud Data Warehousing ft. Intuit: Optimize Analytics Practices の前半部分のセッションのレポートとなります。クラウドデータウェアハウスとありますが、内容はRedshiftのアップデートやパフォーマンスの改善とこれからのアップデートについて紹介です。

Modern Cloud Data Warehousing ft. Intuit: Optimize Analytics Practices (ANT202-R1) - AWS re:Invent 2018 from Amazon Web Services

セッション概要

Most companies are overrun with data, yet they lack critical insights to make timely and accurate business decisions. They are missing the opportunity to combine large amounts of new, unstructured big data that resides outside their data warehouse with trusted, structured data inside their data warehouse. In this session, we discuss the most common use cases with Amazon Redshift, and we take an in-depth look at how modern data warehousing blends and analyzes all your data to give you deeper insights to run your business. Intuit joins us to share their experience modernizing their analytics pipeline.

ほとんどの企業ではデータが溢れていますが、タイムリーで正確なビジネス上の意思決定を行うための重要な洞察が欠けています。彼らは、データウェアハウス外の大量の新しい非構造化大容量データを、データウェアハウス内の信頼できる構造化データと結合する機会を逃しています。このセッションでは、Amazon Redshiftの最も一般的な使用事例について説明し、現代のデータウェアハウスがどのようにすべてのデータをブレンドして分析してビジネスをより深く理解するかを詳しく見ていきます。 Intuitは、分析パイプラインを近代化する経験を共有するために私たちに加わります。

スピーカー

AWS のデータベースと分析サービス

目的や用途に応じた幅広いデータベースと分析サービスが提供されています。

データは日々増加し、多様化する

人々が考えるよりも多くのデータがあります。データ量は5年毎に10倍に増加し、そのデータを15年間保存するとデータ量は約1000倍に達します。

これまで以上に多くのデータ種類が存在します。カラムナファイルフォーマット（Parquet, ORC）、CSV、ログファイル、JSON、ウェブのアクセスログなど、構造化データから非構造化データまで様々です。

これまで以上に多くのデータ分析方法があります。Hadoop、Elasticsearch、presto、Sparkなど時代の変化に伴いツールが登場し、ユースケースに応じて使い分けが必要です。

Amazon Redshift の１年間の機能と改善リリース、パフォーマンスの大幅な改善

昨年のre:Invent2017から今年のre:Invent2018までに、機能と改善リリースは220項目に及びます。

過去６ヶ月間でパフォーマンスが３倍以上改善しました。

Amazon Redshift の最近の新機能

Redshift Query Editor (9月にGA)

AWSマネジメントコンソールからRedshiftにログインしてクエリを実行できるようになりました。

Elastic Resize (11月にGA)

Amazon Redshiftクラスターのノード数をこれまでより短い時間で増減させる機能です。一時的な高負荷処理のためにノードを追加するといった事が可能になります。

Amazon Redshift の今後の新機能

Concurrency Scaling (Preview)

Concurrency Scaling によるスループットの向上し、ユーザーアクティビティのバーストにも対応しています。

オンデマンドで自動的に多くのクラスタを作成します
何千もの同時クエリでも一貫して高速なパフォーマンス
事前のクラスタは必要ありません
予期しない需要変動に対応します

並行処理のスケーリングは、Redshiftの顧客の97％以上が自由です
メインクラスタが使用されている24時間ごとに、同時実行スケーリングのために1時間のクレジットが発生します

Intelligent maintenance (Preview)

ANALYZE: がバックグラウンドで自動実行
VACUUM: VACUUM DELETEがバックグラウンドで自動実行
WLM Concurrency Setting: WLMの自動設定

Amazon Redshift Spectrum (Coming Soon)

UNLOADコマンドでカラムナファイルフォーマット Parquet によるファイル出力がサポートされます
Spectrum Request Accelerator （これ以上の情報がありません）

その他

Auto Data Distribution (Coming Soon)

セッションの中では解説がありませんでしたが、新しく作成されたテーブルのデフォルトとして分散スタイルAUTOが追加されました。分散スタイルAUTOはテーブルサイズに基づいて最適な配信スタイルを決定するようになります。気になる方は英語マニュアルが公開されていますので御覧ください。

Distribution Styles

セキュリティは標準で提供

エンドツーエンドの暗号化。
KMS(AWS Key Management Service)との統合

コンプライアンス認証も受けています。

データレイクの特長

Amazon Redshiftは、Redshift Spectrumを利用してデータレイクと連携できます。連携するデータレイクは以下の特長があります。

様々な方法でデータを持ち込める
テラバイトからエクサバイトのスケールに耐えうる
セキュリティは、コンプライアンスおよび監査機能を提供する
S3上の同じデータを移動することなくお好みの分析を実行できます
コンピュートとストレージは分離されているのでスケールします
ストレージと分析は低コストを考慮して設計されています

最後に

クラウドデータウェアハウス Amazon Redshiftの１年間のアップデートやパフォーマンスの改善とこれからのアップデートについて紹介しています。この１年間で220項目に及ぶ機能と改善リリースにより半年間で３倍以上のパフォーマンスが改善しています。AWSはデータレイクに注力していますが、Redshiftもますます進化が止まりません。今回ご紹介した新機能がGAになりましたら改めてブログで紹介します。

なお、Intuitによる分析方法の最適化につきましては、公開資料をご覧ください。