[レポート]What’s new with Amazon Redshift #ANT201 #reinvent

どーも、データアナリティクス事業本部コンサルティングチームのsutoです。

現地ラスベガスでre:Invent 2022に参加中です。

本エントリはAWS re:Invent 2022のセッション「ANT201 What’s new with Amazon Redshift」のレポートです。

セッションの概要

Join this session to hear about important new features of Amazon Redshift—a fast, cost-optimized, and widely used cloud data warehouse. Amazon Redshift delivers powerful and secure insights from all your data at scale, with zero administration required. Learn how Amazon Redshift reinvented data warehousing to help you analyze all your data across data lakes, data warehouses, and databases with the best price performance and how it empowers you to apply machine learning quickly and easily.

本セッションでは、高速でコスト最適化され、広く利用されているクラウドデータウェアハウスであるAmazon Redshiftの重要な新機能についてご紹介します。Amazon Redshiftは、大規模なデータから強力かつ安全なインサイトを提供します。Amazon Redshiftがデータウェアハウスをどのように改革し、データレイク、データウェアハウス、データベースにまたがるすべてのデータを最高のコストパフォーマンスで分析できるようになったか、また、機械学習を迅速かつ容易に適用できるようになったかについてご説明します。

スピーカー

• Neema Raphael, Chief Data Officer, Goldman Sachs, Inc.
• Eugene Kawamoto, Director, Product Management, Amazon Web Services, Inc.

セッション内容

1.冒頭

• 今年の7月にGAとなったRedshift Serverless、Redshift Query Editor v2の話から始まりました
  • 多くの日本ユーザーにとって待ち望んでいたGAだったと思います
  • Redshift Serverlessの構築手順は以下が参考になります

2.データ取り込み

• さまざまなデータソースからRedshiftへデータを取り込む際に、以下のような課題を抱えています
  • オーケストレーション、スキーマ変換などを含むETLジョブの開発（大規模なものならデータ統合ハブの開発）に大きな労力がかかる
  • データの不完全性、一貫性、陳腐化により、インサイトが限定される
• →そこで今回は割とアツいアップデート情報が！

• S3バケットからRedshiftへの自動取り込みをサポート（Preview）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-supports-auto-copy-amazon-s3/
  • 個人的に一番うれしいアップデート。検証記事書きたいですねー。（キーノート発表時で一番大きい歓声が上がっていました）

• Aurora と Redshift の完全に管理されたゼロETL統合（Preview）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

• Amazon KDS と Amazon MSK のリアルタイムストリーミング取り込み（GA）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-real-time-streaming-ingestion-kds-msk/
  • 公式ブログ：https://aws.amazon.com/jp/blogs/aws/new-for-amazon-redshift-general-availability-of-streaming-ingestion-for-kinesis-data-streams-and-managed-streaming-for-apache-kafka/

• RedshiftでInformatica Data Loaderが統合され使用可能に（GA）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-integration-informatica-data-loader-tool-data-uploads/
  • 公式ブログ：https://aws.amazon.com/jp/blogs/big-data/simplify-data-loading-on-the-amazon-redshift-console-with-informatica-data-loader/

3.データシェアリング

• Redshift data sharing がAWS Lake Formation による集中アクセス制御をサポート（Preview）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-data-sharing-centralized-access-control-lake-formation-preview/

4.データインテグレーション

• Amazon Redshift integration for Apache Spark （GA）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-integration-apache-spark-amazon-emr/
  • 公式ブログ：https://aws.amazon.com/jp/blogs/aws/new-amazon-redshift-integration-with-apache-spark/

5.セキュリティ

• Amazon Redshift で動的データマスキングのサポート （Preview）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-support-dynamic-data-masking-preview/

6.可用性

• Amazon Redshift がMulti AZ可能に （Preview）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-multi-az-preview-ra3-clusters/
  • 待望のMulti AZ対応！！（ただしRA3インスタンスタイプのみ）

• AWS BackupがRedshiftをサポート （GA）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/aws-backup-support-amazon-redshift/
  • 公式ブログ：https://aws.amazon.com/jp/blogs/aws/new-amazon-redshift-support-in-aws-backup/

7.クエリパフォーマンス

• 書き込みワークロードの同時実行スケーリングなど、書き込みパフォーマンスの向上
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-concurrency-scaling-write-workloads/

• Amazon RedshiftがSQL 機能の拡張をサポート （一部Preview）
  • 公式のニュース記事：https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-sql-capabilities-speed-data-warehouse-migrations-preview/
  • https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-redshift-support-connect-by-sql-construct/

Goldman Sachs様の事例紹介

その他事例紹介

• Peloton様

• Orion様

最後に

セッショントークでは、これまでRedshiftの機能がどのように改革・アップデートしていったかの話を混じえながら2022年11月からのアップデート情報を中心に紹介されていました。

今年強くアピールされているなと感じたところは、「データ取り込み機能」「クエリパフォーマンス向上」です。

とくに「S3バケットからRedshiftへの自動取り込みをサポート」がGAされれば、Event Bridgeの設定をわざわざ作り込まなくて済むんだろうなーと妄想しています。

RA3インスタンスやRedshift Serverlessが登場してから、RedshiftもAWSサービス間の機能連携がしやすくなってきて嬉しいところですね。