【2019年】AWS全サービスまとめ その3(メディアサービス、機械学習、分析)

こんにちは。サービスグループの武田です。

この記事はAWS全サービスまとめ2018 | シリーズ | DevelopersIOの2019年版 その3 です。

非常にたくさんあるAWSのサービスを自分の勉強も兼ねてざっくりまとめてみました。「結局このサービスってなんなの?」という疑問を自分なりに理解するのが目的です。

今回はマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。

まとめるにあたって、次のドキュメントや、弊社の多数のブログを参考にしました。

AWS ドキュメント | AWS

AWS | Developers.IO

メディアサービス

Amazon Elastic Transcoder

S3に保存しておいたメディアファイル(AVIなどの動画ファイルや音声ファイル)をH.264などの別のフォーマットに変換するサービス。SNS連携によるステータス通知やKMSを利用した出力ファイルの暗号化が可能。

Amazon Kinesis Video Streams

数百万ものデバイスからの動画のストリーミングデータを安全に取り込むことができるサービス。エッジデバイス、スマートフォン、セキュリティカメラ、電波探知器、レーザー探知器、ドローン、衛星、車載カメラ、奥行センサといったさまざまなデバイスからデータを取り込むことが可能。

[New] AWS Elemental MediaConnect

映像をElemental LiveやオンプレミスからAWSグローバルネットワークを通じて送信できる高品質なライブ動画伝送サービス。また伝送先としては、Elemental MediaLiveのほかオンプレミス機器やIRD(衛星放送受信機)など多様なビデオ処理リソースに対応している。

[新サービス] AWS Elemental MediaConnectがリリースされました! #reinvent #mediaservices | DevelopersIO

AWS Elemental MediaConvert

大規模なブロードキャストおよびマルチスクリーン配信向けのファイルベース動画変換サービス。グラフィックオーバーレイ、コンテンツ保護、多言語音声、クローズドキャプションのサポート、H.265などのより配信に適した形式がサポートされている。

AWS Elemental MediaLive

大規模なブロードキャストおよびマルチスクリーン配信向けのライブ動画エンコードサービス。広告マーカーサポートや音声機能(音量正規化、ドルビーオーディオ、複数の字幕規格など)といった高度な機能がサポートされている。

AWS Elemental MediaPackage

単一のビデオ入力からさまざまなデバイスで再生可能な形式のビデオストリームを作成するサービス。MediaLiveやCloudFrontと連携することで、ライブ動画の処理やグローバル配信を行うことができる。

AWS Elemental MediaStore

ライブおよびオンデマンドの動画コンテンツを保存するメディアストレージサービス。バックエンドにS3を利用し長期間の耐久性を実現する。

AWS Elemental MediaTailor

動画広告をサーバーサイドで挿入し、コンテンツのパーソナライズ、収益化をサポートするサービス。正確なレポートが自動生成され、広告の表示回数や視聴者の行動をWeb、iOS、Android、およびその他の接続された視聴デバイス全体で測定できる。

機械学習

[Update] Amazon SageMaker

フルマネージドな機械学習サービス。調査、クレンジング、前処理に対してセットアップなしで利用可能なJupyterノートブックを実行するインスタンスが提供される。機械学習モデルを早く簡単に構築、トレーニング、ホスティングできる。機械学習モデルを特定デバイス向けに最適化できる SageMaker Neo 。機械学習モデルを検索できる SageMaker Search 。強化学習ができる SageMaker RL 。データセットの真値が作成できる SageMaker Ground Truth なども提供される。

[速報]SageMaker Neoが発表されました #reinvent | DevelopersIO

Amazon SageMaker Searchが発表されました! – 学習ジョブの検索機能 – #reinvent | DevelopersIO

[新サービス] [速報] 強化学習用のSageMaker「Amazon SageMaker RL」が発表されました! #reinvent | DevelopersIO

[速報]SageMaker Ground Truthが発表されました #reinvent | DevelopersIO

Amazon Comprehend

フルマネージドな自然言語処理サービス。テキストの中から場所や人物、キーフレーズ、感情(肯定的/否定的/混在/中立)などが検出できる。

AWS DeepLens

ディープラーニングに対応したプログラム可能なビデオカメラ。Kinesis Video StreamsやRekognition Video、SageMakerやLambdaと統合、連携できる。

Amazon Lex

Chatbotなどの、音声やテキストに反応する対話型インタフェースを構築するサービス。自然言語処理にAlexaと同等のディープラーニング技術を使用できる。

Amazon Machine Learning

機械学習のモデルを構築し、予測を生成するサービス。モデルのデータソースとして、S3に保存されたデータセット、RedshiftまたはRDSのMySQLが使用できる。

Amazon Polly

テキストを自然な音声に変換するテキスト読み上げサービス。SSML(Speech Synthesis Markup Language)を使用して発音、ボリューム、話す速度など、音声のさまざまな要素をカスタマイズできる。また、レキシコンによる単語の発音のカスタマイズも可能。

[Update] AWS Rekognition

フルマネージドな画像分析および動画分析サービス。画像や動画内の物体、シーン、テキスト、顔の検出、有名人の認識、不適切なコンテンツの識別ができる。

Amazon Transcribe

音声をテキストに変換する文字起こしサービス。電話音声など不鮮明なものも可能で、すべての単語へタイムスタンプ付与、複数話者の認識などの機能も予定されている。

Amazon Translate

テキストベースのコンテンツを多言語へ変換できるニューラル機械翻訳サービス。既存のテキストを大量に翻訳するバッチ翻訳と、オンデマンドで翻訳するリアルタイム翻訳の両方に対応している。

[New] Amazon Personalize

リアルタイムのパーソナライズおよびレコメンデーション生成サービス。AutoML機能が含まれており、S3にデータを置くことで、データのロードと検査、適切なアルゴリズムの選択、モデルのトレーニング、メトリクスの提供、パーソナライズされた予測の生成が行える。なお執筆時点でプレビュー版です。

[速報] 簡単にレコメンデーション・検索結果などのパーソナライズドエクスペリエンスを – Amazon Personalizeが発表されました! #reinvent | DevelopersIO

[New] Amazon Forecast

フルマネージドな時系列予測サービス。データはS3からインポートでき、自動的に精査、重要項目の識別、予測を立てるための予測モデルの作成を行う。製品需要計画、財務計画、リソース計画といったユースケースで使用できる。なお執筆時点でプレビュー版です。

[速報] 時系列予測サービスAmazon Forecastが発表されました #reinvent | DevelopersIO

[New] Amazon Textract

電子ドキュメントからテキストやデータを自動抽出するテキスト抽出サービス。従来のOCR(光学式文字認識)では困難だったマルチカラムなどのレイアウト、テーブルやフォームの関連などを識別して抽出できる。なお執筆時点でプレビュー版です。

[速報] OCR を超えたテキスト抽出が可能なマネージドサービス!Amazon Textract が発表されました! #reinvent | DevelopersIO

分析

Amazon Athena

標準SQLを使用してS3のデータを分析できるインタラクティブクエリサービス。Prestoで構築され、CSV、JSON、ORC、Avro、Parquet などのさまざまな標準データフォーマットに対応し、自動で並列的に実行される。

Amazon EMR

正式名称は Amazon Elastic MapReduce で、フルマネージドな(HadoopやSparkなどの)ビッグデータフレームワークサービス。ストレージとしてHDFS、S3を直接利用できるEMRFS、ローカルファイルシステムがある。

Amazon CloudSearch

フルマネージドなカスタム検索サービス。スケーラブル、高い信頼性とパフォーマンス、豊富な検索機能などを備える。Solrベース。

Amazon Elasticsearch Service

フルマネージドなElasticsearchクラスターサービス。KibanaやLogstashがサポートされ、S3、Kinesis、DynamoDBとの統合も可能。

Amazon Kinesis

リアルタイムでストリーミングデータを処理できるサービス。高速かつ継続的にデータの取り込みと集約を行うことができる Kinesis Data Streams 。S3、Redshift、Elasticsearch Serviceなどの送信先にリアルタイムのストリーミングデータを提供する Kinesis Data Firehose 。標準SQLを使用してストリーミングデータの処理や分析ができる Kinesis Data Analytics といったサービス群からなる。

Amazon QuickSight

簡単に高速にデータを分析・可視化できるクラウドBIサービス。データソースとしてRDB(RDSやオンプレのRDBなど)やS3、AthenaやRedshift、ExcelやCSVなどのファイル、SaaS(Salesforce)が使用できる。アドホック分析やダッシュボードを作成しデータを可視化できる。

AWS Data Pipeline

サービス(ノード)間のデータの移行および変換を行えるサービス。連携可能なサービスとしてDynamoDB、RDS、Redshift、S3がサポートされている。定義した処理はEC2またはEMRで実行され、スケジュール機能と組み合わせることでジョブスケジューラとしても利用できる。

AWS Glue

フルマネージドなETL(Extract、Transform、Load)サービス。RDSやS3といったデータソースをクロールしてデータカタログを構築、次にETL処理をジョブとしてトリガ登録(スケジュール/連結/オンデマンド)することで処理を実行する。

[New] Amazon MSK

正式名称は Amazon Managed Streaming for Kafka で、フルマネージドなApache Kafkaサービス。マルチAZレプリケーションや障害時の自動コンポーネント交換による高可用性、およびVPC、IAM、KMSとの統合による高い安全性といった特徴がある。

[新サービス]フルマネージドなApache Kafka、Amazon Managed Streaming for Kafka (MSK)が発表されました #reinvent | DevelopersIO

まとめ

その3をお届けしました。メディアサービスのElemental 5兄弟には新しいサービスが加わり6兄弟になりました。また機械学習ではSageMakerに新機能が多く追加されたほか、まったく新しいサービスも追加されています。

いまだにMSKって見てもすぐにKafkaが浮かんでこないのはすぐに慣れるでしょうか……。

それでは、その4もお楽しみに!