[レポート]AIM405: 自然言語処理を使ったより良い分析 #reinvent

AWS re:Invent 2018

#Amazon Comprehend

#AWS

にゃー

2018.11.30

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、中村です。
本記事は、AIM405-R - [REPEAT] Better Analytics Through Natural Language Processing のセッションレポートです。

概要

Natural language processing holds the key to unlocking business value from unstructured data. Organizations that implement effective data analysis methods gain a competitive advantage through improved decision-making, risk reduction, or enhanced customer experience. In this session, learn how to easily process, analyze, and visualize data by pairing Amazon Comprehend with services like Amazon Relational Database Service (Amazon RDS), Amazon Elasticsearch Service, and Amazon Neptune. We also share real-world examples of how customers built text analytics solutions with Amazon Comprehend.

自然言語処理は、非構造化データからビジネス価値を引き出す鍵となります。効果的なデータ分析方法を実装している組織は、意思決定の改善、リスクの削減、または顧客体験の向上を通じて、競争上の優位性を獲得します。このセッションでは、Amazon RDS、Amazon Elasticsearch Service、Amazon NeptuneなどのサービスとAmazon Comprehendを組み合わせることで、データの処理、分析、視覚化を簡単に行う方法を学びます。また、Amazon Comprehendでテキスト分析ソリューションを構築した現実的な例も紹介します。

セッションリポート

Amazon Comprehend
- フルマネージドのテキスト分析サービス
- データを与えることで、より正確なレスポンスが期待できる
- いくつかのAPIがあり
- キーフレーズや文章の内容を判断する
- 例えばネガティブな感情がわかった場合、なにをカスタマーが行ったのかをより深掘りするのような機能を作れる
- 同じような文章をカテゴライズする用途にも使える
Custom Amazon Comprehend
- 利用状況に合わせたEntitiesを追加することで重み付け
- カスタム分類
- - 用途に合わせたデータを作成し、モデルを強化する
  - 自動トレーニングを行える
    - AWSのコンソール上 / CLIから行える
- カスタムエンティティ
  - ドキュメント内に存在する可能性がありかつ、一般的でない物をデータ定義する
  - 複雑なデータセットの作成等はいらずに容易に学習させることができる
- Comprehend の構造的なアウトプット
Under the hood
- ML / NLPの複雑さを排除する
  - 「最適化を気にせずにユーザーが利用できるように」、がコンセプト
事例: FINRA
- アメリカの資本家の保護のためブローカー・ディーラー業界が公正かつ正直に動いていることを確認している議会に認められたNPO法人
- 課題
- ビジネスチャレンジ
  - キーフレーズの取得
  - 構造化
- ソリューション
  - 3CPO / ドキュメントをベースに企業を分析する
  - - アーキテクチャー
    - Comprehendで処理した結果を様々なAWSサービスヘインテグレーション
    - データフロー
    - 利益
Amazon Comprehendの事例
Cloudformation テンプレートがブログにあるのでぜひチャレンジ！