【小ネタ】Amazon QuickのAI推論はApp Storageのデータ分析は可能でダッシュボード分析は出来ませんでした
こんにちは、こーへいです。
Amazon Quickのアプリ機能についてこれまで何度か検証してきましたが、今回はアプリに組み込めるAI推論を試そうとするとApp Storageのデータは分析できるものの埋め込んだダッシュボードのデータはAI推論では分析できないことがわかりました。
AI推論とは
AI推論とは送信したテキストの要約、データの分類、推奨事項の生成などができる機能で、要約などの自由形式テキストと、分類やJSON抽出などの構造化出力の2モードがあります。モデルも用途に応じて選べます(参考)。
こちらは自由形式のテキスト出力で、
こちらは構造化出力(JSON)です。
モデルも選べます。
んん？Anthoropicのモデルが選べる？下記ドキュメントにも使用しているLLMは記載されていないはずですが、裏側ではこれらのモデルが使われている可能性がありますね。本題ではないので今回は深くは触れません。
ダッシュボードをAIに分析させようとしてみた
スコア確認アプリに対して、「埋め込んでいるダッシュボードのスコアをAIに分析して、傾向と対応案を出してほしい」と依頼しました。
返ってきたのは、埋め込みダッシュボードはiframeで表示していて、その中の数値を直接読み取ることはできない、という説明でした。つまりAI以前に、そもそもアプリがダッシュボードの中身を取得できていない、ということです。
アシスタントによれば、AIに分析させるならスコアの値を人が手入力で渡すか、App Storageに入っているデータ(対応メモなど)を対象にするしかないとのことでした。
なぜ読めないのか
まずドキュメントの埋め込みビジュアルの説明には埋め込んだビジュアルからAI推論でデータを読み取れるとは書かれていません(Quickでアプリを使用して構築できるもの)。
もう少しドキュメントを読み進むと、アプリはサンドボックス化されたiframeの中で動き、許可されるのはスクリプト実行だけで、外部への直接のネットワークアクセスは制限され、外部システムとの通信はブリッジAPIかアクションコネクタを経由する、ということがわかります(セキュリティとサンドボックス)。
少し難しいのですが要は、アプリのコードが好きなデータを読みに行ける作りではない、ということでしょうか。
ダッシュボードの数値が読めない理由を直接明言したものではありませんが、実機で「読めない」と言われた挙動とは整合します。
これは以前の検証とも同じで、既存のデータセットをアプリのデータソースに直結することができないのと同じ理屈かなと思います。
AI推論には何を渡せるのか
今回のアプリでは、次のものを渡せたのを確認しました。
- ダッシュボードを見た人が手入力したスコアの値
- App Storageに貯めた対応メモ(テキスト)
実際に、App Storageに記録した対応メモをAIに渡して分析させることはできました。
これにより「スコアを手入力してもらって、それをもとにAIが対応メモの下書きを作る」なら可能です。
一方でやはりダッシュボードの中身をAIに直接読ませることはできないので、データセットを横断的に分析した結果が欲しいというユースケースには今後のアップデートに期待したいです。
まとめ
- 埋め込みダッシュボードは表示しているだけで、中の数値をアプリやAIから読み取れない
- AI推論に渡せるのは、アプリに送ったテキストや、手入力した値、App Storageのデータ
- ダッシュボードをAIに分析させたいなら値を人が手動で渡す必要がある
