[Workshop] AI が作成した画像をプロッタで紙に出力（描画）する #IOT205 #AWSreInvent

アノテーション 構築チームのいたくらです。
「Using generative AI & AWS IoT to build a 2D robot that draws pictures」に参加したのでレポートします。

セッション情報

• セッション ID : IOT205
• タイトル: Using generative AI & AWS IoT to build a 2D robot that draws pictures
• スピーカー: Jordan Alexander, Vijay Baskar
• レベル: 200 - Intermediate

ワークショップの概要

AWS IoT offers a transformative opportunity to bridge the gap between the digital and physical realms, unlocking unprecedented value from data. In this workshop, you'll discover how to complement loT applications with modern Al technologies for automated outcomes. You will use AWS generative Al and IoT services to transform text into images and those images into real-life drawings. Remember to bring your laptop to actively participate in this hands-on journey of exploration and innovation.

訳: AWS IoT は、デジタル領域と物理領域のギャップを埋め、データから前例のない価値を引き出す変革の機会を提供します。このワークショップでは、IoT アプリケーションを最新の AI 技術で補完し、自動化された成果を得る方法を発見してください。この学習体験に参加し、AI が作成した画像に命を吹き込むインテリジェントな XY プロッタを組み立てます。AWS のジェネレーティブ AI と IoT サービスを使用して、テキストを画像に変換し、それらの画像を実際の図面に変換します。

セッションで学べること

• Amazon Bedrock を IoT ソリューションに組み込む方法

Amazon Bedrock について

Amazon Bedrock は、AI21 Labs、Anthropic、 Cohere、Meta、 Stability Al、Amazon などの大手 AI 企業の高性能基盤モデル (FM) の選択肢を 1 つの API で提供するフルマネージドサービスです。 生成 AI アプリケーションの構築に必要な機能を提供し、プライバシーとセキュリティを維持しながら開発を簡素化できます。 Amazon Bedrock の包括的な機能を利用すると、さまざまなトップ FM を簡単に試し、微調整や取得拡張生成 (RAG) などの技術を使用してデータを使用してプライベートにカスタマイズし、複雑なビジネスタスクを実行するマネージドエージェントを作成できます。 また、Amazon Bedrock はサーバーレスであるため、インフラストラクチャを管理する必要がなく、使い慣れた AWS サービスを使用して生成 AI 機能をアプリケーションに安全に統合してデプロイできます。

ワークショップの構成図

ワークショップ内容

• １. 生成 AI と Web アプリを準備する
  • １. AWS アカウントの Amazon Bedrock コンソールで Stable Difffusion XL v0.8 へのアクセスを有効にする
  • ２. Amazon Bedrock と対話するために使用するウェブアプリケーションをデプロイし、AWS Amplify でホストする
  • ３. 電子メール ID を使用してユーザーアカウントを作成し、 ワンタイムパスコード (OTP) を入力してそのアカウントを検証する
  • ４. Web アプリケーションの機能を調べて画像を生成する
• ２. プロッタの接続、構築、およびテスト
  • １. 接続する
  • ２. 構築する
  • ３. テストする
• ３. 結果をプロットする

やってみた

1-1

このように Stability AI の SDXL 0.8 を選択して「モデルアクセスをリクエストする」をクリックするだけで有効にできました。

1-2

今回使用する Node.js アプリケーションは zip ファイルとしてパッケージ化されて、あらかじめ S3 バケットに格納されていました。 なので、その zip ファイルをダウンロードして AWS Amplify へアップロードすることでデプロイが完了しました。

1-3

1-2 でデプロイした Web アプリケーションでユーザーアカウントを作成しました。 検証メールも届き、無事ユーザーアカウントを作成できたのでログインできました。

1-4

適当な単語（cake, chocolate, dancing）を入れると、生成 AI によって画像が出力されたので挙動は問題なさそうでした。

2-1

あらかじめ用意された QR コードには IoT Core エンドポイントとワークショップ会場の WiFi 認証情報が含まれているので、それを配布されたコントローラーでスキャンしました。 AWS IoT Core へ無事接続されました。

2-2

手順書通りに組み立てていき、このような感じで組み立てることができました。

2-3

まずはテストの box が描けるか試したところ、 出来損ないの正方形が描画されました。なんか違う。。。 きれいな正方形が描けないかアームの調整をしてみましたがうまくいかず。。。 最終的には芸術を爆発させてしまいました。

3

今回自分はワークショップ時間内に AI が生成した画像をプロッタで紙に描画できることを確認することができませんでしたが、同じテーブルに座っていた方がそこまでたどり着いて描画できたものを見せていただきました。 裏で Lambda が画像をベクトル化できていることが分かりました。

所感

普段関わっている案件では IoT や生成 AI を触る機会がなかったので、とにかく触ってみたいという気持ちで参加してみました。 IoT デバイスと接続する方法、テストのやり方、生成 AI が意外と簡単に使い始められることが知れて勉強になりました。

アノテーション株式会社について

アノテーション株式会社は、クラスメソッド社のグループ企業として「オペレーション・エクセレンス」を担える企業を目指してチャレンジを続けています。
「らしく働く、らしく生きる」のスローガンを掲げ、様々な背景をもつ多様なメンバーが自由度の高い働き方を通してお客様へサービスを提供し続けてきました。
現在当社では一緒に会社を盛り上げていただけるメンバーを募集中です。少しでもご興味あれば、アノテーション株式会社 WEB サイトをご覧ください。