Cloudflare の AI 機能を全力で解説する登壇を行いました！ #cm_odyssey

ウィスキー、シガー、パイプをこよなく愛する大栗です。

7月23日にクラスメソッドの設立20周年イベントである Odyssey のオンラインイベント Day8 で Cloudflare の AI について解説を行う登壇を行いました。

AI 半可通なのにエッジ AI 機能を全力で解説してみる 〜Cloudflare の場合〜

現在は第四次 AI ブームに突入しており、クラスメソッド Odyssey でも生成 AI の会を複数会開催しています。生成 AI に関するサービスも出しており、AWS、Azure、Google Cloud、OpenAI の各種モデルに対応しています。生成 AI を使用する場合は、メガクラウドと共に AI プロバイダーを併用することが一般的になってきています。

また、生成 AI に関しては OWASP でも提唱されている通り、今までとは異なる新たな攻撃手法がうまれておりセキュリティの懸念があります。特に生成 AI のモデルではなく、使用するアプリケーションに対する攻撃手法が多いためアプリケーション開発者がセキュリティ面で考慮する必要があります。

Cloudflare の AI 機能

生成 AI アプリケーションを作成する場合には、クライアント環境内で生成 AI を動作させるパターン、アプリケーションの実行環境内で生成 AI を動作させるパターン、アプリケーションが外部の生成 AI プロバイダーの API を呼ぶパターンなどが考えられます。Cloudflare は生成 AI アプリケーションを構築するための機能（攻めの AI 機能）として、Worekrs AI や Vectorize、生成 AI アプリケーションのセキュリティを高める機能（守りの AI 機能）として AI Gateway や Firewall for AI があります。

Worekrs AI

独自のコードで世界中の Cloiudflare ネットワーク上でサーバーレスに機械学習モデルを実行できます。世界 150 都市以上で GPU が導入されており、4 都市にある日本の全都市（東京、大阪、福岡、沖縄）でも利用できます。

Hugging Face とも連携して様々なオープンモデルを提供しています。生成 AI モデルにコンピューティングリソースの Workers が組み合わさっているため、Function calling を組み込むことで簡潔に記述できる機能もあります。

Vectorize

Cloudflare ネットワーク上にベクトルデータベースも実装されています。Workers AI と連携させてエッジで RAG（検索拡張生成）を実装することも可能です。LangChain v0.1 にも対応しているため、効率的に開発できます。

AI Gateway

アプリケーションと AI API の間に配置して、オブザーバビリティ、信頼性、制御を提供します。複数の AI プロバイダからメトリクスを集約してダッシュボードを提供したり、リアルタイムログなどを提供したりしています。キャッシュやレート制限で AI API の信頼性を高めます。ユニバーサル エンドポイントでは複数の AI プロバイダーをまとめる一つのエンドポイントを提供し、モデルでエラーが発生したときに他のモデルや AI プロバイダーへリクエストをフォールバックします。

Firewall for AI

LLM を使用したアプリケーションは従来のものと異なり、非決定論的で自然言語を使用します。そのためセキュリティの観点として攻撃者が従来の Web アプリケーションを対象としたセキュリティツールをかいくぐれてしまう可能性が高くなっています。それらの攻撃からアプリケーションを守るための機能として Cloudflare では Firewall for AI を現在開発しています。

まとめ

Cloudflare は AI を待つようする様々な場面に対応する機能を提供しており、AI をエッジに拡張して簡単に利用できます。AI にもオブザーバビリティの考え方やセキュリティ対策が必要であり、Cloudflare で対応ができます。

さいごに

Cloudflare にある AI 関連の機能を振り返る登壇を行いました。タイトルに「半可通」とあるように、私は最近の生成 AI 関連のブームに乗れていなかったので、AI 関連機能を振り返るのには骨が折れました。これを機会に生成 AI ブームに少しは乗れればなと思っています。