![[アップデート] Pinecone Database が自身の AWS アカウントにデプロイできる Bring Your Own Cloud (BYOC) デプロイモデルをサポートしました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-a569973a74a749f9d375d947f53cfedb/898c4aeaad7662159021fc186cbb5c21/pinecone-1.png)
[アップデート] Pinecone Database が自身の AWS アカウントにデプロイできる Bring Your Own Cloud (BYOC) デプロイモデルをサポートしました
こんにちは!クラウド事業本部コンサルティング部のたかくに(@takakuni_)です。
みなさん、 Pinecone 使っていますでしょうか。
先日、Pinecone Database を自身の AWS アカウントにデプロイできる Bring Your Own Cloud (BYOC) が登場しました。
Bring Your Own Cloud
重複しますが、 Bring Your Own Cloud (BYOC) は Pinecone Database を自身の AWS アカウントにデプロイできる機能です。
現時点では Early access で AWS 上にデプロイをサポートしているようです。(利用にあたっては事前にリクエストを送る必要があります。)
Bring Your Own Cloud (BYOC) lets you deploy Pinecone Database in your private AWS account to ensure data sovereignty and compliance, with Pinecone handling provisioning, operations, and maintenance. This feature is in early access on AWS.
なお、 Pinecone 内の Early access は以下と定義されていました。
Early access: In active development and may change at any time. Intended for user feedback only. Users must be granted explicit access to the API by Pinecone.
アーキテクチャ
構成図は以下の通りです。
Bring Your Own Cloud for AWS より画像引用
主に役割分担が以下に分かれています。
特に2番の項目は、Private Link から顧客側なのか、Pinecone 側なのか気になりますね。(コスト含め EKS をどちらが管理するのかで気になります。)
- コントロールプレーン側:Pinecone側の AWS アカウントでホストされるリソースで管理
- データプレーンの API 提供:Pinecone側の AWS アカウントでホストされる VPC で管理または、顧客管理側の AWS アカウントでホスト
- データプレーン自体の API 提供は EKS でホストされる API サーバーから提供
- PrivateLink を経由してカスタマー側の LLM アプリケーションと疎通を行う
- 上記のことから Amazon Bedrock Knowledge bases などのマネージドサービスとの統合は難しそう
- コントロールプレーンとの統合は Pinecone Agent を通じてやり取り
- EKS クラスター内にオブザバビリティツールがインストールされており、メトリクスおよび監視が可能
- データプレーン API 側は VPN(S2S なのか P2P なのかは不明)を通じて、Pinecone Support から見える状態にある
- サポートのやり取りのために利用される
- Pinecone Database のデータそのもの:カスタマー側の S3 および Metadata Store(DynamoDB?, Parameter Store?, Secrets Manager?)
- Metadata Store として利用されるサービス名は不明
わかっていることは上記の通りで、一般提供時により詳しいことがわかると思います。
ベクトルデータベースとしてのデータの実態が S3 などで構成されており、あの安さの真相がわかって、個人的にはかなり興味深いです。
利用にあたって
まず初めに Early access であることから、本番環境では利用は難しい状態であること、利用にあたって Pinecone への問い合わせが必要です。
BYOC is in early access on AWS. To learn more about the offering, contact Pinecone.
オンボーディングの項目を確認すると、デプロイには Terraform が利用されるとのことでした。
Terraform template execution: You download and run a Terraform template provided by Pinecone. This template creates essential resources, including an IAM role with scoped-down permissions and a trust relationship with Pinecone’s AWS account.
利用に際しては、よくある質問も合わせてご覧いただくのが良いかと思います
まとめ
以上、「Pinecone Database が自身の AWS アカウントにデプロイできる Bring Your Own Cloud (BYOC) デプロイモデルをサポートしました。」でした。
私もリクエストを送ったばかりなので、使用感含めて公開可能であれば発信できればと思います。
データの保管元を制限したいケースには待望の機能ですね。一般提供が待ち遠しいです。
このブログがどなたかの参考になれば幸いです。
クラウド事業本部コンサルティング部のたかくに(@takakuni_)でした!