必見の記事

ChatGPT plugins のベータ提供が開始され、約70種類のプラグインが利用可能になりました

05/16 追記:waitlistを待たずとも使えるようになります
2023.05.14

こんにちは、CX事業本部 Delivery部の若槻です。

今回は、ChatGPT plugins のベータ提供が開始されていたので、現在利用可能なプラグインと、実際に試してみた内容についてご紹介します。

ChatGPT plugins とは

ChatGPT UI 上で 3rd-party アプリケーションを利用できるようにする機能です。

プラグインを追加することにより、ChatGPT に対して次のような機能拡張を行うことができます。

  • リアルタイムな情報の取得(例:スポーツのスコア、株価、最新ニュースなど)
  • プライベートなナレッジベースからの情報取得(例: 社内ドキュメント、個人的なメモなど)
  • チャットベースのアクション代行(例: 航空券の予約、フードの注文など)

各社が ChatGPT 向けのプラグインをこぞって開発するようになれば、ChatGPT がツールの枠を超え一種のプラットフォームになることが予想されますね。開発者コミュニティも生まれたりより発展したりするでしょう。OpenAI 社もそれらを狙って機能開発の 3rd-party 解放を行ったのだと考えられます。

(05/16 追記)公式のリリースノートはこちら

利用条件

現在、ChatGPT plugins は以下の条件を満たす少数のユーザーのみ利用可能になっています。

私の場合は、いつ waitlist に登録したのかは覚えていませんが、本日 ChatGPT でプラグイン機能を有効化可能になっていることに気が付きました。特にメールなどの連絡はありませんでした。

05/16 追記

5/13 に公式ツイッターアカウントより次のツイートがありました。(見逃していました)

(日本語訳)
来週中に、すべての ChatGPT Plus ユーザーに Web ブラウジングとプラグインを展開します。アルファ版からベータ版に移行すると、ChatGPT がインターネットにアクセスし、70 以上のサードパーティ プラグインを使用できるようになります。

waitlist を待たなくても、次週にはすべての ChatGPT Plus ユーザーで ChatGPT plugins が利用可能になるようです!

利用可能なプラグイン

現時点で私のアカウントでは以下の 69 種類のプラグインが利用可能になっていました。(人によるのか中には 80 種類近く使える人もいるらしいです)

私の環境で利用可能となっていたプラグイン一覧(原文)は下記となります。Tabelog(食べログ)含めプラグインの説明文はすべて英語となっていましたが、後述の通り質問・回答ともに日本語に対応しています。

クリックして展開
Name Description
Tabelog Allows you to find restaurants in Japan that have availability for reservations.
AskYourPDF Unlock the power of your PDFs!, dive into your documents, find answers, and bring information to your fingertips.
BlockAtlas Search the US Census! Find data sets, ask questions, and visualize.
One Word Domains Check the availability of a domain and compare prices across different registrars.
Wishbucket Unified product search across all Korean platforms and brands.
MixerBox OnePlayer Unlimited music, podcasts, and videos across various genres. Enjoy endless listening with our rich playlists!
Ambition Search millions of jobs near you.
DEV Community Plugin for recommending articles or users from DEV Community.
CreatiCode Scratch Display Scratch programs as images and write 2D/3D programs using CreatiCode Scratch extensions.
Wahi Hey Ontario, ask and get so in the know on the latest listings, property insights and more.
Hauling Buddies Locate dependable animal transporters using recommendations, reviews, and regulatory compliance search features.
Golden Get current factual data on companies from the Golden knowledge graph.
Tutory Access affordable, on-demand tutoring and education right at your fingertips.
Wolfram Access computation, math, curated knowledge & real-time data through Wolfram|Alpha and Wolfram Language.
Yabble Your ultimate AI research assistant; create surveys, specify audiences, collect data & analyze.
KeyMate.AI Search Search the web by using a Custom Search Engine with KeyMate.AI, your AI-powered web search engine.
Shimmer: Nutrition Coach Track meals & gain insights for a healthier lifestyle from 1m+ restaurants & grocery stores.
Speak Learn how to say anything in another language with Speak, your AI-powered language tutor.
Coupert Search for the internet’s best coupons from thousands of online stores.
edX Find courses and content from leading universities to expand your knowledge at any level.
SEO.app Your personal SEO assistant for content marketing.
Yay! Forms Allows you to create AI-Powered Forms, Surveys, Quizzes, or Questionnaires on Yay! Forms.
Change Discover impactful nonprofits to support in your community and beyond.
Manorlead Get a list of listings for rent or sale in cities across Canada and the US based on your search criteria.
AITickerChat Retrieve USA stock insights from SEC filings as well as Earnings Call Transcripts.
Expedia Bring your trip plans to life – get there, stay there, find things to see and do.
Chess Unleash your inner chess master with this interactive chess experience! You can play against a novice or a grandmaster!
VoxScript Enables searching of YouTube transcripts, financial data sources, and Google Search results, and more!
Weather Report Data Current weather data for cities and airports using METAR aviation feeds.
Turo Search for the perfect Turo vehicle for your next trip.
Instacart Ask about recipes and discover the ingredients you need—then get it all delivered from local stores.
Bohita Create apparel with any image you can describe! Get it delivered right to your door.
Zillow Your real estate assistant is here! Search listings, view property details, and get home with Zillow.
Giftwrap Ask about gift ideas for any occasion and recipient. Get it wrapped and delivered, no address needed.
Savvy Trader AI Realtime stock, crypto and other investment data.
Video Insights Interact with online video platforms like Youtube or Daily Motion.
GetYourGuide Find tours, excursions and other travel activities you can book on GetYourGuide.
Crafty Clues Guess the words that the AI craftily clues for you. Add restrictions to make the game more interesting!
Open Trivia Get trivia questions from various categories and difficulty levels.
Tasty Recipes Discover recipe ideas, meal plans and cooking tips from Tasty's millions of users!
FiscalNote FiscalNote enables access to select market-leading, real-time data sets for legal, political, and regulatory information
Vivian Health Take the first step to finding your next healthcare job.
Polarr Search Polarr's massive pool of user generated filters to make your photos and videos perfect.
BizToc Search BizToc for business & finance news.
Diagram It Create and edit diagrams directly in chat.
KAYAK Search flights, stays & rental cars or get recommendations where you can go on your budget.
Prompt Perfect Type 'perfect' to craft the perfect prompt, every time.
PortfolioPilot Your AI investing guide: portfolio assessment, recommendations, answers to all finance questions.
Glowing Schedule and send daily SMS messages - reminders, inspiration, helpers and more.
Redfin Have questions about the housing market? Find the answers to help you win in today's market.
Algorithma Shape your virtual life with in this immersive life simulator game to begin Type /start to begin.
ndricks Sports Get information about pro teams (NHL, NBA, NFL, MLB) teams by calling the ndricks Software Sports API.
Likewise Your media and entertainment companion. Get TV, Movies, Books & Podcast Recommendations.
Zapier Interact with over 5,000+ apps like Google Sheets, Gmail, HubSpot, Salesforce, and thousands more.
KalendarAI KalendarAI sales agents generate revenue with potential customers from 200+ million companies globally.
OpenTable Allows you to search for restaurants available for booking dining experiences
Rentable Apartments Get apartment options in a city of your choice, scoped to your needs and budget.
ChatWithPDF Plugin for asking questions, analyzing, and parsing through PDF documents by simply providing a PDF URL.
Noteable Create notebooks in Python, SQL, and Markdown to explore data, visualize, and share notebooks with everyone.
Cloudflare Radar Get real-time insights into Internet traffic patterns and threats as seen by Cloudflare.
Word Sneak The AI has to sneak 3 secret words into your conversation. Guess the words to win the game!
Klarna Shopping Search and compare prices from thousands of online shops.
Kraftful Your product development coach. Ask about best practices. Get top gurus’ product thinking.
WebPilot Browse & QA webpage / generate articles, from one or more URLs
Speechki The easiest way to convert texts to ready-to-use audio — download link, audio player page, or embed!
Shop Search for millions of products from the world's greatest brands.
Comic Finder A plugin that finds a relevant comic given a description. Currently supports XKCD and SMBC comics.
Keyplays Live Soccer Latest live soccer standings, results, commentary, tv stations, keyplays (with and without scores).
Lexi Shopper Get product recommendations from your local Amazon store.

また上記プラグイン一覧の Description を日本語訳し、下記の通り利用目的ごとに分類してみました。

飲食店予約

Name Description (日本語訳)
Tabelog 日本のレストランを検索し、予約可能な場所を見つけることができます。
OpenTable ダイニング体験を予約可能なレストランを検索することができます。

タスク効率化

Name Description (日本語訳)
AskYourPDF PDFの力を引き出します!ドキュメントを探索し、答えを見つけ、情報を手元に持つことができます。
Yay! Forms Yay! Forms上でAIパワードのフォーム、調査、クイズ、アンケートを作成することができます。
Glowing 日常的なSMSメッセージをスケジュールし、送信します - リマインダー、インスピレーション、ヘルパーなど。
Zapier Google Sheets、Gmail、HubSpot、Salesforceなど、5,000以上のアプリと対話します。
ChatWithPDF PDFのURLを提供するだけで、PDFドキュメントの質問、解析、解析を行うプラグイン。
Speechki テキストをすぐに使えるオーディオに変換する最も簡単な方法 - ダウンロードリンク、オーディオプレイヤーページ、または埋め込み!

eコマース

Name Description (日本語訳)
Wishbucket 韓国のすべてのプラットフォームとブランドを統一した製品検索。
Coupert インターネット上の最高のクーポンを何千ものオンラインストアから検索します。
Instacart レシピを尋ねて必要な材料を発見し、それらを地元の店から配達してもらいます。
Bohita あなたが説明する任意の画像でアパレルを作成します!それを直接あなたのドアに配達します。
Giftwrap あらゆる場面や受取人のためのギフトアイデアを尋ねます。ラッピングして配送します、住所は必要ありません。
Klarna Shopping 数千のオンラインショップから価格を検索し、比較します。
Shop 世界の最高のブランドから何百万という製品を検索します。
Lexi Shopper あなたの地元のAmazonストアからの製品の推奨を得ます。

音楽

Name Description (日本語訳)
MixerBox OnePlayer さまざまなジャンルの無制限の音楽、ポッドキャスト、ビデオ。豊富なプレイリストで無限のリスニングをお楽しみください!

求人、求職

Name Description (日本語訳)
Ambition 近くの数百万の仕事を検索します。
Tutory 手頃な価格のオンデマンドの家庭教師と教育をすぐに利用できます。
Vivian Health 次の医療職への第一歩を踏み出します。

ソフトウェア開発

Name Description (日本語訳)
CreatiCode Scratch Scratchプログラムを画像として表示し、CreatiCode Scratchの拡張機能を使用して2D/3Dプログラムを作成します。
Diagram It チャットで直接ダイアグラムを作成し、編集します。
Noteable データを探索し、ビジュアライズし、ノートブックを全員と共有するためにPython、SQL、Markdownでノートブックを作成します。

クリエイティブ

Name Description (日本語訳)
Polarr Polarrの大規模なユーザー生成フィルタープールを検索し、あなたの写真やビデオを完璧にします。

不動産

Name Description (日本語訳)
Wahi オンタリオ州の方、最新の物件情報、不動産の洞察などを尋ねて詳しく知ることができます。
Manorlead あなたの検索基準に基づいてカナダや米国の都市で販売または賃貸のためのリストを取得します。
Zillow あなたの不動産アシスタントがここにいます!物件を検索し、物件詳細を見て、Zillowで家を手に入れます。
Rentable Apartments あなたのニーズと予算に合わせた都市のアパートメントオプションを取得します。

知識、教養

Name Description (日本語訳)
Wolfram Wolfram|AlphaとWolfram Languageを通じて計算、数学、キュレーションされた知識、リアルタイムデータにアクセスします。
edX 主要な大学からのコースやコンテンツを見つけて、あなたの知識をどのレベルでも拡大します。
Open Trivia さまざまなカテゴリーや難易度のトリビアの質問を取得します。

データ収集、分析

Name Description (日本語訳)
Yabble 究極のAIリサーチアシスタント;調査を作成し、対象者を特定し、データを収集して分析します。
BlockAtlas 米国の国勢調査を検索します!データセットを見つけ、質問をし、ビジュアライズすることができます。
Weather Report Data METAR航空フィードを使用して、都市や空港の現在の天候データ。
Cloudflare Radar Cloudflareが見るインターネットのトラフィックパターンと脅威に関するリアルタイムの洞察を取得します。

情報検索

Name Description (日本語訳)
KeyMate.AI Search KeyMate.AI、あなたのAIパワードのウェブ検索エンジンを使用してウェブを検索します。
VoxScript YouTubeの書き起こし、金融データソース、Google検索結果などを検索することが可能です。
Video Insights YoutubeやDaily Motionなどのオンラインビデオプラットフォームと対話します。
Prompt Perfect 'perfect'をタイプして毎回完璧なプロンプトを作成します。
WebPilot 一つまたは複数のURLからウェブページを閲覧・QAし、記事を生成します。

健康、医療

Name Description (日本語訳)
Shimmer: Nutrition Coach 100万以上のレストランや食料品店から食事を追跡し、より健康的なライフスタイルのための洞察を得ます。
Tasty Recipes Tastyの何百万人ものユーザーからレシピのアイデア、食事の計画、料理のヒントを発見します!

語学

Name Description (日本語訳)
Speak SpeakというAIパワードの言語チューターで何でも別の言語で言い方を学びます。

SEO

Name Description (日本語訳)
SEO.app コンテンツマーケティングのための個人的なSEOアシスタントです。

非営利活動

Name Description (日本語訳)
Change コミュニティやその先でサポートするための影響力のある非営利団体を見つけます。

投資

Name Description (日本語訳)
AITickerChat SECの提出書類や収益通話の書き起こしからUSAの株式洞察を取得します。
Savvy Trader AI リアルタイムの株式、暗号通貨、その他の投資データ。
PortfolioPilot あなたのAI投資ガイド:ポートフォリオ評価、推奨事項、全ての金融質問への回答。
Redfin 住宅市場についての質問がありますか?現在の市場で勝つための答えを見つけます。

旅行、モビリティ

Name Description (日本語訳)
Expedia 旅行の計画を実現します - 行き方、滞在方法、観光地や活動を見つけます。
Turo 次の旅行に最適なTuro車両を検索します。
GetYourGuide GetYourGuideで予約できるツアーやエクスカーション、その他の旅行活動を見つけます。
KAYAK フライト、滞在先、レンタカーを検索するか、予算内で行ける場所の推奨を取得します。

ゲーム

Name Description (日本語訳)
Chess この対話型チェス体験で内なるチェスマスターを解き放ちます!初心者やグランドマスターに対してプレイすることができます!
Crafty Clues AIがあなたに巧妙にヒントを出す単語を推測します。制限を加えてゲームをもっと面白くします!
Algorithma この没入型ライフシミュレーターゲームであなたの仮想生活を形作ります。開始するには/startを入力します。
Word Sneak AIが3つの秘密の単語をあなたの会話に紛れ込ませます。単語を当てるとゲームに勝ちます!

マーケティング

Name Description (日本語訳)
FiscalNote 法的、政治的、規制情報のための選択された市場をリードするリアルタイムデータセットへのアクセスを可能にします。
KalendarAI KalendarAIの営業員が200+の世界の企業からの見込み客と収益を上げます。
Golden Goldenの知識グラフから現在の事実データを企業に取得します。
Kraftful あなたの製品開発コーチ。ベストプラクティスについて尋ねてみてください。トップの専門家の製品思考を得ます。

ニュース

Name Description (日本語訳)
BizToc BizTocでビジネス&ファイナンスニュースを検索します。

スポーツ

Name Description (日本語訳)
ndricks Sports ndricks Software Sports APIを呼び出してプロのチーム(NHL、NBA、NFL、MLB)の情報を取得します。
Keyplays Live Soccer 最新のライブサッカーの順位、結果、解説、テレビ局、キープレー(スコアあり・なし)。

メディア、エンターテイメント

Name Description (日本語訳)
Likewise メディアとエンターテイメントのコンパニオン。テレビ、映画、書籍、ポッドキャストの推奨を取得します。
Comic Finder 説明から関連するコミックを見つけるプラグイン。現在、XKCDとSMBCのコミックをサポートしています。

その他

Name Description (日本語訳)
One Word Domains ドメインの利用可能性を確認し、さまざまなレジストラー間で価格を比較します。
DEV Community DEV Communityからの記事やユーザーを推薦するプラグイン。
Hauling Buddies 推奨事項、レビュー、規制遵守検索機能を使用して、信頼できる動物輸送業者を見つけます。

こうしてみると ChatGPT は様々なジャンルのサービスでの活用可能性があることが分かりますね。

試してみた

実際に ChatGPT plugins を試してみます。

ChatGPT plugins の有効化

ChatGPT plugins は既定では機能が無効になっています。

Settings -> Beta features より Plugins をオンにすれば機能を有効化できます。

プラグインのインストール

ChatGPT plugins が有効な場合は、GPT-4 でのチャット開始時にプラグインの利用有無をメニューから設定できます。(GPT-3.5 ではこのメニューはありません)

前述の Plugins から遷移したメニューで利用したいプラグインを選択できます。ここでは過去に利用したプラグイン一覧(履歴)と、Plugin store メニューが表示されます。

Plugin store メニューです。ここから利用したいプラグインを選択してインストールます。

プラグインを利用してみる

食べログ(Tabelog)のプラグインをインストールして利用してみます。

Tabelog プラグインにチェックマークが付きました。

しかしプラグインの利用方法の記述やリンクはどこにもありません。そこで ChatGPT に質問してみます。

食べログプラグインの使い方を教えて

すると使い方の回答を返してくれました。(ChatGPT plugins を有効化すると、ChatGPT のアイコンの色が紫になるんですね)

もちろんです、食べログプラグインは、特定のキーワード、予約日時、予約人数から予約可能なレストランを検索するためのツールです。以下に詳細を説明します。

1. **free_keyword**: ここには検索キーワードを入力します。エリア、ジャンル、シチュエーション、レストラン名など、日本語のみ対応しています。

2. **reservation_datetime**: 予約したい日時を指定します。形式は "yyyy-mm-ddThh:mm:ss.000+09:00" となります。デフォルト値は現在の日付で、19:00前の時間は19:00に、19:00後の時間は最も近い30分単位に切り上げられます。表示する際は、人間が理解しやすい形式で表示します。

3. **reservation_member**: 予約したい人数を指定します。デフォルト値は2人です。

これらの情報を用いて、食べログプラグインは予約可能なレストランを検索します。検索結果が空の場合は、再度検索を行います。また、各レストランについては一度だけリッチプレビューを出力します。最後に、詳細を見るためのURLも出力します。

以下に、食べログプラグインを使用してレストランを検索する例を示します。

Tabelog.vacancySearch({
  free_keyword: "東京 フレンチ",
  reservation_datetime: "2023-05-20T19:00:00.000+09:00",
  reservation_member: "2"
})

この例では、2023年5月20日19時に2人で予約可能な、東京のフレンチレストランを検索しています。

何かプラグインごとの入力フォームがあるという訳ではなく、ChatGPT plugins でも従来のコンソールを使うようです。

上記回答の JSON を質問として入力してみると、Tabelog による回答の生成が開始されました。

回答は次のようになりました。入力した情報に基づき、予約可能なレストランが5つ提示されました。

回答上部の Used Tabelog を開くと、プラグイン利用時のリクエストおよびレスポンスが確認できます。

ちなみに食べログで台湾まぜそばのお店を探してのような自然文でも Tabelog プラグインを利用できました。質問の文章を自動で解釈し API へのリクエストに割り当てる仕組みもあるようです。

その他

チャットごとにインストールするプラグインを選択できる

チャットごとにインストールするプラグインを選択できます。

また、1つのチャットに複数のプラグインをインストールすることもできます。

Tabelog プラグインをインストールしていないチャットでは、Tabelog プラグインのリクエストを認識できなくなります。

チャットを用途ごとに分けている使い方をしている方がほとんどだと思うので、目的ごとに利用するプラグインを選択できるのは便利ですね。

開始済みのチャットではプラグインの設定を変更できない

開始済みのチャットでプラグインをインストールしたり、インストール済みのプラグインを削除したりする設定は見当たりませんでした。

GPT バージョンの選択と同じく、プラグインについても開始済みのチャットでは設定を変更できないようです。

プラグインの開発

ChatGPT plugins のプラグイン開発者向けのドキュメントはこちらです。

今回は詳しくは触れませんが、開発は次のようなステップで行います。

  1. API の構築
  2. OpenAPI 仕様でのドキュメントの作成
  3. マニフェストファイルの作成および登録

開発にあたりサンドボックス環境は利用できるのか?また登録できるプラグインの審査はあるのか?など気になる点は多々あるので、自分でも触ってみたいと思います。

おわりに

ChatGPT plugins のベータ提供が開始されていたので、現在利用可能なプラグインと、実際に試してみた内容についてご紹介しました。

以前までは ChatGPT の拡張する方法といえば、ChatGPT API を利用してスクラッチでアプリを開発するか、ChatGPT UI に対応したブラウザ拡張を使うかの2択でしたが、今後は公式プラグインの提供が主流になっていくのではないでしょうか。ChatGPT から引き続き目が話せません。

以上