OpenAIが言うにはGPTは汎用技術である – 大規模言語モデル(LLM)は2割の労働者の半分の業務に影響を与えると予測

OpenAIのGPT-4、GoogleのPaLM、MetaのLLaMAなど、最近は大規模言語モデル(LLM)が話題沸騰です。

生産性を上げるための試行錯誤が猛烈なスピードで試されていますが、言い換えると、普段のタスクがAIに置き換え可能であることも示唆しています。 GPTはどこまで仕事にいかせるのか? そんな質問に答えてくれる論文がGPT-4/ChatGPT/DALL-EなどでおなじみOpenAIの研究者らによってプレプリントサーバーのarXivで公開されました。

Excited to have this working paper up on arxiv! https://t.co/y4iZ1yn5NB pic.twitter.com/KEtfuUyG8H

— sam manning (@sj_manning) March 20, 2023

• URL : https://arxiv.org/abs/2303.10130
• Title : GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models
• Author : Tyna Eloundou(OpenAI), Sam Manning(OpenAI/OpenResearch), Pamela Mishkin(OpenAI), Daniel Rock(University of Pennsylvania)
• Subjects: General Economics (econ.GN); Artificial Intelligence (cs.AI); Computers and Society (cs.CY)

メインサブジェクトはコンピューターサイエンス系ではなく経済学です。

タイトルの"GPTs are GPTs(GPTはGPT)"は控えめに言って何をいっているのか分からないですよね。実は、1つ目のGPTと2つ目のGPTは全く別の単語です。

汎用技術(GPT)とは?

経済成長や社会変革をもたらす技術を汎用技術(General Purpose Technology;GPT)と呼びます。

論文で引用されている経済学者リプシー等によると( ^*1)、このような技術は紀元前約1万年前に始まった植物の栽培、動物の家畜化などから近年の鉄道、電気、インターネットまで24個あります。

※ 画像引用元 総務省｜平成30年版 情報通信白書｜汎用技術（GPT）とは

この論文では、GPT-4/ChatGPT的な意味でのGPT(Generative Pre-trained Transformers)は8割の労働者の1割の業務、2割の労働者の5割の業務に影響し、経済、社会、政策に大きな影響を与える汎用技術(General-Purpose Technologies)であると結論づけています。

Generative Pre-trained Transformers exhibit characteristics of general-purpose technologies (GPTs)

このメッセージがタイトルの"GPTs are GPTs"に込められています。

論文はLLMの業務への影響を評価していますが、汎用技術としての社会へのインパクトを評価するのが狙いのためか、LLM技術単体で改善できる業務(論文ではE1と定義;統計処理ではα)だけでなく、ナレッジベースのようにLLMを応用した補助システムで改善できる業務(論文ではE2/E3と定義;統計処理では重み付けに応じてβ/ζ)も重点的に評価しています。

LLMを活用したエコシステムが広がるに連れてそのポテンシャルを遺憾なく発揮し、様々なタスクの自動化が進み、社会・経済に長期に渡って大きな影響を与えると論じています。

主要結果の紹介

いくつか主要結果を紹介します。

8割の労働者は業務の1割が影響を受け、2割の労働者は業務の半分が影響を受ける

LLM系技術を応用した補助ツールの助けも考慮するβ評価の場合、8割の労働者が業務の1割の影響を受け、2割の労働者は業務の半分が影響を受けます。

※ Figure 3 から

プログラミング・ライティングは影響大

この論文では、O*NETにある職業ごとのスキルセットを利用し、各職業のスキルの重要度に応じて重みづけた上でがどれだけGPTでこなせるか評価しています。

1.0に近いほど重要なスキルをGPTでこなせることを意味し、-1.0 に近いほどこなせないことを意味します。

この相関は表5にまとめられています。

プログラミング(Programming)や執筆(Writing)がGPTの強く影響を受け、科学(Science)や批判的思考力(critical thinking )はGPTの影響を受けにくいことがわかります。

O*NETでプログラミングに関連するSoftware Developersを確認すると

• Oracle/DynamoDB/Elasticsearchのようなデータベース管理
• React・Bootstrap/Sprintのようなフレームワーク

から

• Google Analytics
• Device drivers or system software — Microsoft DirectX

などまで幅広く62のスキルが列挙されています。

参考 : 4.3 Skill Importance

経験・トレーニングが必要な職業ほど影響大。専門度が極めて高ければその限りにあらず

O*NETのデータベースでは、参入障壁(Job Zone ^*2)が1(低い)から5(高い)までレベル分けされています。

https://www.onetonline.org/find/zone?z=0

漁師やバリスタや皿洗いはレベル1、ソフトウェア・エンジニアや振付師や通訳者・翻訳者はレベル4、鍼灸師や麻酔科医やファンドマネージャーはレベル5です。

論文によると、1から4まではレベルが上がるにつれてGPTの影響が大きくなるのに対し、最高レベルの5では職種への影響が4よりも下がる傾向があります。

教育水準の高い職業ほど影響大

先程のJob Zoneは教育、経験、トレーニングなど複数の要素を考慮していました。

就業に必要な一般的な教育レベルと習熟年数を分けて評価すると、学士号、修士号、専門職学位など、就業者の平均的な教育水準が高いほど影響を受けます。

一番影響を受けるのは、学位はないけれども、大卒同等の能力を持つ人です。

最後に

タイトルの「GPTはGPT」だけを眺めると、あまりの進次郎構文に頭を抱えてしまいますが、汎用技術としての Generative Pre-trained Transformerを評価していると理解して論文を読むと、内容がすっと入ってくると思います。

それでは。

参考

• GPT-4が労働市場に与える影響と各職種のリスク評価──OpenAIの研究者が論文発表 - ITmedia NEWS

脚注