図面へのAI活用について整理してみた：既存図面活用編

こんにちは！AI事業本部の市田拓馬です！
今回は図面へのAI活用について書いてみました。

はじめに

生成AIの発展によって、文章作成、要約、翻訳、コード生成、社内文書検索など、テキストを中心とした業務の効率化が進んできました。

一方で、実際の業務で扱われる情報はテキストだけではありません。画像、音声、画面、PDF、図表、帳票など、さまざまな形式の情報が存在します。今後のAI活用は、こうしたマルチモーダルな情報へ広がっていくと思います。

その中でも、産業領域への影響が大きいテーマの一つが 「図面 × AI」 です。

図面は、製造業、建設業、設備、プラント、電気、配管など、多くの産業領域で使われる重要な情報媒体です。図面には、形状だけでなく、寸法、材料、公差、注記、検査条件、部材情報、設備記号、数量情報など、業務判断に必要な情報が含まれています。

なお、図面へのAI活用には、既存図面を読み取って業務に活用する方向と、図面やCAD（Computer-Aided Design、コンピュータ支援設計）モデルの作成・編集を支援する方向があります。本記事では前者を扱います。

本記事では、こうした図面へのAI活用について、図面に含まれる情報の種類、AIで読み取った図面情報を業務で扱えるデータとして整理する考え方、活用先、導入時に考えるべき点を整理します。

図面へのAI活用をどう捉えるか

本記事では、図面へのAI活用を、図面に含まれる情報を読み取り、業務で扱えるデータとして整理し、後工程の業務で活用する取り組みとして捉えます。

ここでいう図面に含まれる情報には、文字、寸法、記号、表、注記、形状関係、材料、公差、加工・検査条件、部材情報、設備記号、数量情報などがあります。

本記事では、図面へのAI活用を大きく3つの段階で考えます。

1つ目は、図面情報を読み取ることです。図面上の文字、記号、表、寸法線、タイトルブロック、部品表、設備記号などを認識する段階です。

2つ目は、読み取った情報を業務で扱える形に整理することです。たとえば「SUS304」を材料として扱う、「φ10 H7」を特定の穴に関係する寸法・公差として扱う、「Ra 1.6」を表面粗さとして扱う、といった整理です。また、「位置度0.05」のような公差情報であれば、それがどの形状や基準に関係するのかまで整理する必要があります。

3つ目は、整理した情報を業務で活用することです。見積、積算、検査項目作成、設計レビュー、図面レビュー、類似図面検索、製造準備、施工準備、品質管理などが活用先になります。

engineering drawingsやengineering diagramsを対象にしたレビュー論文でも、図面にはtext annotations、symbols、connectivity information、つまり文字注記、記号、記号同士を結ぶ線などの接続情報が含まれていると整理されています。こうした要素を自動認識することが、図面のdigitisation、つまりデジタル化の中心として整理されています。1

本記事では、こうした接続情報に加えて、寸法や記号が図面上のどの形状・部品・部材・設備を指しているのかという対応関係も扱います。

このように、図面へのAI活用は、図面を単に画像として扱うだけではなく、図面に含まれる情報を業務で使える形に整理する取り組みとして考えると理解しやすくなります。

図面にはどのような情報が含まれているのか

図面へのAI活用を整理していくにあたって、まずは図面にどのような情報が含まれているのかを押さえておきます。

図面は、業務判断に必要なさまざまな情報が集約された媒体です。

製造業の図面であれば、部品名、図番、改訂番号、材料、寸法、寸法公差、GD&T（Geometric Dimensioning and Tolerancing、幾何公差）、表面粗さ、熱処理、注記、穴、ねじ、半径、面取り、検査条件などが含まれます。

建設業や設備領域の図面であれば、図面番号、図面種別、壁、柱、梁、ドア、窓、部屋名、寸法、面積、設備記号、配管記号、電気記号、仕上げ情報、数量拾いに関わる情報などが含まれます。

たとえば、製造図面に「φ10 H7」という表記がある場合、その文字列から穴径や公差指定といった情報を読み取ることができます。同じように、建設図面では、設備記号から設備の種類を読み取ることができます。

実際に、建設図面を対象とした研究では、AIによるsymbol detection（図面内の記号を検出する処理）を使い、material takeoff（図面から必要な部材・設備と、その数量を拾い出す業務）へつなげる取り組みが示されています。2

一方で、読み取った情報を業務で活用するには、その情報が図面上のどの対象に関係しているのかも把握する必要があります。「φ10 H7」であれば、それがどの穴に対する指定なのかを特定することで、加工難易度の判断や検査項目の作成に利用できます。

建設図面の設備記号でも同様です。設備記号から設備の種類を読み取るだけでなく、その記号が図面上のどの位置にあり、どの部屋・部材・配管などと関係しているのかを整理することで、数量拾いや施工準備に使いやすい情報になります。

このように、図面へのAI活用では、文字や記号から情報を読み取る処理に加えて、その情報を図面上の対象に紐づける処理も扱います。OCRは Optical Character Recognition、つまり画像やPDFから文字を読み取る技術であり、図面AIを構成する要素の一つです。図面AIでは、それに加えて、文字や記号と、線、矢印、形状、部材、部品、設備などとの関係も整理します。

図面AIが作るべきデータとは何か

前章では、図面には文字、寸法、記号、材料、公差、注記、設備記号など、さまざまな情報が含まれていることを整理しました。次に考えたいのは、図面AIが読み取った情報を、どのような形でデータとして整理するかです。

たとえば、図面から以下の情報を読み取れたとします。

SUS304
φ10 H7
Ra 1.6
位置度0.05

人が図面を読む場合は、それぞれが材料、寸法・公差、表面粗さ、幾何公差を表していると判断できます。一方、業務システムや後工程のAIで扱うには、それぞれの文字列が何を表し、図面上のどの対象に関係しているのかをデータとして整理する必要があります。

たとえば、「SUS304」は部品全体に指定された材料、「φ10 H7」は特定の穴に対する寸法と公差、「Ra 1.6」は特定の面に対する表面粗さ、「位置度0.05」は特定の形状と基準に関係する幾何公差として整理できます。

たとえば、図面から読み取った情報は、次のようなJSONで整理できます。

{
  "drawing_id": "D-001",
  "items": [
    {
      "value": "SUS304",
      "category": "material",
      "related_object": "part",
      "source_region": {
        "page": 1,
        "bbox": [40, 80, 180, 110]
      }
    },
    {
      "value": "φ10 H7",
      "category": "dimension_and_tolerance",
      "related_object": "hole_01",
      "source_region": {
        "page": 1,
        "bbox": [120, 240, 360, 280]
      }
    },
    {
      "value": "Ra 1.6",
      "category": "surface_roughness",
      "related_object": "surface_01",
      "source_region": {
        "page": 1,
        "bbox": [410, 220, 520, 250]
      }
    },
    {
      "value": "位置度0.05",
      "category": "geometric_tolerance",
      "related_object": "hole_01",
      "source_region": {
        "page": 1,
        "bbox": [300, 310, 450, 350]
      }
    }
  ]
}

この例では、value に図面から読み取った値、category にその情報の種類、related_object に関係する対象、source_region に図面上の抽出位置を持たせています。bboxは、図面上で情報が記載されていた矩形領域の座標を表しています。

このように整理すると、φ10 H7 という文字列を取り出すだけでなく、それが hole_01 に関係する寸法・公差情報であることまで扱えます。また、抽出位置を保持しておけば、後から人が図面上の該当箇所を確認する際にも利用できます。

2D engineering drawingsから構造化情報を抽出する研究でも、GD&T、一般公差、寸法、材料、注記、半径、表面粗さ、ねじ、タイトルブロックなどを検出し、Donutという文書画像理解モデルを用いて構造化されたJSON出力を作る手法が示されています。3

この研究は、図面から複数種類の情報を抽出し、構造化されたJSONとして扱う方向性を示す例です。図面AIの出力を後工程で利用するには、読み取った文字列に加えて、情報の種類、対象との関係、図面上の位置などを整理しておくことで、見積、検査、検索、レビューなどの業務へ接続しやすくなります。

図面AIの基本フロー：読み取り、構造化、活用

ここまでで、図面には多様な情報が含まれており、図面AIでは読み取った情報を業務で使える構造化データとして整理する必要があると説明しました。

続いて、図面を受け取ってから、構造化したデータを業務で活用するまでの流れを整理します。

まず入力として、PDF図面、スキャン図面、CADから出力された図面、建設図面セット、過去図面などを受け取ります。ここでは、対象となる図面の種類によって、難易度は大きく変わります。CADから出力されたきれいなPDFと、古いスキャン図面では、読み取りやすさがまったく違います。

次に、図面上の要素を検出します。文字領域、表、記号、寸法線、図面ビュー、タイトルブロック、部品表、壁、ドア、窓、設備記号などを見つける段階です。図面のどこに何があるかを把握する処理です。

その次に、検出した要素を意味づけします。たとえば、「SUS304」は材料、「Ra 1.6」は表面粗さ、「φ10 H7」は寸法・公差、「ドア記号」は建具情報、「部屋名」は空間情報として扱います。ここで初めて、文字や記号が業務上の意味を持ちます。

さらに、要素同士の関係を紐づけます。寸法値を対象形状に紐づける。公差を対象となる穴や面に紐づける。表面粗さを対象面に紐づける。部屋名を部屋領域に紐づける。設備記号を設備種別や位置に紐づける。

ここまでにも触れたように、読み取った情報を業務で使うには、その情報と図面上の対象との対応関係も整理する必要があります。たとえば「φ10 H7」という文字列だけを抽出しても、それがどの穴に対応しているのかわからなければ、検査項目や見積条件としては使いにくいからです。

そのうえで、図面情報をJSON、CSV、データベース、knowledge graph、検査項目リスト、見積用データ、積算用データなどに変換します。knowledge graphは、部品、寸法、材料、工程、検査条件などの関係をグラフ構造で表すデータです。

また、対応する3D CADモデルがある場合には、抽出した寸法、公差、材料、注記などを、3Dモデル上の穴、面、部品などに関連づけて活用することも考えられます。3D CADはJSONやCSVのような出力形式ではなく、構造化した図面情報の接続先の一つです。

最後に、その構造化データを業務で活用します。見積、積算、検査項目作成、設計レビュー、図面レビュー、類似図面検索、製造準備、施工準備、品質管理などが活用先になります。

つまり、図面AIは、図面を入力し、要素を検出し、意味づけし、関係を紐づけ、構造化データに変換して、業務で活用する一連の流れとして捉えられます。

図面AIのユースケース

図面AIの価値は、読み取った情報を業務で活用することで生まれます。

まず、見積・積算支援があります。

製造業では、材料、寸法、公差、加工要素、表面処理などを抽出し、見積判断の材料にできます。建設業では、部材、面積、数量、設備記号、仕上げ情報などを抽出し、積算の前処理に使えます。建設図面を対象とした研究でも、AIによるsymbol detectionをmaterial takeoffへ接続する方向が示されています。2

次に、検査項目作成・品質管理があります。

製造図面から寸法、公差、GD&T、表面粗さ、検査対象などを抽出できれば、検査項目候補の作成に使えます。抽出した情報は、三次元測定機や画像検査に向けた検査項目の整理に利用することも考えられます。三次元測定機は、CMM（Coordinate Measuring Machine）と呼ばれます。

また、設計レビューや図面レビューにも使えます。

寸法抜けの候補を出す。注記の矛盾を検出する。表記の不整合を見つける。図面間の不整合を確認する。こうした用途では、AIが図面を自動承認するというより、人間の確認作業を支援する位置づけが現実的かもしれません。

類似図面検索にも活用できます。

図番やファイル名だけではなく、材料、寸法、公差条件、部材、設備記号などを検索キーにできれば、過去案件の再利用や見積の参考、設計パターンの確認に使いやすくなります。

さらに、製造準備・施工準備にも使えます。

加工に関わる形状要素を整理する。施工に関わる部材・設備・数量を整理する。注記や条件を抽出する。こうした前処理ができれば、後工程の検討を始めやすくなります。

このように、図面AIは、図面に含まれる情報を構造化することで、見積、積算、検査、レビュー、検索、準備、品質管理など、複数の後工程へ接続できます。

図面AIが難しい理由

一方で、図面AIの導入は簡単ではありません。

まず、図面は情報密度が高いです。複数のビュー、表、注記、記号、寸法、改訂履歴などが1枚の図面に詰まっています。通常の文書のように、上から順番に読めば意味が取れるとは限りません。

次に、空間関係が意味を持ちます。寸法値は対象形状と紐づいて意味を持ちます。表面粗さは対象面と紐づいて意味を持ちます。設備記号は配置場所と紐づいて意味を持ちます。部屋名は図面上の領域と紐づいて意味を持ちます。

この点は、engineering drawings / diagramsのdigitisationにおいて、text annotationsやsymbolsだけでなく、connectivity informationも扱う必要があるというレビュー論文の整理ともつながります。1

また、業界や企業ごとの差も大きいです。製造図面と建設図面では情報構造が違います。企業ごとにテンプレートが違い、年代によって表記も変わります。スキャン図面であれば、画質や歪みの問題もあります。

さらに、正解データを作るのも簡単ではありません。図面は機密情報を含むことが多く、公開データセットが限られます。ラベル付けにも専門知識が必要です。評価基準を作ることも難しいです。Jamiesonらのレビューでも、データセット、アノテーション（正解ラベル付け）、評価方法は、図面・diagramのdigitisationにおける課題として整理されています。1

そして、誤抽出の影響が業務に出る可能性があります。

図面AIの出力を見積、検査、積算、品質管理に使う場合、誤抽出は見積ミス、検査漏れ、積算ミス、品質問題につながる可能性があります。そのため、図面AIを業務で使う場合には、人間による確認、修正履歴、信頼度の扱いが重要になります。

図面AIでは、図面上の文字、記号、表などを正しく検出・読み取る精度だけでなく、関係理解、データ構造、レビュー設計、業務接続が重要になるのです。

生成AI・VLMによって何が変わるのか

ここまで、図面AIの対象、出力、活用先、難しさを整理してきました。

ここでは、生成AIやVLMの発展によって、図面を扱う現場でどのような使い方が考えられるようになったのかを整理します。

VLMは Vision-Language Model、つまり画像と言語を組み合わせて扱うAIモデルです。図面画像とテキストによる指示を同時に入力し、その内容に基づいて回答を生成できます。

これにより、利用者が必要な情報を自然言語で指定し、図面から取り出す使い方が可能になります。たとえば、「この図面から材料と公差を抽出して」「タイトルブロックの内容を整理して」「検査に関係する情報を抽出して」といった指示を、図面画像と一緒に与えられます。

2D製造図面とテキストによる質問を組み合わせ、VLMを使ってGD&Tに含まれる幾何特性、公差値、基準参照などを抽出する研究もあります。この研究では、図面に対して何を取り出したいかを質問文で指定し、抽出結果を構造化されたJSON形式で出力しています。4

この仕組みを実務に当てはめると、同じ図面に対して、担当者が目的に応じた情報を問い合わせる使い方が考えられます。たとえば、見積担当者は材料や公差、検査担当者は寸法や検査基準、設計担当者はタイトルブロックや注記の内容を指定して取り出す、といった使い分けです。

さらに、抽出結果に対して追加の質問をしたり、AIが提示した候補を人間が確認・修正したりすることで、図面の読み取りを対話的に進める運用も考えられます。たとえば、「この公差はどの穴に対応しているのか」「この設備記号はどの部屋に配置されているのか」と質問しながら、読み取った情報と図面上の対象との関係を確認する使い方です。

また、VLMは図面から決められた情報を抽出するだけでなく、工学設計に関する幅広いタスクでも評価されています。本記事の対象に近いものとしては、製造可能性の評価、CAD画像からの加工形状の識別、製造・検査に関するタスクなどが含まれます。5

ただし、同研究では、製造可能性の評価や加工形状の識別、検査タスクにおいて、回答の正確性や一貫性に課題があることも報告されています。5

こうした研究からは、図面に対して必要な情報を言葉で指定するだけでなく、図面の内容をもとに、見積、検査、レビュー、製造準備などの判断を支援する方向も見えてきます。

一方で、生成AIやVLMを導入するだけで、図面を使った業務全体が完結するわけではありません。

これまで整理してきたように、図面から読み取った情報を業務で利用するには、その情報が何を表しているのか、図面上のどの対象に関係しているのかを整理し、後工程で扱えるデータとして出力する必要があります。また、誤抽出が見積や検査、積算、品質管理に影響する可能性があるため、人間が結果を確認・修正できる運用も必要です。

生成AIやVLMによって、図面に対して自然言語で問い合わせたり、目的に応じて抽出する情報を変えたり、結果を確認しながら作業を進めたりする可能性が見えてきました。こうした機能を実務で活用するには、モデルの能力に加えて、出力データの構造、人間によるレビュー、業務システムとの接続まで含めて設計する必要があります。

図面AIを導入するときに先に決めるべきこと

ここまでの内容を踏まえると、図面AIを導入するときに最初に考えるべきことは、どのAIモデルを使うかだけではありません。

まず、対象図面を決める必要があります。製造図面なのか、建設図面なのか、設備図面なのか、検査図面なのか。スキャン図面なのか、CADから出力されたPDFなのか。対象によって、難易度も必要な処理も変わります。

次に、抽出項目を決めます。材料、寸法、公差、GD&T、表面粗さ、注記、部品表、部材情報、数量、検査条件など、どこまで抽出するのかを明確にする必要があります。

次に、出力データ構造を決めます。JSONで持つのか、CSVで持つのか、データベースに入れるのか、knowledge graphにするのか、見積用データや積算用データ、検査項目リストとして出すのか。前述の研究では、構造化されたJSON出力が示されていますが、実務では接続先のシステムや業務によって適切な形式が変わります。3

そのうえで、下流業務を決めます。見積なのか、積算なのか、検査なのか、設計レビューなのか、図面レビューなのか、検索なのか、製造準備なのか、施工準備なのか、品質管理なのか。目的によって、必要な精度やデータ項目が変わります。

さらに、人間レビューの設計も必要です。誰が確認するのか。どこで確認するのか。修正履歴をどう残すのか。AIの信頼度をどう扱うのか。特に見積、検査、積算、品質管理のような業務では、誤抽出の影響が大きいため、人間の確認を前提にした運用設計が重要です。

最後に、評価方法も決める必要があります。抽出精度だけでなく、関係づけの正確さ、業務時間削減、レビュー工数削減、見積ミス削減、検査漏れ削減、積算ミス削減など、業務KPIでも評価する必要があります。KPIは Key Performance Indicator、つまり重要業績評価指標です。

図面AIは、単にモデルを選んで導入すれば終わりではありません。対象図面、抽出項目、出力構造、接続先業務、レビュー方法、評価方法まで設計して初めて、業務で使える仕組みになります。

まとめ

本記事では、図面へのAI活用のうち、既存図面に含まれる情報を読み取り、構造化し、業務で活用する方向について整理しました。

製造図面や建設図面には、文字、寸法、記号、材料、公差、部材、設備、数量などの情報が含まれています。これらの情報を業務で扱うには、内容を読み取るだけでなく、情報の種類を整理し、図面上のどの部品・形状・部材・設備に関係するのかを紐づける必要があります。

図面AIでは、図面上の要素を検出し、それぞれを意味づけしたうえで、各情報が図面上のどの形状・部品・部材・設備に対応するのかを整理し、JSONやデータベースなどの構造化データに変換します。そのデータは、見積、積算、検査項目作成、設計レビュー、図面レビュー、類似図面検索、製造準備、施工準備、品質管理などに活用できます。

生成AIやVLMの発展により、図面に対して自然言語で抽出項目を指定する手法や、VLMを製造・検査を含む工学タスクへ応用する研究が進んでいます（4、5）。

実際に導入する際は、対象とする図面、抽出する項目、出力データの構造、接続する業務、人間による確認方法、評価指標をあらかじめ設計する必要があります。

図面へのAI活用は、既存図面に蓄積された情報を、後工程で再利用できるデータに変え、さまざまな業務へつなげる取り組みとして捉えられます。