【レポート】CUS-36:人工知能の眼による検査自動化 ~生産現場で価値を生む AI システム~ #AWSSummit

2020.10.13

こんにちは、CX事業本部の夏目です。

今回はAWS Summit Onlineのオンデマンドセッション 「CUS-36:人工知能の眼による検査自動化 ~生産現場で価値を生む AI システム~」 についてのセッションレポート(文字起こし)になります。

導入

  • 皆さんこんにちは。
  • Musashi AI 株式会社の神谷文久と申します。
  • 本日はよろしくお願いいたします。
  • それでは、スライドの方に行きましょう。

タイトル

  • 今回は「人工知能の眼による検査自動化 〜生産現場で価値を生むAIシステム〜」について講演させていただきます。

アジェンダ

  • 本日のアジェンダがこのようになっておりまして、まず自己紹介と会社紹介をさせていただきます。
  • そして次に製造現場の現状をお話させていただいて、Musashi AI で取り組んでいます AI 外観検査の取り組みの事例を二つ紹介させていただきます。
  • その後で、 AWS クラウド連携のご紹介をさせていただいて、最後にMusashi AI のサービスについてご説明いたします。

自己紹介

  • まず自己紹介になります。

  • 改めまして、神谷文久と申します。
  • 私は大学卒業後に自動車のオートマチックトランスミヤのソフトウェアエンジニアとして活動をしていました。
  • その頃は変速のプラグラムであったり、フェイルセーフ機能であったり、 C言語でゴリゴリコーディングを行っておりました。
  • そして2019年に今の武蔵精密工業へ転職をしてから、 AI であったり、ディープラーニングに関わる AI エンジニアの機会をいただき、現在 AI エンジニアとして活動を行っております。
  • 私事にはなりますが、最近英会話を始めまして、少しずつではありますが英語が話せるようになってきております。
  • ただ今回の講演に関しては日本語でやらさせていただこうと思いますのでご安心ください。

会社紹介

  • ここから会社紹介になります。

  • まずですね、本社側の武蔵精密工業についてご説明いたします。
  • 武蔵精密工業は、自動車や汎用機器など部品の製造販売を行っている会社になります。
  • このような写真のように、ギアであったり、トランスミッション、ボールジョイントなどを製造販売しております。

  • 次にMusashi AI についてのご紹介になります。

  • ここでMusashi AI の沿革を簡単に説明させていただきます。
  • もともと武蔵精密工業内で AI プロジェクトといった形で、当時3名でスタートいたしました。
  • その3名のうちの1人として私も活動を行っておりました。
  • そして、社内への技術提供だけでなく、事業としての可能性が見込まれてきましたので、去年2019年11月にMusashi AI という形で会社を立ち上げ、創業いたしました。
  • Musashi AI なんですが、実は武蔵精密工業だけでなく、イスラエルのテックベンチャーであるSIXEYE という会社とのジョイントベンチャーとなっております。
  • イスラエル側の最先端のテクノロジーと、武蔵精密工業のもの作りの力を掛け合わせて、シナジーを生み出しております。

  • 先ほど概ね概要をお伝えしましたが、Musashi AI の事業内容のご紹介になります。
  • 大きく三つの製品カテゴリーがございます。
  • まず一つ目がですね、 AI 外観検査機になります。
  • そして二つ目にNeural Cube。
  • そして、まだ現在開発中ではありますが、無人搬送車のこの三つを軸にしております。
  • 次にですね、会社の動画がありますので、そちらをご覧ください。


  • 以上が、武蔵精密工業、Musashi AI の会社紹介になります。

製造現場の現状

  • 次に製造現場の現状についてご紹介したいと思います。

  • 武蔵精密工業で製造しているベベルギアを例にとって説明いたします。
  • このベベルギアなんですけど、自動車部品の一つでして、エンジントルクを左右のタイヤに適正な回転差をつけて分配するといった、デファレンシャルアッセンブリィの構成部品の一つとなっております。

  • このベベルギアの製造工程をご紹介いたします。
  • 材料から切断、プレス成型、バリ取り、旋盤、熱処理、そして出荷検査と工程を終えて完成いたします。
  • このオレンジ色の工程につきましては、部品等によって、工程が変わることがあると思うんですけども、最後のこの出荷検査に関しては、全ての部品にある工程と言えます。
  • このベベルギアの部品に対して言うと、ここの出荷検査での不良発生率は、1000分の2%という数字になっております。
  • この数字はですね、月に1個か2個不良が発生するかしないかという割合になっております。
  • それではどのような不良が発生するのかっていうのを、次のスライドで紹介したいと思います。

  • こちらにですね、拡大している画像があるんですけども、何か違和感を感じるのではないかなと思います。
  • 僕らはこの結果のことを打痕とかって呼んでるんですけど、ギアにこういった欠陥があることで、自動車への影響としては異音であったり、異常振動、焼き付き、最悪の場合は破損といった重大事故に繋がるため、たとえ、1000分の2%、月に1個か2個しか発生しない確率であっても、現状はですね、全件人が目で検査をしています。
  • そして、当然人が検査を行っているので、習熟度によるばらつきですとか、長時間にわたる高負荷作業となっています。

  • この労働時間や人によるばらつきを減らす取り組みとして、今までにもですね、様々な自動化の取り組みを、武蔵精密工業では取り組んできております。
  • 例えばピッキングの自動化ですとか、組み立て工程、そして加工工程、または画像処理による検査の自動化も実現できているものもあります。
  • ただし、人の五感に頼った官能検査であったりっていうのは、未だ自動化ができておらず、 最終課題として残っておりました。
  • Musashi AI では、ここに AI の技術を用いて自動化の取り組みを行っております。

AI外観検査取り組み事例1

  • ここからAI検査機の取り組み事例を二つ紹介させていただきます。
  • まず一つ目の取り組み事例になります。

  • AI 検査機導入のステップは、大きく分けて六つに分けることができます。
  • まず一つ目が、対象部品の選定になります。
  • そして対象部品が選定できましたら、その部品にあったオプティクス環境を構築して、画像データの収集を行います。
  • そして収集できたあの画像データに対してアノテーションという作業を行い、学習の準備ができたら、学習を行ってできたモデルの精度を確認するために検証を行って、精度が問題なければ、現場実装といった流れになっております。
  • それでは一つずつ見ていきたいと思います。

  • 今回のこの事例では、先ほどから何度か登場しているこちらのベベルギアを対象部品として選びました。
  • そしてですね、このベベルギアにあったオプティクスを選定して、図のような撮影環境を構築して、画像データの収集を行いました。

  • そして画像データが収集できましたら、次にアノテーションを行います。
  • AI を作る上で、どこが NG で、どこが OK なのかっていうのを事前に教えてあげる必要があるんですけれども、そういったデータに意味をつけることをアノテーションと呼びます。
  • 今回は OK と NG の二つのラベルを付けました。
  • そしてアノテーションの作業が終わると、学習の準備が整いますので、次に学習を行います。
  • AI を作る学習手法は、いくつか存在しているんですけれども、今回はClassificationでモデルを作成いたしました。

  • そしてモデルが構築できた後は、作成したモデルがどのぐらいの精度なのかを確認するために、検証を実施します。
  • 今回はテストデータとして NG 画像は約40部品分用意しまして、 OK 画像は約1,200分用意いたしました。
  • 一般に、モデルの精度は、こちらの Confusion Matrixで表されます。
  • このマトリックスの見方なんですけれども、左側が正解のラベルで右側が、AI が予測したラベルになります。
  • つまり、 NG の画像に対して、 AI が NG と答えたのが約96%。
  • そして OK の画像に対して、 AI が OK と予測できたのが約98%ということが確認できました。
  • ただこれはあくまでも机上でテストしたときのモデルの精度になりますので、この精度を持って、実際の現場でどのぐらいの精度が出るのか確認するためにも、次の実装のフェーズに移りました。
  • 実装では、このようなアーキテクチャを組みました。
  • カメラ、推論デバイス、そして PLC、ロボット、そして AI の判定が OK か NG かを人が確認する必要がありますんで UI も構築しました。
  • 現在も武蔵精密工業の製造現場で稼働しているんですけれども、運用時の制度としては NG が約100%。
  • OKが95%という精度を保っております。
  • このO K が95%というのは、過検知側の設定にしているため、95という数字をになっております。
  • ただですね、当然、机上で先ほど96%で OK は98%と、ご説明さしていただきましたが、何もせずにですね、実際現場で運用したときにこちらの数字っていうのは出なくてですね、基本的には精度が落ちると思っていただいてただ、なぜ精度が落ちたのかっていうところを、課題を一つずつ潰していくことでこの精度まで到達することができます。
  • それではですね実際に生産現場で動いている動画がありますので、ご覧ください。

  • 生産現場ですので安全柵などがあり、多少見えづらいところもあるんですけれどもご了承いただきたいと思います。
  • 動画動かす前に、少し工程の説明をさせていただきます。
  • 左側がですね、前工程、先ほどのベベルギアを加工している設備になります。
  • そしてその加工が終わるとですね、部品が出てくるんですけれども、こちらの黄色いロボットで部品をつかんで撮影ポイントまで運びます。カメラはですね、
  • ここの黒い箱の中に入っているんですけれどもこちらにカメラがあって、今回は赤い照明を使っております。
  • 撮影ポイントがここになります。
  • そして、ここでワーク、部品をですね、回転させながら45枚撮影して、同時に推論を行って、このワークに対していいのか悪いのかっていうのを判定して、次の工程に運んでいくような流れになっておりますそれでは、再生したいと思います。

(動画再生)

  • 搬入されたワークをとって、検査待ちをして、検査が終われば、そして検査の画面は UI に OK か NG かが表示されるような仕組みになっております。
  • このようにですね。

  • それでは、二つ目の事例の紹介に移りたいと思います。

  • こちらも AI の検査機の導入ステップは先ほどと同じになります。

  • 二つ目の事例ではですね、対象部品は溶接ギアにしました。
  • この溶接ギアの説明をまずさせていただきますと、二つのギアーが溶接の工程でくっつけられて、一つのギアとして、生産されています。
  • そしてですねその溶接の工程で、金属の粒が飛び散ってしまい、その飛び散った金属が部品にくっついてしまうことがあります。
  • こちら少し見にくいんですけれども、このような形で。
  • これがある状態で、ギヤがユニット化されてしまうと、何かしらの影響でこの粒が取れてしまって、ギアとギアの間に挟まって、場合によってはロックしてしまうようなことが考えられますので、こちらもですね、全件人が検査をしているのが現状になります。
  • なのでここもですね、この金属の粒をAIに学習させて自動化できないかということで取り組みを行いました。
  • データ収集が必要になってきますので、この溶接ギアにあったオプティクスの環境を設定して、画像データを収集いたしました。
  • そして、収集した画像データは、アノテーションを行います。
  • 画像のどこに金属の粒があるかっていうのを囲っていく作業ですね。
  • そちらが完了したら、学習を行えるんですけれども、今回はObject Detectionという手法を使って AI モデルを作成しました。
  • そしてモデルができたら、モデルの精度を確認するために検証を行います。
  • この溶接ギアでは NG の画像を約200パーツ分、OK の画像を約220パーツ分用意して精度を検証しました。
  • そして NG の画像に対して、 AI が NG と予測できたのが100%、 OK の画像に対して、 AI が OK と判断できたのが93%という数字となりました。
  • こちらも現場での精度を確認するために実装を行っております。
  • 今現在もですね、武蔵精密工業の生産ラインで稼働している設備になります。
  • こちらも動画がありますんでご覧いただきたいと思います。

  • 再生する前に少し説明をさせていただきますと、左が前工程になりますんで、左から右に流れてきます。
  • そして、ここに白色の箱があるんですけれども、この中にカメラと照明が入っております。
  • 左から来た溶接ギヤを、ここの治具にですね、セットしてセットされると同時に、回転がされます回転されると、撮影が開始され同時に推論も行いますので、
  • 問題ない溶接ギヤであれば、右の方に払い出します。
  • もし NG と判断されれば、後のこちらにもコンベアがあるんですけれども、後ろの方に払い出されるといった形になります。
  • それでは再生いたします。

(動画再生)

  • まずセットされて、回転して撮影するが行われております推論も同時に行っています。
  • そして終わり良品であれば、右のレーンに行きます。
  • これがどんな毎回毎回繰り返されているんですけれども、不良であれば、このようにですね、後の運営に行くような流れになっております。

AWSクラウド連携取り組み

  • ここからがAWSクラウド連携のご紹介になります。
  • クラウド連携を検討している理由をまずお話さしていただきますと、 AI 外観検査機を一度作成して、そして生産現場へインストールして、我々の仕事が終わるわけではありません。
  • AI 検査機で取得した画像データを分析したりですとか、 AI の精度を日々確認したり、そして場合によっては、 AI のモデルもう一度学習し直す必要も出てきます。
  • そういった場合に、生産現場が目の前にあって、いつでも AI の外観検査機に物理的にアクセスができれば特に問題ないんですけれども、例えば、他拠点に検査機を入れたりですとか、海外に導入したりすることも今後あると考えられます。
  • そうなった場合に、物理的な距離が課題となって、画像データの分析とかモデルの精度の確認とか、再学習っていうのが、行うのに時間がかなりかかってしまうことが想像できます。
  • なので、 AWSクラウドとAI外観検査機を繋いで、リモートで対応できる仕組みが必要になってきます。

  • 仕組みがこちらのアーキテクチャになります。
  • こちらの工場側はですね、今までご説明させていただいた構成をベースとしています。
  • ここに、 AWS の IoT Greengrassをエッジ側のコンピューターにですね、インストールすることで、AWSクラウドとの連携がより簡単に取ることが可能になります。
  • そしてAWSクラウド は、 AI を作るための機能が全て揃っています。
  • 例えば、Sage Maker Ground Truthでは、アノテーションをクラウド上に行うことができます。
  • Sage Makerでは、GPUを使用して、 AI のモデルを構築することができます。そして、作成したモデル、学習のデータであったりテストデータなどを管理することもできます。
  • 我々はですねMusashi AIでは DGX という学習用の PC も保有しています。
  • そしてその点も踏まえて、アーキテクチャを考えると、全部クラウドでやるもしくは全部ローカルでやるといった考えではなくて、クラウドも使うし、ローカル側も使って、どちらも良いところを使っていけばいいと考えています。
  • その点も含めてですね、今後より良いアーキテクチャを検討していきたいと考えております。

Musashi AI Service

  • ここからがムサシ AI のサービスのご紹介になります。

  • Musashi AIのサービスは現在2つあります。
  • 1つ目はAI外観検査機をお客様の製品にあったかたちで構築して提供させていただくサービスになります。
  • 二つ目は、先ほどからアーキテクチャーに少し映っていたんですけれども、Neural Cubeというエッジデバイス、こちらの販売になります。
  • 次のスライドで、もう少し詳しくご説明いたします。

  • まず、 AI 外観検査機の方から説明させていただきます。
  • 我々は三つのステップで考えております。
  • まず最初のステップ1についてなんですけど、お客様からサンプルの部品をいただいて、その部品に合った撮影環境を構築して、データ収集、そして AI モデルの構築、そして精度の報告までを実施しております。
  • そしてこのステップ1で、お客様の検査したい欠陥が AI で判断可能かを見極めます。
  • 当然、良い結果が得られれば、ステップ2へ移ります。
  • そしてこのステップ2では、簡単な検査装置ですね、我々の方でご用意させていただきますので、それを現場で使っていただいて、現場での精度を確認するフェーズになります。
  • 目的はですね、やはり机上でテストする場合と、現場でテストする場合で、環境が全然違うと思いますので、現場での課題を洗い出すことになります。
  • そして、ステップ2で、現場への課題を洗い出して、かつ潰して、ステップ3の方に行って、ここで初めて量産ラインへの導入を行います。
  • このような三つのステップで TOC の方を実施しております。
  • 次に、 Neural Cubeのご紹介になります。
  • TX 2を使ったことがある方はご存知かと思うんですけれども、 TX 2というのは、買ってきてすぐに使えるわけではなくてですね、ジェットパックをインストールしないといけないですとか、その他自分が AI を動かすための環境構築が必要になってきます。
  • 個人差があるとは思うんですけれども、その準備に2週間かかったりですとか、場合によっては1ヶ月かかるというのもあるのかなと思っております。
  • そして我々も同じように経験してきておりまして、早く試したいが、環境構築などで時間が取られる日々でした。
  • そんな思いを受けてですね、開発したのがこちらのNeural Cubeになります。
  • 最大の特徴は、届いたその日から使えることにあります。
  • 面倒なインストールだったり、環境構築をされた状態で販売をしております。
  • また、こちらのNeural Cubeなんですけれども、先日、 AWSパートナーデバイスへ登録されました。
  • より詳細が知りたい方は、お問い合わせいただければと思います。

  • 最後になりますが、Musashi AI の今後の取り組みをご紹介いたします。
  • 現在はですね、Manufactureに対して AI の技術を使って、かつノウハウを貯めていっております。
  • ここをですね、別の事業、例えばLogisticsであったり、Agricultureっていう部分にも、ここで貯めたノウハウっていうのは生きてくるのかなと考えており、より広い領域で社会課題を解決していきたいと考えております。

  • 以上になります。
  • ご清聴ありがとうございました。
  • Musashi AI 株式会社神谷文久が講演させていただきました。