[iOS 11] Vision.Frameworkで画像の識別を試してみました #WWDC2017

1 はじめに

iOS 11で追加された Vision.Framework では、CoreMLを利用した画像解析を、一貫性のあるインターフェイスで簡単にアプリに組み込むことが出来ます。

Vision.Frameworkには、顔追跡・検出・ランドマーク、テキスト検出、矩形検出、バーコード検出、オブジェクト追跡など各種の機能が提供されていますが、今回は、画像の識別について試してみました。

画像の識別では、CoreML用に機械学習のモデル（CoreML用に作成された.mlmodelファイル）が必要ですが、こちらは、Appleの開発者ページでダウンロードに可能なっている下記の５種類を使用させて頂きました。

• SqueezeNet
• Places205-GoogLeNet
• ResNet50
• Inception v3
• VGG16

https://developer.apple.com/machine-learning/より

本記事は Apple からベータ版として公開されているドキュメントを情報源としています。 そのため、正式版と異なる情報になる可能性があります。ご留意の上、お読みください。

2 登場するオブジェクト

Vision.Frameworkを利用した画像処理では、大きく３つのオブジェクトが登場します。

• Requests
• RequestHandler
• Observations

WWDC 2017 Session 506 Vision Framework Building on Core MLより

Requestsオブジェクトは、画像処理タスクをシステムに要求するためのオブジェクトで、解析の種類（画像識別、矩形認識、顔認識など）によって違ったものになります。

RequestHandlerは、実際のイメージを用意して、上記のリクエストをハンドルします。これは、全ての処理で共通です。

最後に、Observationsですが、こちらは、Requestの保持しているクロージャーに渡され解析結果を処理します。解析の種類によって違ってくるので、Requestとセットになっています。（例えば、顔認識では、顔認識用のObservationとなる）

3 画像解析処理

先出の３つのオブジェクトを使用して、画像の識別を行うコードは以下のとおりです。

画像の識別ということで、リクエストオブジェクトは、VNCoreMLRequestを使用し、その解析結果の処理用のオブザーバーは、VNClassificationObservationとなっています。

func coreMLRequest(image:UIImage) {
    // モデルの作成        
    guard let model = try? VNCoreMLModel(for: Inceptionv3().model) else {
        fatalError("Error create VMCoreMLModel")
    }

    // リクエスト（VNCoreMLRequest）の生成とハンドラ処理
    let request = VNCoreMLRequest(model: model) { request, error in
        // オブザーバ（VNClassificationObservation）による解釈
        guard let results = request.results as? [VNClassificationObservation] else {
            fatalError("Error results")
        }
        if let classification = results.first {
            print("identifier = \(classification.identifier)")
            print("confidence = \(classification.confidence)")
        } else {
            print("error")
        }
    }

    // CIImageへの変換
    guard let ciImage = CIImage(image: image) else {
        fatalError("Error convert CIImage")
    }

    // ハンドラの生成と実行
    let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
    guard (try? handler.perform([request])) != nil else {
        fatalError("Error handler.perform")
    }
}

Modelを生成する際のVNCoreMLModelの第１引数には、使用するモデルを指定しますが、ここを変更することで、各種のモデルに置き換える事ができます。

//Inception v3 を　GoogLeNetPlaces.mlmodel　に変更する
//let model = try? VNCoreMLModel(for: Inceptionv3().model)
let model = try? VNCoreMLModel(for: GoogLeNetPlaces().model)

4 やってみた

実際にやってみたところ、下記のような結果を得ることが出来ました。

sizeは、モデル(.mlmodel)のサイズ（MByte）であり、timeは、解析にかかった時間です。モデルごとに少し差があったようなので、秒単位で雑に計測してみました。

下記の結果ですが、処理時間などは、もちろん実機の性能に大きく依存するでしょうし、確かめたサンプル数も非常に限られたものですので、あくまで「解析の一例」程度の意味しか無いことを予めご了承下さい。

5 最後に

ちなみに、「やってみた」のところで写真に写っていた犬は、「黒柴」なのですが、解析結果に出ていた Appenzeller とか kelpieは、google画像検索で見ると、次のような感じでした。 雰囲気、黒柴！？

コードは、下記に起きました。モデルは含まれておりませんので、別途ダウンロードが必要です。
[GitHub] https://github.com/furuya02/CoreMLSample

↓こちらで、Vision.Frameworkを使用しない場合との比較も行っております。興味があれば是非！
[iOS 11] CoreMLで画像の識別を試してみました（Vision.Frameworkを使わないパターン） #WWDC2017

6 参考リンク

WWDC 2017 Vision Framework: Building on Core ML
Apple Document > Vision Framework
Build more intelligent apps with machine learning.