Foundation Modelsのマルチモーダル機能でリングフィットアドベンチャーのリザルト画面から運動記録を取り出してみた

import SwiftUI
import FoundationModels

struct ContentView: View {
    @State private var text: String = ""

    var body: some View {
        ScrollView {
            VStack(spacing: 16) {
                Text(text)
                    .frame(maxWidth: .infinity, alignment: .leading)
                    .padding()
                Button("Run", action: action1)
            }
        }
    }

    func action1() {
        // ここに処理を追加する
    }
}

@Generable
struct RingFitResult {
    @Guide(description: "Total activity time in seconds. Convert from minutes and seconds shown on screen (e.g. 8分56秒 = 536, 25分10秒 = 1510)")
    var totalActivitySeconds: Int
    @Guide(description: "Total calories burned as a decimal number in kcal (e.g. 29.48)")
    var caloriesBurned: Double
    @Guide(description: "Total running distance in km as a decimal number. Set to nil if the running distance is not displayed on the screen")
    var runningDistanceKm: Double?
}

活動時間（秒）: 781
消費カロリー: 29.48
走行距離: Optional(-1.0)

@Generable
struct RingFitResult {
    @Guide(description: "活動時間の「分」の部分のみを整数で（例：'13分11秒'なら13）")
    var activityMinutes: Int
    @Guide(description: "活動時間の「秒」の部分のみを整数で、0〜59の範囲（例：'13分11秒'なら11）")
    var activitySeconds: Int
    @Guide(description: "合計消費カロリーをkcal単位の小数で（例：29.48）")
    var caloriesBurned: Double
    @Guide(description: "走行距離が数値で表示されていればtrue、'－'または表示なしならfalse")
    var runningDistanceAvailable: Bool
    @Guide(description: "走行距離をkm単位の小数で。runningDistanceAvailableがtrueのときのみ有効")
    var runningDistanceKm: Double
}

func action1() {
    guard SystemLanguageModel.default.isAvailable else {
        text = "Apple Intelligenceが利用できません"
        return
    }
    let session = LanguageModelSession()

    Task {
        let uiImage = UIImage(named: "rfa1")

        // UIImage → CGImage に変換（UIImageはAttachmentに直接渡せない）
        guard let cgImage = uiImage?.cgImage else {
            text = "画像の読み込みに失敗しました"
            return
        }

        do {
            let response = try await session.respond(
                generating: RingFitResult.self
            ) {
                "リングフィットアドベンチャーのリザルト画面です。各フィールドの値を取り出してください。"
                Attachment(cgImage)
            }
            let result = response.content
            let totalSeconds = result.activityMinutes * 60 + result.activitySeconds
            let distance: Double? = result.runningDistanceAvailable ? result.runningDistanceKm : nil
            print("活動時間（秒）: \(totalSeconds)")
            print("消費カロリー: \(result.caloriesBurned)")
            print("走行距離: \(distance.map { "\($0) km" } ?? "なし")")
            text = """
            活動時間（秒）: \(totalSeconds)
            消費カロリー: \(result.caloriesBurned) kcal
            走行距離: \(distance.map { "\($0) km" } ?? "なし")
            """
        } catch {
            text = "エラー: \(error.localizedDescription)"
            print("エラー: \(error)\n\(String(reflecting: error))")
        }
    }
}

活動時間（秒）: 791
消費カロリー: 29.48 kcal
走行距離: なし

func action2() {
    guard SystemLanguageModel.default.isAvailable else {
        text = "Apple Intelligenceが利用できません"
        return
    }
    let session = LanguageModelSession()

    Task {
        let uiImage = UIImage(named: "rfa2")

        guard let cgImage = uiImage?.cgImage else {
            text = "画像の読み込みに失敗しました"
            return
        }

        do {
            let response = try await session.respond(
                generating: RingFitResult.self
            ) {
                "リングフィットアドベンチャーのリザルト画面です。各フィールドの値を取り出してください。"
                Attachment(cgImage)
            }
            let result = response.content
            let totalSeconds = result.activityMinutes * 60 + result.activitySeconds
            let distance: Double? = result.runningDistanceAvailable ? result.runningDistanceKm : nil
            print("活動時間（秒）: \(totalSeconds)")
            print("消費カロリー: \(result.caloriesBurned)")
            print("走行距離: \(distance.map { "\($0) km" } ?? "なし")")
            text = """
            活動時間（秒）: \(totalSeconds)
            消費カロリー: \(result.caloriesBurned) kcal
            走行距離: \(distance.map { "\($0) km" } ?? "なし")
            """
        } catch {
            text = "エラー: \(error.localizedDescription)"
            print("エラー: \(error)\n\(String(reflecting: error))")
        }
    }
}

活動時間（秒）: 1586
消費カロリー: 104.68 kcal
走行距離: 1.02 km

func analyzeImage(named imageName: String) async -> RingFitResult? {
    // ① Attachment APIはiOS 27以降。それ以前のデバイスはVisionにフォールバック
    guard #available(iOS 27, *) else {
        return await fallbackToVisionOCR(named: imageName)
    }

    // ② Apple Intelligenceが無効またはモデル未ダウンロードの場合はフォールバック
    //    ※ isAvailableはVision用サブモデルの準備状態まで確認しないため、
    //       実行時エラーはcatchで拾う
    guard SystemLanguageModel.default.isAvailable else {
        return await fallbackToVisionOCR(named: imageName)
    }

    guard let cgImage = UIImage(named: imageName)?.cgImage else {
        return nil
    }

    // ③ Foundation Modelsで解析を試みる
    do {
        let session = LanguageModelSession()
        let response = try await session.respond(
            generating: RingFitResult.self
        ) {
            "リングフィットアドベンチャーのリザルト画面です。各フィールドの値を取り出してください。"
            Attachment(cgImage)
        }
        return response.content
    } catch {
        // Vision用サブモデル未ロードなど実行時エラー → Visionにフォールバック
        print("Foundation Models failed, falling back to Vision: \(error)")
        return await fallbackToVisionOCR(named: imageName)
    }
}

// Vision.frameworkを使った既存のOCR処理
func fallbackToVisionOCR(named imageName: String) async -> RingFitResult? {
    // 既存実装（NSEasyConnectのOCR処理）
    return nil
}

func action1() {
    Task {
        if let result = await analyzeImage(named: "rfa1") {
            let totalSeconds = result.activityMinutes * 60 + result.activitySeconds
            let distance: Double? = result.runningDistanceAvailable ? result.runningDistanceKm : nil
            text = """
            活動時間（秒）: \(totalSeconds)
            消費カロリー: \(result.caloriesBurned) kcal
            走行距離: \(distance.map { "\($0) km" } ?? "なし")
            """
        }
    }
}