Core ML / Create ML も大幅なアップデート、キャッチアップするための関連セッションをまとめました #WWDC19

本記事は Apple からベータ版として公開されているドキュメントを情報源としています。 そのため、正式版と異なる情報になる可能性があります。ご留意の上、お読みください。

こんにちは、モバイルアプリサービス部の田中孝明です。

iOS/macOS開発者にとっては SwiftUI がトレンドとなっていますが、 Apple の機械学習系のフレームワーク群も強化されています。

今回は気になった機械学習系のセッションをまとめました。

※セッション動画はセッション直後は見れない状態になりますが、その後視聴可能になります。

What's New in Machine Learning

Core ML 3 has been greatly expanded to enable even more amazing, on-device machine learning capabilities in your app. Learn about the new Create ML app which makes it easy to build Core ML models for many tasks. Get an overview of model personalization; exciting updates in Vision, Natural Language, Sound, and Speech; and added support for cutting-edge model types.

Core ML 3 は大幅に拡張され、アプリでのデバイス上の機械学習機能をさらに強化できるようになりました。多くのタスクのための Core ML models を構築することが容易になる、新しい Creare ML について学びます。モデルのパーソナライゼーションの概要を取得、Vision、自然言語、音声の解析などをアップデート。最先端のモデル作成のためのアルゴリズムを追加しました。

Core ML 3 Framework

Core ML 3 now enables support for advanced model types that were never before available in on-device machine learning. Learn how model personalization brings amazing personalization opportunities to your app. Gain a deeper understanding of strategies for linking models and improvements to Core ML tools used for conversion of existing models.

Core ML 3 では、デバイスの上での機械学習により、これまでよりも高度なモデルタイプをサポートできるようになりました。モデルのカスタマイズによって、魅力的なパーソナライゼーションをアプリにもたらす方法について説明します。モデルのリンク方法と、既存のモデルの変換に使用される Core ML tools の改良点について説明します。

Create ML for Object Detection and Sound Classification

Create ML enables you to create, evaluate, and test powerful, production-class Core ML models. See how easy it is to create your own Object Detection and Sound Classification models for use in your apps. Learn strategies for balancing your training data to achieve great model accuracy.

Create ML によって、強力なプロダクションクラスの Core ML models を作成し、評価、テストができます。 アプリで使用する独自のオブジェクト検出とサウンド分類モデルを簡単に作成できます。トレーニングデータのバランスをとって、より良いモデルの精度を達成するための戦略を学びましょう。

Creating Great Apps Using Core ML and ARKit

Take a journey through the creation of an educational game that brings together Core ML, ARKit, and other app frameworks. Discover opportunities for magical interactions in your app through the power of machine learning. Gain a deeper understanding of approaches to solving challenging computer vision problems. See it all come to life in an interactive coding session.

Core ML、ARKit、および他のアプリのフレームワークを使って、教育ゲームの作成を作ってみましょう。機械学習の力を活用して、アプリで魔法のようなインタラクションの機会を見つけましょう。コンピュータビジョンの困難な問題を解決するためのアプローチについて理解を深めることができます。コーディングセッションでは、すべてが活き活きとします。

Create ML for Activity, Text, and Recommendations

Create ML enables you to produce powerful Core ML models from more than just images. Learn all about creating production-class models for Activity Classification, Text Classification, and Recommendation systems. Explore considerations for gathering and preparing the data needed for these model types.

Create ML は、単なる画像よりも強力な Core ML models を作成できます。アクティビティ分類、テキスト分類、およびレコメンドシステムの production-class models の作成について説明します。これらのモデルタイプに必要なデータを収集および準備するための考慮事項について説明します。

Designing Great ML Experiences

Machine learning enables new experiences that understand what we say, suggest things that we may love, and allow us to express ourselves in new, rich ways. Machine learning can make existing experiences better by automating mundane tasks and improving the accuracy and speed of interactions. Learn how to incorporate ML experiences into your apps, and gain practical approaches to designing user interfaces that feel effortlessly helpful.

機械学習は、私たちが言うことを理解しすることで新しい経験を可能にし、私たちが好きなものを提案し、新しい豊かな方法を表現することができます。 機械学習では、日常的なタスクを自動化し、インタラクションの精度と速度を向上させることで、既存の体験を改善できます。 ML experiences をアプリに組み込み、簡単に役立つユーザーインターフェイスを設計するための実用的なアプローチを習得する方法について説明します。

Metal for Machine Learning

Metal Performance Shaders (MPS) includes a highly tuned library of data parallel primitives vital to machine learning and leveraging the tremendous power of the GPU. With iOS 13 and macOS Catalina, MPS improves performance, enables more neural networks, and is now even easier to use. Learn more about these advances in MPS and gain a practical understanding of how to implement innovative techniques such as Style Transfer.

Metal Performance Shaders (MPS) には、機械学習に不可欠なデータ並列プリミティブの高度にチューニングされたライブラリと、GPU の驚異的なパワーを活用する機能があります。IOS 13 および macOS Catalina を使用すると、MPS はパフォーマンスを向上させ、より多くのニューラルネットワークを可能にし、さらに使いやすくなりました。MPS でこれらの進歩について学び、Style Transfer などの革新的な技術を実装する方法の実用的な理解を得ましょう。

Drawing Classification and One-Shot Object Detection in Turi Create

Apple's open source toolset, Turi Create, recently added tasks for Core ML model creation including Drawing Classification and One-Shot Object Detection. Learn how to quickly use these capabilities in your apps as well as new techniques for visualizing and evaluating the performance of your custom models.

Appleのオープンソースツールセット Turi Create は最近、描画分類やワンショットオブジェクト検出を含む Core ML models 作成のためのタスクを追加しました。アプリでこれらの機能をすばやく使用する方法、およびカスタムモデルのパフォーマンスを視覚化して評価するための新しい手法を学びましょう。

関連リンク

• What's New in Machine Learning
• Core ML 3 Framework
• Create ML for Object Detection and Sound Classification
• Create ML for Activity, Text, and Recommendations
• Designing Great ML Experiences
• Metal for Machine Learning
• Drawing Classification and One-Shot Object Detection in Turi Create

まとめ

今年の WWDC はどの機能も大幅なアップデートがなされています。 Core ML / Create ML もその一つで、今後のアプリ開発で提案できるようにキャッチアップしていきたいところですね。