この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
こんちには。
データアナリティクス事業本部 機械学習チームの中村です。
re:Invent 2022に現地で参加し、機械学習系のセッションをメインに回っていました。
本記事では「From cutting-edge ML research to product with the Amazon Research Awards」というセッションに参加しましたので、そのレポートをします。
セッションについて
- タイトル
- From cutting-edge ML research to product with the Amazon Research Awards
- 登壇者
- Philip Resnik, Professor, University of Maryland
- Jon Tamir, Assistant Professor, The University of Texas at Austin
- Naina Prasad, Senior Technical Program Manager, AWS
- セッション情報
- 日時： 2022-11-29 (Tue) 12:30-13:30
- 形式： Breakout Session
- 番号： AIM408
- 会場： Mandalay Bay (Level 2 South, Lagoon L, Mandalay Bay)
- レベル： 400 - Expert
内容は、Amazon Research Award 受賞者から、その最先端の研究内容に関する発表です。
セッション概要
事前の案内としては以下の通りです。
Machine learning helps researchers pursue the major real-world problems that were previously thought to be unsolvable. The Amazon Research Awards (ARA) program supports research across academic institutions and nonprofit organizations to advance the solutions for these real-world problems. Join this session to hear from two ARA award recipients, Professor Philip Resnik and Assistant Professor Jonathan Tamir, on how they are using cutting-edge machine learning techniques and AWS services to tackle high-impact problems and influence the future of research.
(日本語訳)
機械学習は、これまで解決不可能と考えられていた実世界の大きな問題を追求する研究者を支援します。Amazon Research Awards (ARA) プログラムは、こうした実世界の問題の解決策を進めるために、学術機関や非営利団体を横断して研究を支援しています。本セッションでは、ARA受賞者のPhilip Resnik教授とJonathan Tamir助教授から、最先端の機械学習技術とAWSサービスを利用してインパクトのある問題に取り組み、研究の未来に影響を与えている様子を伺います。
セッション動画
セッション聴講内容
受賞者は２名いらっしゃいましたので、本記事では２番目に発表された方の内容についてのものとなります。
タイトルは「Robust Magnetic Resonance Imaging with Deep Learning」となっています。
内容は、Deep Learningを用いた画像処理で、ロバストなMRIを実現する研究についてです。
Amazon Research Award (ARA)とは
こちらは前回記事を参照ください。
アジェンダ
MRIの画像の再構成法についての概要と、それを高速化するための２つの論文の紹介となっています。
論文リンクは以下です。
課題の説明
MRIにおける課題が挙げられました。
- 高速化
- MRIは撮影に時間があかかり、１時間程度が必要。
- 安全性
- MRIは撮影中静止が必要であるが、子供は静止が難しいため麻酔が必要。
- しかし子供への麻酔は危険である。
- MRIが非常に高価
- 高価であるため、多くの人がアクセスすることが難しい。
- 時間が掛かることもアクセスが難しいことに関わっている。
それを解決するために、Computational MRIという技術分野がある。
MRIの説明
実際MRIから送られてくる信号は生の画像ではなく、MRIがフーリエ変換されたもの（一般にk-spaceと呼ばれるもの）となっている。
そのフーリエ変換された値を複数の測定点で計測する（図中の赤い点）。
通常の画像データと比較して、実数成分と虚数成分双方を持っている複素スペクトル。
この測定点を収集すればするほどより良いMR画像が得られるが、少ないデータの最適なスキャンパターンを設計することで、効率的にMR画像を得られる。
この再構成にDeep Learningを使う研究の紹介。
以下の２手法が記載されています。
- End-to-end supervised training
- Generative modeling
End-to-end supervised training
Deep Learningを使うということは、おおむね以下のようなブラックボックスとみなすことですが、、、
これを再構成に沿った設計をしています。
Data consistency（データ整合性チェック）と正則化を繰り返し行うような構成です。
実際、成功しているDeep Learningモデルは、特定のドメインに沿った構造を設計することで成功しているので、 今回についてもそうなのかもしれませんね。
ループを書き下すと以下のような構成となり、正則化にAutoEncoder型なCNN(Convolutional Neural Network)を使用します。
繰り返し回数は9回とおっしゃられていました。
これにより、高精度な再構成結果を得ることができます。
End-to-end supervised trainingの課題
しかし、この手法には課題・限界があります。
課題をすべて理解はできなかったですが、まず全てのケースで最適な測定点が同じというケースはないため、測定点を固定した状態での学習は、汎用性が低いということを説明されているようでした。被写体が新しく度に解剖学的な構造や札像面もわずかに異なるため、この影響もあるようです。
また、撮影時の動きの影響もある程度学習時に考慮した範囲の場合は問題ないが、全ての動きを想定することができないため、測定パターンが代わったりすると、劣化した結果が得られてしまうようです。
これに対するアプローチとして、統計学的な方向から見てみます。
今までは、単純に測定値に最も適合する画像を見つけるようなモデルとなっていますが（最尤推定と同様に）、 本来はスキャン対象の予備知識（脳や心機能など）を持っているはずです。その事前分布を見つけるようなアプローチが必要です。
Generative modeling
これに対して生成モデルを使用しています。Deep Networkで再構成をするのではなく、事前分布を学習するために使用します。ここ数年、前例のない画像生成モデルが登場しており、それを使用します。
図の上半分が一般的な画像生成モデルの場合で、下がMRIの場合です。一般的な画像生成にはない複雑さとして以下の２点が挙げられています。
- 複数のセンサーからデータを収集する（図の４つの部分と思われる）
- 連続領域のフーリエ変換がAに該当し、離散領域の処理ではない。
またその他の課題として、再構成画像に存在しない血管がそれらしく再現されてしまうことなどもあるようです。
そのため発表者の研究では、スコアベースの生成モデルを使用しています。 つまり、画像をDeep Networkに入力すると、より確率の高いMR画像に移動するのに、 どの方向に移動・更新すればよいのかの確率分布を出力させます。
これをAnnealed Langevin Dynamicsと読んでいます。Networkの構造には、NCSNv2を使用しています。
かなり難しい印象でしたが、疑似コードも示されていました。
Experimental result
まずは、PSNRの結果が示されていました。横軸がスピードアップの係数で速度を向上しても提案手法のPSNRの劣化が緩やかであることが分かります。
実際のMR画像の例も示されていました（10x fasterの場合）。
これらの成果を全く新しい臨床環境で新しい被験者に対しても行い、再トレーニング無しでアルゴリズムを使用できることを確認できました。
Extending reconstruction to blind motion correction
またこれらに加えて、二次元の回転と並進に対応した変換を考慮しています。
これにより、回転等が発生しても同じ解を再構成するように学習します。
Conclusions
テスト時間分布に対するロバスト性は、MRI再構成をディープラーニング手法に展開する際の大きなハードルですが、 本研究のように、画像事前分布を測定モデルから切り離すことが、それに大きく役立ちます。 事後サンプリングは、実験結果だけでなく、ロバスト性の保証も得られるので、本当に魅力的です。
これを現場に適用するためには、もちろん臨床的な研究がこれからも必要です。
ソースコードも以下に公開されています。
質疑応答
質疑では、実際に学習する際のオプティマイザーや損失関数などより詳細なものが行われていました。
まとめ
いかがでしたでしょうか。MR画像の再構成は、生成モデルの話や統計学の話もでてきたため、 全てを理解できていませんが、論文なども公開されているため機会があれば読んでみたいと思います。
ロバストなものを理論の正面から向き合って作る様は、 社会実装する本気度をとても感じる発表で、とてもいい話を聞けた気がします。 これらは今後の業務で生かしていきたいと思います。
14
