この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
こんにちは、小澤です。
クラスメソッドが運営するIT系技術ブログDevelopers.IOのカンファレンスイベントDevelopers.IO 2017にて、セッション「Yarn Applicationの作り方」を発表しました。そのレポートです。
発表スライド
セッション概要
Hadoop上で動くアプリケーション = Yarn上で動くアプリケーションとなります。 実際のアプリケーションを作成する時は多くの場合、MapReudceやTez, Sparkといったフレームワークとなる仕組みを利用することで実現したいロジックのみを実装することに専念することができるようになっています。
発表内容としては、「普段これらのフレームワークを利用してるけどその仕組みってどうなってるんだっけ？」という部分に触れるものになっています。
- クライアントがResourceManagerに処理を要求
- ApplicationMasterの実装
- NodeManagerでのcontainer動かし方
といった部分に触れました。 実用上の本格的な部分まではというよりは、普段Hadoopを使っていて概要レベルの知識では知っている部分の実態がどうなっているのかを解説したものになっています。
2
