【コンテナ技術入門】コンテナ要素技術をDocker使わずに基礎から手を動かして学べる超有用なテキスト #dockerTokyo

コンテナを触っているすべての人が読むべき、コンテナ要素技術が凝縮された「コンテナ技術入門」の紹介です。

#Docker

濱田孝治

2019.07.08

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

「Dockerって、結局中でなにやってんの？」

先日、以下のミートアップに参加して、LT登壇してきました。

Docker Meetup Tokyo #31 (初心者歓迎LT祭り＋KubeConCN報告)

自分はLTの一番手として、「雰囲気でコンテナ使っている全ての人が読むべき「コンテナ技術入門」の紹介」で喋ってきたので、それの登壇報告となります。

「コンテナ技術入門」は、Dockerコマンド一通り使えるようになってきたけど、もっとDockerやコンテナについて深く知っておきたいという方にはむちゃくちゃ有用なコンテンツなので、一度目を通して、実際に手を動かして試してみることをオススメします。

（祭） ∧ ∧
　Y　 ( ﾟДﾟ)
　Φ[_ｿ__ｙ_l〉     ｺﾝﾃﾅﾏﾂﾘﾀﾞﾜｯｼｮｲ
　　　 |_|＿|
　　　 し'´Ｊ

講演概要

当日のセッションスライドはこちら。

この記事では、LTという時間枠の中で省略してしまった事項もあれこれ追加して、セッション内容を一記事として再構成しています。

セッション「雰囲気でコンテナ使っている全ての人が読むべき「コンテナ技術入門」の紹介」

自己紹介です。パワーポイントにデザインまかせたら、こんなレイアウトになりました。テクノロジーってすごいですね。ハマコー（@hamako9999）です。

一番最初にお聞きしたい。皆さんこの記事ご存知ですか？

コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう - エンジニアHub｜若手Webエンジニアのキャリアを考える！

さらにお聞きしたい。この記事を読んで、最後まで手を動かして学んだ人、どれぐらいいますか？

そうですよね。ほとんどいませんよね。一言「非常にもったいない！！」という思いです。

本日お話する内容は以下の通り。

「コンテナ技術入門」にかかれていること
「コンテナ技術入門」やって感じたこと
「コンテナ技術入門」が素晴らしいところ

「コンテナ技術入門」にかかれていること

書かれていることは、スバリこれです。

具体的には、技術スタックとしてこういった要素が出てきます。

Namespace　→　カーネルリソースの隔離
cgroup　→　リソース制限
Capability　→　権限制限
chrootとpivot_root　→　権限制限
OverlayFS　→　ファイルシステムの階層化
Network Namespace　→　ネットワークの隔離

この記事の最大の特徴がこちら。

これ、面白いんですよ。Dockerコマンド一切使わずに、コンテナっぽいものが出来上がる。なので、Dockerの基本的な使い方はあらかじめ知っておいたほうが、この記事は楽しめます。

一部、Dockerコマンドありますが、これは既存のイメージからファイルを抜き出すのに使っているだけなので、コンテナの動作に直接Dockerコマンドは使われません。

実行環境の用意

是非自分の手で動かしながら学んでいただきたい題材なので、実行環境用意しましょう。方法はいくつかあります。

Vagrantを使う場合

記事の実行環境はUbuntuです。記事では、Vagrantfileが記載されているので、それを使えば環境用意できます。

動作環境

EC2を使う場合

自分は普段慣れているAWSのEC2を使いました。特に難しいことはなく、AMIからUbuntuを選択し、以下のスクリプト流せば、この記事のコマンドは一通り動きました。

sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl software-properties-common jq
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get install -y docker-ce
sudo apt-get install -y cgdb
sudo apt-get install -y cgroup-tools
sudo apt-get install -y uuid-runtime
sudo apt-get install -y tree
sudo apt-get install -y iputils-ping
sudo apt-get install -y make gcc
sudo git clone git://git.kernel.org/pub/scm/linux/kernel/git/morgan/libcap.git /usr/src/libcap
cd /usr/src/libcap
sudo make
sudo make install

その他仮想マシンを使う場合

おそらくは、VPSや他のパブリッククラウドのUbuntuベースの仮想マシンを用意するだけで、動作確認はできると思います。

紹介されている要素技術（抜粋）

この記事では、かなり多数のコンテナを支える要素技術が紹介されているんですが、抜粋して自分がやってて楽しかったところを中心に紹介します。

「コンテナを作ってみよう」

＜事前準備＞　 - cgroupでリソース（CPUとメモリ）制限 - Namespaceでリソース隔離 - コンテナ内で「yes >/dev/null」

＜動作確認＞

別シェルでps（プロセス）確認
topコマンドで利用時間確認

一番最初のこの章でキモなのが、コンテナをDockerを使わずに作ってみるところ。機能は限定されていますが、LinuxのcgroupとNamespaceを使って、CPU利用率制限されたbashを別プロセスで動かします。

コンテナがプロセスを共有していること、そのプロセスがハードウェア利用制限されて動作していること、これを肌身で知ることができます。流れの中で一部dockerコマンドを使っているところがありますが、単にbashコンテナイメージの中身をtar展開しているだけです。

別シェルでpsコマンドの実行で、コンテナ内プロセスの確認ができること、topコマンドで、コンテナ内yesプロセスのCPU利用時間が30%に制限されていることなどが、実際に確認できます。これ、楽しいですよ。

この例で「コンテナはホストOS上のプロセスではあるけれど、コンテナ内からは独立した環境に見える」ことが確認できたと思います。また、コンテナに対して使用できるリソースを制限できることも確認できました。
引用：コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう - エンジニアHub｜若手Webエンジニアのキャリアを考える！

関連してcgroupの動きを確認すると面白い。

別シェルからsystemd-cgtopでも、作成されたcgroupのCPU利用率などがわかります。

Control Group                                                                                        Tasks   %CPU   Memory  Input/s Output/s
/                                                                                                      144   30.7     1.3G        -        -
/bb178911-6ac4-4fe7-906b-a5279492a745                                                                    -   29.7     1.0M        -        -
/user.slice                                                                                             12    0.7   815.2M        -        -
/system.slice                                                                                           68    0.2   602.3M        -        -
/system.slice/containerd.service                                                                        13    0.2    19.9M        -        -

ここで、コンテナを作る雰囲気を感じ取りましょう。

「Namespace」

Namespaceはプロセスが参照するPID（プロセスID）番号空間やマウントポイントなど、カーネルリソースを他のプロセスと隔離し、独立したOS環境のように見せる機能です。
引用：コンテナ技術入門

コンテナ技術のキモとなる、Namespaceについて学んでいきます。

Namespaceの操作方法
Namespaceを確認する
Namespaceを隔離する
Namespaceに接続する
Namespaceを維持する

これらをコマンド使いながら試すことで、プロセスの分離イメージが把握できます。

「cgroup」

cgroupはグループ化したプロセスに対してカーネルリソースやハードウェアリソースを制限することができる機能です。
引用：コンテナ技術入門

「Capability」

Capabilityはroot権限を細分化してプロセスやファイルに設定する機能です。特権(root)ユーザで動作するプロセスは全ての権限を持つため、実行しているプログラムに脆弱性があった場合、他のプロセスやホストOSそのものに影響を与えてしまいます。

引用：コンテナ技術入門

「OverlayFS」

＜事前準備＞

サンプルのDockerfile確認
LAYER1の作成（既存イメージの展開）
LAYER2の作成（LAYER1にcurlを埋め込み）

＜動作確認＞

LAYER1と2をOverlayFSでコンテナイメージ作成

Dockerfileでコマンドを書くたびに、イメージのレイヤーが増えていくことはなんとなくご存知の方が多いと思いますが、その動作原理として動くOverlayFSを体験できます。

「ネットワークリソースの隔離」

＜事前準備＞

ネットワークブリッジ作成
Network Namespace作成
vethペアを作成、ネットワークブリッジに追加
デフォルトゲートウェイ設定

＜動作確認＞

ブリッジとNamespaceの疎通確認

docker runするときによくホスト側とコンテナ側のポートマッピングをしますが、そこの動作が根っこでどうなっているかを確認できます。

「コンテナ技術入門」をやって感じたこと

というわけで、非常に多くの要素技術が出てくるんですが、この「コンテナ技術入門」やって、実際に感じたことは、一言「しんどい」です。

自分はアプリレイヤーのキャリアが長いので、ほんと知らない概念だらけで苦労しました。コマンド流すだけだったらすぐ終わりますが、途中あれこれ調べてると、どんどん時間使います。自分の興味があるところを試してみる感じでも良いんじゃないでしょうか。

「コンテナ技術入門」が素晴らしいところ

最後に、この記事の何が素晴らしいかをお話します。

この記事読んで要素技術を学んでみると、例えば以下の事象が深掘りできてくるんですね。

なぜ、コンテナランタイムがこんなに山のようにあるのか？
なぜ、Dockerfileの書き方が、イメージサイズに直結するのか？
なぜ、複数コンテナたてたときのネットワーク管理があんなにめんどいのか？
なぜ、Fargateみたいなホストインスタンスがないコンテナの運用がでてきたのか？

「一度Linuxの要素技術でコンテナがどのように動いているか体験することで、コンテナの使い所や進化の方向性が見えてくる」と思います。皆さんの、これからの長いコンテナ人生をよりよいものにするための基礎として、一度試してみてはいかがでしょうか。

「最後に圧倒的感謝を！」

これだけ詳細にコンテナの要素技術を解説が解説されていて、さらにそれがハンズオン形式で試すことができるコンテンツとして日本語で提供されているのは、ある意味奇跡じゃないでしょうか。

この場を借りて、この記事の作者である、バッグマン（@hayajo）さんに改めて感謝したいと思います。ありがとうございます！

「コンテナのいろんな話が凝縮されていて、ごっつ楽しいミートアップでした」

自分はLTトップだったので、それが終わったあとは、最前列でtwitterでヤジとばしながらリラックスして、他の方のLTを聞くことができました。分野がいろいろあって、ごっつ楽しかったですね。LTならではのごった煮感が最高でした。

イベント終わったあと、やばい人達とコンテナランタイムについてのDeepすぎる話もできたのが収穫。はっきり言ってそこは魔境だと思ってたし、「すぐ業務には関係ないだろうしな…」と遠巻きに眺めていた分野だったんですが、kubectlからOSレイヤーまでの流れと、関連技術になにがあるのかを、いろんな角度から話してもらって全体感が整理できてむっちゃ有用でした。