Incredibuild Linuxを使ってAOSPをビルドしてみた
分散ビルドシステムであるIncredibuildは、Windows向けの開発環境の他にLinux向け開発環境にも対応しています。ですので、Linux上に構築されたソフトウェア開発環境のビルドできます。
ということで、今回はIncredibuild Linux & Incredibuild Cloudを使ってAOSP(Android OpenSource Project)をビルドしてみます。
AOSPとは
AOSPとはAndroid OpenSource Projectの略です。Androidはオープンソースとして公開されており、スマートフォンのみならず、さまざまな家電などに組み込んで利用することが可能です。市販の家電はもちろん自作の機器に組み込む事も可能です。
AOSPは、ソースコード、ライブラリのボリュームは180GBほどあります。なお、AOSPで配布されているソースコードはあくまでユーザランドであり、Linuxカーネルはハードウェアに合わせて用意する必要があります。
開発環境
Incredibuildを利用するにあたり、今回は以下の構成でビルドしています。
Incredibuildでは、Initiator、Coordinator、Helperは以下のインスタンスを利用してビルドしています。今回はソースコードは、Andorid11 r48を利用しています。
Initiator Agent
- OS: Ubuntu 20.04 LTS - InstanceType: c5.4xlarge - HDD 500GB
Coordinator
- OS: Ubuntu 20.04 LTS
- InstanceType: t3.small
- HDD 16GB
- SELinuxは無効化する
- 解放するポート番号
* TCP ポート 2088、2089、9952、9953、8080
Helper
- OS: Ubuntu 20.04 LTS - InstanceType: c5.4xlarge - HDD 50GB
AOSPのビルド環境を構築する
今回はUbuntu 20.04LTSを利用しているので次のように構築を進めていきます。基本的には始める | Android オープンソース プロジェクト | Android Open Source Projectの内容をUbuntu 20.04向けに修正しています。
先のInitiatorのEC2インスタンスでビルドできる環境を構築します。では、ビルドに必要なソフトウェアをインストールします。
$ sudo apt-get install git gnupg flex bison build-essential zip curl zlib1g-dev gcc-multilib g++-multilib libc6-dev-i386 libncurses5 lib32ncurses-dev x11proto-core-dev libx11-dev lib32z1-dev libgl1-mesa-dev libxml2-utils xsltproc unzip fontconfig
続いて、repo(ソースコードを管理するソフトウェア)をインストールします。PATH設定もお忘れ無く。
$ export REPO=$(mktemp /tmp/repo.XXXXXXXXX)
$ curl -o ${REPO} https://storage.googleapis.com/git-repo-downloads/repo
$ gpg --recv-key 8BB9AD793E8E6153AF0F9A4416530D5E920F5C65
$ curl -s https://storage.googleapis.com/git-repo-downloads/repo.asc | gpg --verify - ${REPO} && install -m 755 ${REPO} ~/bin/repo
$ export $PATH=$HOME/bin:$PATH
Pythonの設定をします。
$ sudo ln -s /usr/bin/python3 /usr/bin/python
ソースコードを取得します。今回は、android-11.0.0_r48のソースコードの取得をします。並列でダウンロードするため-j8オプションをつけています。
$ mkdir -p ~/aosp && cd ~/aosp $ repo init -u https://android.googlesource.com/platform/manifest -b android-11.0.0_r48 $ repo sync -j8
初回のダウンロードでは1時間以上かかることもあるので、気長に待ちます。ダウンロードが終わったらAOSPのビルド環境を設定するため次のスクリプトを実行します。
$ source build/envsetup.sh
次に、ビルド対象を選択します。今回はARMを対象とした開発版をビルドします。
$ lunch aosp_arm-eng
そしてビルドを行います。mコマンドのみですべてのビルドが行われます。ビルド完了できることを確認します。
m droid
Incredibuild Linux版をセットアップ
AOSPはIncredibuild側でサポートしているので、Incredibuildでビルドするように設定を進めていきます。
Incredibuildのセットアップ方法はWindows版と異なりますので設定方法を解説します。
Coordinatorをインストール
最初にCoodinatorを設定します。公式ページを参考に構築をすすめます。
Coordinator向けには以下のようにインストールします。incredibuild_3.12.0-239.ubinはIncredibuild社より受け取ったバイナリファイル名に読み替えてください。 -CオプションでCoordinatorをインストールする指定をします。-Aオプションででデータ等を保存するフォルダを指定します。
$ sudo ./incredibuild_3.12.0-239.ubin -i -C -A /home/ubuntu/incredibuild_data
Initiatorへインストール
Initiator向けには以下のようにインストールします。-SオプションでInitiatorのインストールする指定をします。-OオプションでCoordinatorのインスタンスに振られたローカルIPアドレスを指定します。-Aオプションでデータ等を保存するフォルダを指定します。
$ sudo ./incredibuild_3.12.0-239.ubin -i -S -O 172.31.32.33 -A /home/ubuntu/incredibuild_data
インストールが終わるとCoordinatorが起動するので、以下のURLからCoordinatorの管理画面を開きます。CoordinatorはWindowsではアプリケーションでしたがLinux版はブラウザでアクセスします。
http://<CoordinatorのIPアドレス>:8080/incredibuild/
ライセンス登録
Coordinatorに対するライセンス登録はWindows版と異なります。先のCoordinatorの管理画面からCoordinator Settingsのボタンを押下、Licenseを開き、Generate Key Fileを押下すると、pkファイルがダウンロードされます。
このpkファイルをIncredibuild社へ送付します。すると、ライセンスファイルが送られてきます。そのライセンスファイルは、Update the License fileの項目でファイル選択してLoad Fileします。すると、License Detailsにライセンス設定が表示されます。ライセンスが正常に登録できると、次のスクリーンショットのようにライセンス情報が表示されます。
Incredibuild Cloudを設定する
バージョン3.11より Incredibuild Linux版もWindows版と同様にIncredibuild Cloudに対応しています。
では設定を行います。Incredibuild Coordinatorを開き、"Add Cloud Cores"というボタンが追加されているか確認します。もし表示されていない場合は、以下のシェルスクリプトを実行してください。
$ /opt/incredibuild/managment/enable_cloud.sh
"Add Cloud Cores"ボタンを押すと、Incredibuild Cloudの設定画面が表示されます。Incredibuild Cloudの設定方法はWindowsの場合と同じです。未設定の場合は、Incredibuild Cloudの公式ドキュメントやゲーム開発環境をAWSで！IncrediBuild Cloudを使用してUnreal Engine 4の分散ビルドをやってみた | DevelopersIO を参考に設定してください。
設定がすべて完了すると、HelperのEC2インスタンスが自動的に構築されます。AWSコンソールより構築されていることを確認してください。HelperのEC2インスタンスはCoordinatorの管理画面にすべて表示されます。
次にHelperに割り当てるコアの数を指定します。Actionの欄にあるボタンを押し、Subscribeを選択し、Helperに割り当てるコアの数を指定します。
-1を指定することで、EC2インスタンスのコア数に合わせて自動で割り当てられます。
それらすべての設定が完了すると、次のような画面となります。
Initiatorの設定をする
次にInitiatorの設定を行います。まず、以下のURLにアクセスします。
http://<InitiatorのIPアドレス>:8080/incredibuild/
そして、Agent SettingsのボタンからGeneralタブを開きます。
設定自体はデフォルトのままで問題ありません。必要に応じて変更してください。
Incredibuildに対応したビルドコマンドを用意する
ここまででIncredibuild Linux版を使ったビルド環境の構築は終了しました。次にIncredibuildを使ってAOSPをビルドするための設定を進めていきます。
まずAOSPをビルドするための設定ファイルを用意します。Incredibuild Linux版でビルドするには、プロジェクトにあらかじめib_profile.xmlファイルを配置した上で、ib_buildコマンドをあわせて実行してビルドします。ib_profile.xmlファイルはプロセス名を指定して「ローカルでビルドする」「Helperに分散ビルドを依頼する」といった細かな指定を行うためのファイルです。Incredibuildは、AOSPとQt creatorのビルドをサポートしています。
ここではIncredibuildで用意されているib_profile.xmlファイルを使います。ib_profile.xmlファイルをAOSPのソースコードがあるフォルダにコピーします。
$ cp /opt/incredibuild/data/custom_profiles/android/9-12/ib_profile.xml ~/aosp
次にビルドのシェルスクリプトを用意します。m_droid.shファイルとして次の内容で用意します。
#!/bin/bash source build/envsetup.sh lunch aosp_arm-eng m droid
ビルドを実行します。ビルドする際には、ib_consoleコマンドを併用します。-jオプションで実行するジョブ数を指定します。
$ ib_console ./m_droid.sh -j 200
ビルドの様子をみる
ビルドしている様子をみることができます。まずInitiatorの画面をブラウザで開きます。
http://<InitiatorのIPアドレス>:8080/incredibuild/
Build Historyから左端のAction > Open > New Windowsを選択してみます。
すると、InitiatorやHelperなどに分散してビルドしている様子をみることができます。
