Docker コンテナで動く Amazon Genomics CLI 実行環境の作り方紹介

Amazon Genomics CLI（agcコマンド）の実行環境の作り方を紹介します。同じ実行環境を配布できるように実行環境は Docker コンテナを使用します。

Inventory icons created by Freepik - Flaticon

実行環境の構築に必要なファイル類

以下のリポジトリに保存してあります。M1 Mac（ARM）仕様の部分が一部ありますので x86-64 ユーザーが参考にされる場合は本文もご確認ください。

bigmuramura/container-genomics-cli: Running amazon genomics cli on Docker

コンテナへログインするまでの手順早見

docker-compose build --no-cache
docker-compose up -d
docker-compose exec agc bash

実行環境を作っていく

Amazon Genomics CLI の実行環境を作成するために確認するべきドキュメントは以下のリンクになります。以下のリンクの情報を元に Docker ファイを作成します。

• Prerequisites | Amazon Genomics CLI
• Installation | Amazon Genomics CLI
• aws/amazon-genomics-cli

以下の方針でコンテナ環境を作成します

• Amazon Genomics CLI のバージョン管理ができること
• Node.js のバージョン管理ができること
• Amazon Genomics CLI を実行するコンテナ内の作業で必要になりそうなコマンドも使えるようにしておく
  • AWS CLI や、jq コマンドなど

コンテナイメージの選定

前提条件を確認し、特定の OS の中で Node.js のインストール必須でした。node のベースイメージで ubuntu / debian 系のイメージを使用しているものを採用しました。

node - Official Image | Docker Hub

Amazon Genomics CLI のアップデートにより、要求される Node.js のバージョンが上がれば node のベースイメージを変更して更新する運用にします。

Amazon Genomics CLI のバージョン選択

aptコマンドなどのパッケージ管理コマンドでインストールできます。ですが、私の端末が M1 Mac（ARM）ということもありソースからビルドすることにしました。

Releases · aws/amazon-genomics-cli

最新のリリースバージョンのソースコードをダウンロードしてビルドする運用にしました。Amazon Genomics CLI のバージョン管理はここで行います。

その他あると便利なもの

Amazon Genomics CLI を使って作業しているとaws s3コマンドを使いたい場面が訪れます。そのため AWS CLI コマンドを利用できるようにしておきます。あとは私がfishシェルユーザーなのでfishシェルを使えるようにします。

Docker ファイル作成

マルチステージビルドするつもりではじめたのですが思いの外ビルドするものがありませんでした。Amazon Genomics CLI のインストールは参考になるかと思いますのでお好みで変更してください。また、AWS CLI のソースコードは ARM 用のものをダウンロードしています。x86-64環境の場合は該当するソースコードをダウンロードするように変更してください。

Amazon Genomics CLI のコマンドことagcコマンドは$HOME/bin配下にインストールされます。ENVでパスを通しておくと使い勝手が良くなります。

FROM debian:stable as builder

WORKDIR /tmp

RUN apt-get update && apt-get install -y \
	curl \
	unzip \
	wget

# AWS CLI v2（ARM版） のソースコードダウンロード
RUN curl "https://awscli.amazonaws.com/awscli-exe-linux-aarch64.zip" -o "awscliv2.zip"
RUN unzip awscliv2.zip
# Amazon Genomics CLI のソースコードダウンロード
RUN wget "https://github.com/aws/amazon-genomics-cli/releases/download/v1.6.0/amazon-genomics-cli-1.6.0.zip" -O "agc.zip"
RUN unzip agc.zip
RUN rm *.zip

FROM node:19.8.1-buster-slim

COPY --from=builder /tmp/ /tmp/
RUN /tmp/aws/install
RUN /tmp/amazon-genomics-cli/install.sh
RUN apt-get update && apt-get install -y \
	git \
	jq \
	fish \
	vim \
	&& apt-get clean \
	&& rm -rf /var/lib/apt/lists/*

ENV PATH $PATH:/root/bin
RUN echo $PATH

docker-compose ファイル作成

込み入ったことはしていなく、Dockerfile の指定とカレントディレクトリを/workspaseとしてコンテナ側にマウントして、ワークフロー定義で使用するディレクトリや、ファイルをローカルからとコンテナからどちらかもアクセスできるようにしてあります。

version: '3'

services:
  agc:
    build:
      context: ./genomics-cli
      dockerfile: Dockerfile
    volumes:
      - .:/workspace:cached
      - ~/.aws:/root/.aws
    tty: true

genomics-cliディレクトリ配下にDockerfileを保存しています。ディレクトリ構成やファイルはGitHub のリポジトリも参考にしてください。

.
├── docker-compose.yml
└── genomics-cli
    └── Dockerfile

agc コマンドを使ってみる

Amazon Genomics CLI のバージョン変更で Dockerfile を変更することを考慮して--no-chacheオプションを付けた例を示します。ただし、ビルドに時間がかかるため必要ないときは--no-chacheを指定しない方が良いです。

docker-compose build --no-cache
docker-compose up -d
docker-compose exec agc bash

コンテナが正常にビルド、起動できれば以下の様なプロンプトが表示されます。

root@25df23063fa9:/#

agcコマンドが利用できるか、パスは通っているか確認するためにagc --versionでバージョン情報が返ってくるかチェックしましょう。

# agc --version
agc version: 1.6.0
# aws --version
aws-cli/2.11.4 Python/3.11.2 Linux/5.15.78-0-virt exe/aarch64.debian.10 prompt/off

agcコマンドで AWS 環境を操作するにはコンテナ内から AWS アカウントへの認証情報が必要になります。私は Assume Role で一時的な権限を取得してコンテナ内に貼り付けて利用しています。

export AWS_DEFAULT_REGION="ap-northeast-1"
export AWS_ACCESS_KEY_ID=
export AWS_SECRET_ACCESS_KEY=
export AWS_SESSION_TOKEN=

aws s3 lsなどでコンテナから AWS アカウントへアクセスできているか確認できれば問題ありません。

以上で Amazon Genomics CLI の実行環境構築完了です。

テスト用のデモファイル

Amazon Genomics CLI version 1.6.0 のソースコードと一緒にデモ用のサンプルコードが同梱されています。/tmp配下に残してありますので動作確認の際は/workspace配下にコピーしてお使い頂ければと思います。

# ll /tmp/amazon-genomics-cli/examples/
total 28K
drwxr-xr-x 3 root root 4.0K Dec 29 21:35 demo-cwl-project/
drwxr-xr-x 3 root root 4.0K Dec 29 21:35 demo-nextflow-project/
drwxr-xr-x 3 root root 4.0K Dec 29 21:35 demo-snakemake-project/
drwxr-xr-x 3 root root 4.0K Dec 29 21:35 demo-wdl-project/
drwxr-xr-x 9 root root 4.0K Dec 29 21:35 gatk-best-practices-project/
drwxr-xr-x 8 root root 4.0K Dec 29 21:35 gatk-best-practices-project-miniwdl/
drwxr-xr-x 3 root root 4.0K Dec 29 21:35 nf-core-project/

ちなみにデモ用のサンプルコードは以下のドキュメントで Hello world で動作確認する際に使います。

Hello world | Amazon Genomics CLI

おわりに

Amazon Genomics CLI の実行環境をコンテナで作成しローカル環境を汚さないようにしました。ワークフロー定義はローカル端末で編集し、AWS へデプロイや、ジョブを実行するときはコンテナからagcコマンドを使うことを想定しています。

# agc workflow run hello --context myContext
2023-03-18T04:25:45Z ?  Running workflow. Workflow name: 'hello', InputsFile: '', OptionFile: '', Context: 'myContext'
2a359bd1-248a-433d-84a3-55419a8a1036