Amazon S3をFTP経由で利用するテンプレート | アドカレ2013 : CFn #22

アドベントカレンダー2013：AWS CloudFormationビッグバンテンプレート

#AWS

たけたけ

2013.12.22

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは。たけかわです。『アドベントカレンダー2013：AWS CloudFormationビッグバンテンプレート』22日目です。
昨日は、望月さんのGitlab編でした。

S3とFTPサーバー

S3をお客様に説明するとき「FTPアクセスできないの？」とよく言われます。今回は FTPサーバーを作成し、S3をマウント、ユーザーがFTP経由でS3にアクセスできるCloudFormationテンプレートを作成しました。前回、「s3fsでAmazon S3をファイルシステムとして扱う」で作ったテンプレートを進化させて、FTPサーバーのインストールとユーザーの作成をおこないます。

FTPサーバーはvsftpdを利用しました。こちらは、Amazon Linuxではyumコマンド一つでインストールできます。s3fsの設定は前回のテンプレートでおこないましたので、行なうことはFTP用の設定のみとなります。

テンプレートの説明

このCFnテンプレート以下の作業をおこないます。

S3にアクセスできるIAMロールを作成します
FTPが利用できるようにセキュリティグループを設定します
標準のAmazon AMIでインスタンスをたちあげます
s3fsに必要なパッケージをインストールします
vsftpdをインストールします
s3fsをコンパイルしてインストールします。
s3fsコマンドを実行し、指定されたバケットを/mnt/3にマウントします
vsftpdの設定ファイルを作成します
FTPログインできるようにec2-userにパスワードを設定します。

S3用FTPインスタンスを起動

以下に起動時のパラメータを示します。

InstanceType	起動するEC2インスタンスのタイプです。デフォルトは`t1.micro`です。
KeyName	EC2にSSHログインするためのKeyPair名を指定します。
VpcId	インスタンスの所属するVPCのIDを指定します。例 :`vpc-XXXXXXXX`
SubnetId	VPCのSubnetIDを指定します。例 :例 :`subnet-XXXXXXXX`
BucketName	マウントしたいS3のバケット名を指定します。
UserPasswrod	FTPをするためにec2-userのパスワードを設定します。

CloudFormationのスタックがCompleteになったあと10分程待ってから起動したEC2にec2-userでftpを行なってください。ログイン後、s3にバケットの内容がみえていたら成功です。


$ ftp ec2-XXX-XXX-XXX-XXX.ap-northeast-1.compute.amazonaws.com
Connected to ec2-XXX-XXX-XXX-XXX.ap-northeast-1.compute.amazonaws.com.
220 Classmethod Advent Calendar No.22 FTP service.

Name (ec2-XXX-XXX-XXX-XXX.ap-northeast-1.compute.amazonaws.com:takekawa): ec2-user
331 Please specify the password.
Password: 
230 Login successful.
Remote system type is UNIX.
Using binary mode to transfer files.
ftp> ls
229 Entering Extended Passive Mode (|||58823|).
150 Here comes the directory listing.
lrwxrwxrwx    1 0        0               7 Dec 22 02:33 s3 -> /mnt/s3
226 Directory send OK.
ftp> cd s3
250 Directory successfully changed.
ftp> ls
229 Entering Extended Passive Mode (|||56156|).
150 Here comes the directory listing.
----------    1 222      500         12042 Dec 22 02:26 vsftpd.template
226 Directory send OK.

コマンドラインからの実行

awscliを用いるとコマンドラインからスタックの作成ができます。デバッグ時等GUIでパラメータを何度も入れるのは面倒です。今回のテンプレートですとこんな感じで実行できます。

$ CFN_BUCKETNAME=MYBUCKETNAME
$ CFN_SUBNETID=subnet-XXXXXXX
$ CFN_VPCID=vpc-XXXXXXX
$ CFN_KEYNAME=MYKEYNAME
$ CFN_STACKNAME=vsftpd-test3
$ CFN_PASSWORD=XXXXXXX
$ 
$ aws cloudformation create-stack --disable-rollback \
--region ap-northeast-1 --stack-name $CFN_STACKNAME --parameters \
 ParameterKey=BucketName,ParameterValue=$CFN_BUCKETNAME \
 ParameterKey=SubnetId,ParameterValue=$CFN_SUBNETID \ 
 ParameterKey=VpcId,ParameterValue=$CFN_VPCID \
 ParameterKey=KeyName,ParameterValue=$CFN_KEYNAME \
 --template-url https://cm-public-cfn-templates.s3-ap-northeast-1.amazonaws.com/cfn_s3fs/cfn_s3fs-1.0-SNAPSHOT.template
{
    "StackId": "arn:aws:cloudformation:ap-northeast-1:314132709601:stack/s3fsTEST/86c768e0-5ed4-11e3-8524-50fa01768096"
}

10分程度おいて実行結果を確認します。CREATE_COMPLETEと出ていたら成功です。

aws cloudformation describe-stacks --stack-name $CFN_STACKNAME |  jq '.Stacks[].StackStatus'
"CREATE_COMPLETE"

改善すべき点

以下の改善すべき点があります。

IAMロールがS3の全てにアクセスできるという権限になっています。実際の利用ではこの部分絞るようにすべきです。
FTPユーザーにec2-userをつかっています。実際の利用では専用のユーザーを作るべきです。
/mnt/s3にマウントしたものをシンボリックリンクしてユーザーにみせています。実際の医療では、この部分は各ユーザー毎にマウントするなどして、ログインディレクトリより上のディレクトリに移動できないようにすべきです。
サブネットIDを指定すればVPC IDも一意に定まる気がするのですが、VPC IDの取得方法がわかりませんでした。

ということで GitHubよりフォークして進化させて頂ければと思います。プルリクエストされたらとても喜びます。

FTPについて

FTPは通信路が暗号化されておらず、認証はパスワード認証のみということでセキュリティに不安のあるプロトコルです。過去から使われていているため、現在でも要望はあるのですが、SCP、SFTP,FTPSのような代替手法を利用すべきです。Amazon S3がFTPをサポートしないのは正しい判断だと思います。