TerraformでAmazon EMR クラスターを構築

今月初めにリリースされたv0.7.5でTerraformがAmazon EMRに対応しました。2015年の5月には機能追加の要望が挙がっていたので、1年以上越しで機能追加が実現された形です。

Amazon EMR関連のリソース

新たに利用可能となったのは以下の2つのリソースです。

• aws_emr_cluster
• aws_emr_instance_group

aws_emr_cluster

EMRクラスターを作成するためのリソースです。

設定項目

• ec2_attributes

• bootstrap_action

aws_emr_clusterリソースで作成できるのはマスターノードとコアノードです。タスクノードを追加するには後述のaws_emr_instance_groupを使います。

core_instance_countにはマスターノードとコアノードの合計数を指定します(マスターノードは常に1台なので、「1 + コアノード数」を指定します)。core_instance_countのデフォルト値は「0」のようですが、1以上を指定しないとエラーとなりますのでご注意ください。

applicationsは、Terraformのオンラインドキュメントをみると「Hadoop, Hive, Mahout, Pig, Spark」しか選択できないようにも読めますが、実際に試したところPrestoなど、Terraformのオンラインドキュメントに記載のアプリケーションも問題なくインストールできました。

EMRで利用可能なアプリケーションについてはAWSの公式ドキュメントを確認するのがよいかと思います。

Amazon EMR リリースについて - Amazon EMR

エクスポートされる属性

aws_emr_instance_group

EMRクラスターにタスクノード(タスクインスタンスグループ)を追加するためのリソースです。

設定項目

• ec2_attributes

Terraformのテンプレートファイルの例

以下のテンプレートファイルを作成して、実際にEMRクラスターを構築してみました。

variables.tf

variable "names" {
  type = "map"

  default = {
    account_id = ""
    profile    = ""
    prefix     = ""
  }
}

variable "region" {
  default = "ap-northeast-1"
}

variable "vpc_cidr" {}
variable "source_ips" {
  type = "list"
}

variable "ssh_key_name" {}

data "aws_availability_zones" "available" {}

main.tf

provider "aws" {
  region              = "${var.region}"
  profile             = "${var.names["profile"]}"
  allowed_account_ids = ["${var.names["account_id"]}"]
}

## S3 Bucket for ERM Logs
resource "aws_s3_bucket" "emr-log" {
  bucket        = "emr-logs-${var.names["account_id"]}"
  acl           = "private"
  force_destroy = true
}

## VPC
resource "aws_vpc" "emr-test" {
  cidr_block           = "${var.vpc_cidr}"
  instance_tenancy     = "default"
  enable_dns_support   = true
  enable_dns_hostnames = true

  tags {
    Name = "${var.names["prefix"]}-vpc"
  }
}

## Internet GW
resource "aws_internet_gateway" "emr-test" {
  vpc_id = "${aws_vpc.emr-test.id}"

  tags {
    Name = "${var.names["prefix"]}-igw"
  }
}

## Subnet
resource "aws_subnet" "public" {
  count                   = 2
  vpc_id                  = "${aws_vpc.emr-test.id}"
  cidr_block              = "${cidrsubnet(var.vpc_cidr, 8, count.index)}"
  availability_zone       = "${data.aws_availability_zones.available.names[count.index]}"
  map_public_ip_on_launch = true

  tags {
    Name = "${format("${var.names["prefix"]}-public-subnet%02d", count.index + 1)}"
  }
}

## Route Table
resource "aws_route_table" "public" {
  vpc_id = "${aws_vpc.emr-test.id}"

  route {
    cidr_block = "0.0.0.0/0"
    gateway_id = "${aws_internet_gateway.emr-test.id}"
  }

  tags {
    Name = "${var.names["prefix"]}-public"
  }
}

resource "aws_route_table_association" "public" {
  count          = 2
  subnet_id      = "${element(aws_subnet.public.*.id, count.index)}"
  route_table_id = "${aws_route_table.public.id}"
}

## IAM role for EMR
data "aws_iam_policy_document" "emr-assume-role-policy" {
  statement {
    effect  = "Allow"
    actions = ["sts:AssumeRole"]

    principals = {
      type        = "Service"
      identifiers = ["elasticmapreduce.amazonaws.com"]
    }
  }
}

resource "aws_iam_role" "emr-service-role" {
  name               = "EMR_DefaultRole"
  assume_role_policy = "${data.aws_iam_policy_document.emr-assume-role-policy.json}"
}

resource "aws_iam_role_policy_attachment" "emr-service-role" {
  role       = "${aws_iam_role.emr-service-role.name}"
  policy_arn = "arn:aws:iam::aws:policy/service-role/AmazonElasticMapReduceRole"
}

## IAM Role for EC2
data "aws_iam_policy_document" "ec2-assume-role-policy" {
  statement {
    effect  = "Allow"
    actions = ["sts:AssumeRole"]

    principals = {
      type        = "Service"
      identifiers = ["ec2.amazonaws.com"]
    }
  }
}

resource "aws_iam_role" "emr-ec2-role" {
  name               = "EMR_EC2_DefaultRole"
  assume_role_policy = "${data.aws_iam_policy_document.ec2-assume-role-policy.json}"
}

resource "aws_iam_role_policy_attachment" "emr-ec2-role" {
  role       = "${aws_iam_role.emr-ec2-role.name}"
  policy_arn = "arn:aws:iam::aws:policy/service-role/AmazonElasticMapReduceforEC2Role"
}

resource "aws_iam_instance_profile" "emr-ec2-profile" {
  name  = "${var.names["prefix"]}-emr-ec2-profile"
  roles = ["${aws_iam_role.emr-ec2-role.name}"]
}

## EMR Cluster
resource "aws_emr_cluster" "emr-test-cluster" {
  name          = "emr-test-cluster"
  release_label = "emr-5.0.0"
  applications  = ["Hadoop", "Hive"]
  log_uri       = "s3://${aws_s3_bucket.emr-log.id}/elasticmapreduce/"
  service_role  = "${aws_iam_role.emr-service-role.arn}"
  master_instance_type = "m1.medium"
  core_instance_type   = "m1.medium"
  core_instance_count  = 2

  ec2_attributes {
    key_name = "${var.ssh_key_name}"

    subnet_id = "${aws_subnet.public.0.id}"
    instance_profile = "${aws_iam_instance_profile.emr-ec2-profile.name}"
  }
}

まとめ

EMRはデータ分析のプリプロセス(非構造化データ → 構造化データへの変換、整形、フィルタリングなど）実行のためオンデマンドでクラスターを起動＆シャットダウンするケースが多いかと思います。

この場合はTerraformで構成管理、、は必要ないかもしれませんが、TerraformでVPCやセキュリティグループ含めてサクッとEMRの検証環境を起動できるようになったのは嬉しいポイントです。これまでEMRはなかなか触れる機会がなかったのですが、これを機に色々と検証していいきたいと思います。