自動テストがより便利に！！CodeBuildのテストレポート機能がGAされました！！

CX事業本部@大阪の岩田です。これまでプレビューリリースという位置づけだったCodeBuildのテストレポート機能が2020/5/22、ついにGAされました！！

早速試してみたので、簡単に紹介させて頂きます。

レポート機能とは？

CodeBuildのジョブから出力されたレポートファイルを解析し、テスト実行結果を確認するためのビューを提供する機能です。画面のイメージはこんな感じです。

レポートファイルは以下の形式に対応しています。

• JUnit
• Cucumber
• TestNG
• TRX

プレビュー段階で対応していた形式はJUnit、Cucumberのみでしたが、GA時点で新たにTestNG、TRXのサポートが追加されています。

テストレポート作成に必要な権限

テストレポートを作成するには、CodeBuildのジョブを実行するIAMロールに以下の権限が必要です。

• codebuild:CreateReportGroup
• codebuild:CreateReport
• codebuild:UpdateReport
• codebuild:BatchPutTestCases

既存のビルドプロジェクトにテストレポートを追加する場合は、忘れずに権限を追加しておいて下さい。※ちなみに私は最初に試した時権限不足で失敗しました。

テストレポートの作り方

buildspecファイルにreportsセクションを追加し、最大5つまでのレポートグループを指定します。

reportsセクションのフォーマットは以下の通りです。

reports:
  report-name-or-arn:
    files:
      - location
      - location
    base-directory: location
    discard-paths: yes | no
    file-format: JunitXml | CucumberJson | VisualStudioTrx | TestNGXml

それぞれの意味は以下の通りです。

• report-name-or-arn

レポートグループを指定するキーで、既存のレポートグループのARN、もしくはレポートグループ名を指定します。レポートグループ名を指定した場合は、CodeBuildが自動的に <プロジェクト名>-<buildspec内でのレポートグループ名>という命名規則でレポートグループ名を付与します。ビルドプロジェクトごとに最大5つのレポートグループを持つことが可能です。

• files

このセクションでテストレポートのファイルを指定します。後述のbase-directoryが指定されている場合はbase-directory配下から、指定されていない場合はビルドジョブを実行したディレクトリからレポートファイルを検索します。*を指定すると全てのファイルに、**を指定すると再帰的に全てのディレクトリにマッチさせることが可能です。

例えば、my-subdirectory/* と指定すると、 my-subdirectoryというディレクトリ配下の全てのファイルを、my-subdirectory/**/*と指定するとmy-subdirectoryというディレクトリから再帰的に全てのファイルを検索します。

• base-directory

CodeBuildがレポートファイルを検索するベースのディレクトリを指定します

• discard-paths

レポートファイルをS3にアップロードする際に、レポートファイルのパスを保持するかどうかをyes|noで指定します。たとえば、レポートファイルのパスがcom/myapp/mytests/TestResult.xmlの場合に、yesを指定すると、S3にアップされるレポートファイルはTesResult.xmlに短縮されます。デフォルト値はnoです。

• file-format

レポートファイルの形式を指定します。未指定の場合は、デフォルトでJunitXmlを使用します。

やってみる

実際に、今関わっているプロジェクトに導入してみました。開発言語はPythonを、テスト用のライブラリにはpytestを利用しているので、buildspecは以下のように指定しました。

version: 0.2
phases:
  #略
  build:
    commands:
      - pipenv run python -m pytest tests/unit --junit-xml=reports/unittest_results.xml
reports:
  unittest-rep-group:
    files:
      - '**/*'
    base-directory: reports/

buildspecを更新後にビルドするとレポートが作成されています。

レポート履歴のリンクを開くと詳細が表示され、各テストケースの詳細を確認することができます。

せっかくなので別のプロジェクトを作成して、わざとテストを失敗させてみました。テスト1件成功、1件失敗の場合は以下のような表示になります。

失敗したテストケースtest_failのリンクをクリックするとダイアログが開き、どの部分でテストが失敗したのか詳細を確認することができます。

まとめ

CodeBuildのテストレポート機能についてご紹介しました。これまではテストが失敗した場合はCloudWatch Logsのログを確認して失敗箇所を特定していましたが、今後はテストレポートを活用することで、失敗箇所が簡単に特定できそうです。偉い人からテストエビデンスの提出を要求された時なんかも便利そうですね。うまく活用して開発作業をスピードアップしていきたいと思います。

参考

• AWS CodeBuild Test Reporting is now Generally Available
• Test Reports with AWS CodeBuild
• Working with test reporting in AWS CodeBuild