Amazon ForecastのDeepAR+で追加された新しいハイパーパラメータを確認する

貞松政史

2020.02.29

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

データアナリティクス事業本部の貞松です。閏日の滑り込み投稿です。

Amazon Forecastで使用可能な時系列予測アルゴリズムの一つであるDeepAR+に対して、設定可能なハイパーパラメータが追加されました。これにより、トレーニング時間の短縮、モデルの安定性と精度の向上を目的としたチューニングが可能となります。

DeepAR+ でのサポートが始まった新しいハイパーパラメータを活用して、Amazon Forecast のトレーニング時間を短縮し、モデルの安定性と精度を向上させる

今回はForecastのDeepAR+で設定可能なハイパーパラメータのおさらいと新しく追加になったハイパーパラメータについて確認します。

従来のForecastのDeepAR+で設定可能なハイパーパラメータ

learning_rate

概要

学習率。大きい値を設定すると学習が早く進むが、更新幅が大きくなり学習が安定せず、最適な結果に収束しにくくなります。小さい値を設定すると学習の進みが遅くなるが、小さい幅で更新することを繰り返すので学習が安定し、最適な結果に収束しやすくなります。

有効な値

正の浮動小数点数

一般的な値

0.0001～0.1

デフォルト値

0.001

context_length

概要

予測を生成する前にモデルが読み込む時間ポイントの数(予測モデルの学習時にどの範囲のデータ使用するか) このパラメータの値は、prediction_length(どのくらい先まで予測するか、期間の長さを設定)とほぼ同じである必要があります(短すぎてはいけない)

有効な値

正の整数

一般的な値

ceil(0.1 * prediction_length) to min(200, 10 * prediction_length)

デフォルト値

2 * prediction_length

num_layers

概要

Recurrent Neural Network(以下RNN)の隠れ層の数。多いほど複雑な関数を近似できます(単純なパターンでない複雑な予測ができます)が、学習時間が増加します。

有効な値

正の整数

一般的な値

1～4

デフォルト値

num_cells

概要

RNNの隠れ層ごとに使用するセルの数。多いほど"学習データに対する"予測の精度向上が見込めますが、学習時間が増加します。また、上記で敢えて"学習データに対する"と記述している通り、多すぎると過適合(over fitting)が発生しやすくなります。

有効な値

正の整数

一般的な値

30～100

デフォルト値

epochs

概要

1つのトレーニングデータを学習させる繰り返し回数の最大値。最適な値は、データサイズと学習レートによって異なります。

有効な値

正の整数

一般的な値

10～1000

デフォルト値

500

likelihood

概要

データに応じて、不確実性予測に使用される適切な尤度(ノイズモデル)を選択します。これにより予測モデルは確率予測を生成し、分散の変位値を提供してサンプルを返すことができます。

有効な値

gaussian: 実数値のデータに使用します。
beta: 0 ～ 1 の範囲内 (0 と 1 を含む) の実数値ターゲットに使用します。
student-T: バースト性データの実数値データにこの方法を使用します。
negative-binomial: データ (負ではない整数) の合計に使用します。
deterministic-L1: 不確実性を予測せず、ポイント予測のみ学習する損失関数。

デフォルト値

student-T

新たに追加になったハイパーパラメータ

新たに追加になったハイパーパラメータは、要約すると学習中に段階的に学習率を減衰させる為のパラメータと複数のモデルの動作を平均化して「良いとこ取り」する為のパラメータです。

learning_rate_decay

概要

学習率の減衰率。学習中にmax_learning_rate_decaysに設定された回数に応じて学習率を減衰します。このパラメーターは、max_learning_rate_decaysが0より大きい場合にのみ使用されます。

有効な値

正の浮動小数点数

典型的な値

0.5〜0.8

デフォルト値

0.5

max_learning_rate_decays

概要

学習中に発生する学習率減衰の最大数。 0を設定している場合は、学習中に学習率は減衰されません。

有効な値

正の整数

典型的な値

0〜10

デフォルト値

num_averaged_models

概要

設定した数のモデルの動作を平均化して、すべてのモデルの長所を活用できます。

有効な値

正の整数

典型的な値

1〜5

デフォルト値

新たに追加になったハイパーパラメータを設定して時系列予測を実行する

新たに追加になったハイパーパラメータを設定して、時系列予測モデルを作成します。比較の為、ハイパーパラメータがデフォルトのDeepAR+とハイパーパラメータを変更したDeepAR＋の予測モデルをそれぞれ作成します。

ハイパーパラメータがデフォルトの予測モデルをfukuoka_influenza_predictor_new_deepar_1、ハイパーパラメータを変更した予測モデルをfukuoka_influenza_predictor_new_deepar_2とします。どちらもAlgorithm SelectionはManualを選択し、AlgorithmはもちろんDeep_AR_Plusを選択します。

こちらがデフォルトの設定です。

こちらが変更したハイパーパラメータです。 max_learning_rate_decaysを２に設定しているので、learning_rate_decayの値に基づいて、最大2回の学習率減衰が発生します。 num_averaged_modelsを３で設定しているので、３つのモデルの平均を取ります。