Amazon Machine Learning: システム上限値について
小ネタです。
Amazon Machine Learningを既に実利用でガンガン使っている、という方々はどれくらいいらっしゃるのでしょうか。恐らくは大半のユーザーが『試験的に色々試してみようか』という状況なのではと推測します。そういうタイミングであればデータのサイズや件数については然程大きくなるものでは無いと思いますので、今時点ではそこまで気にするべきポイントでは無いかも知れませんが、AWSではサービス毎に『設定値の上限』が初期状態で定められており、利用状況に応じてその『上限を緩和』する申請を行い、上限を増やす事が出来ます。
そこで当エントリでは、Amazon Machine Learningの『システム上限値』にどのようなものがあるか、また上限緩和申請可能な要素にどのようなものがあるのかをざっくりと見てみたいと思います。
Amazon Machine Learningのシステム上限値
まずはAmazon Machine Learningのシステム上限値について。以下の項目に於いて上限値が定められています。
| 項目 | 値 |
|---|---|
| 訓練データのサイズ | 100GB |
| バッチ予測データのサイズ | 1TB |
| バッチ予測データの件数 | 1億件 |
| レシピの複雑さ(処理を行う出力変数の数) | 10000 |
| リアルタイム予測エンドポイント毎のTPS(※2) | 200 |
| リアルタイム予測エンドポイント毎のTPS(※2)の合計 | 10000 |
| リアルタイム予測エンドポイント毎のRAMの合計 | 10GB |
| 同時実行ジョブ数 | 5 |
| ジョブの最長実行時間 | 7日間 |
| 多項分類機械学習モデルのクラス数 | 100 |
| 機械学習モデルのサイズ | 2GB |
- (※1)データファイルのサイズは、ジョブがタイムリーに完了している事を確実にするために制限されています。 7日以上実行されているジョブは自動的に終了し、FAILED状態になります。
- (※2)TPS：Transactions Per Second/トランザクション処理を毎秒何件実行できるかを表したもの。参考：TPSとは｜トランザクション毎秒｜Transactions Per Second - 意味/解説/説明/定義 ： IT用語辞典
Amazon Machine Learningでの上限緩和申請
では、このサービスの現時点での『上限緩和申請』は何か出来るものはあるのでしょうか。入力フォームで確認してみたいと思います。『技術サポート』では以下のように『Machine Learning』という項目で存在していますので、『上限緩和申請』でもこの名前できっとあるはずです。
...ありませんでした！まだサービスが利用出来るようになって間もない状況というのもあるのでしょうか。いずれこのサービスも頻繁に利用されるようになってくるとこの辺りの要素も色々と上限緩和出来るようになってくるのでしょうか。パッとみた感じですと予測件数とか同時実行ジョブ数等は状況に応じて比較的(上限緩和の)機会が訪れてくるのでは無いかと予想しますがいかがなものでしょうか。『こんな上限値じゃ物足りないので緩和させてくれ！』と言えるようにガンガン使いこなして行きたいものですね。こちらからは以上です。
