データソースに関する制限 #quicksight #22 | Amazon QuickSight Advent Calendar 2016

当エントリは『Amazon QuickSight Advent Calendar 2016』の22本目のエントリです。

• Amazon QuickSight (全部俺) Advent Calendar 2016 - Qiita

昨日の21本目のエントリは『ドリルダウンをビジュアルに追加』でした。

• ビジュアル要素の『色』を変更する #quicksight #21 | Amazon QuickSight Advent Calendar 2016 ｜ Developers.IO

『AWS re:Invent 2016』の直前に一般利用可能となったAWSによるBIサービス、Amazon QuickSight。発表されたばかりですが、早速Amazon QuickSightを使い倒すべく色々な切り口でその内容について見て行きたいと思います。

22本目となる当エントリでは、Amazon QuickSightにおける『データソースに関する制限』について見て行きたいと思います。

---

Amazon QuickSightで扱うデータソースには以下の制限事項が存在します。

ファイルに関する制限

• SPICEにインポートするファイルのサイズは1GB以下である必要があります。これはローカルファイル及びS3にアップロードされているファイルいずれの場合も該当します。
• また、対象のデータソースがS3の場合、マニフェストファイルで指定しているファイルのサイズが合計で10GBを超えてはいけません。ファイルの数についても、合計で100個を超えては行けません。
• ファイルのカラム数は200、1行あたりの桁数については25400までとなっています。この合計桁数を超えていない限り、フィールド間で文字がどのように分配されるかについては関係ありません（ちなみにフィールド長の制限は511桁となっています）。

テーブルとクエリに関する制限

SPICEに取り込むテーブルまたはクエリの結果セットのサイズは10GBまでとなっています。もしもっと多くのデータを扱いたいという場合はSQLクエリを使って結果セットのサイズを減らすようにしてください。

項目に関する制限

SPICEに取り込むデータセットの項目桁数の上限は511桁となっています。

サポートされているデータ型について

Amazon QuickSightでは現在、以下のプリミティブなデータ型をサポートしています。

日付(Date):

サポートされている日付形式のいずれかでなければなりません。

小数(Decimal):

小数点データ型は小数点以下4桁までをサポートします。これより大きなスケールの値についてはSPICEへのインポート時に小数第4位まで切り捨てられます。例)13.00049→13:0004

データ準備中に上記条件に合致するデータを使用する計算フィールドについては、計算実行時には完全な値を使用します。計算結果については小数第4位で切り捨てられる形となります。詳細については以下をご参照ください。

Working with Calculated Fields - Amazon QuickSight

整数(Integer):

文字列(String):

データソースとして使用するテーブルまたはファイルに、これらのデータ型に暗黙的に変換出来ないフィールド(例えば地理空間データ型を使用するフィールド)が含まれていない事を確認します。Amazon QuickSightでは変換できないデータ行についてはスキップします。

以下はデータソース別のサポートされているデータ型一覧です。Boolean型についてはAmazon QuickSightでは整数に変換されます。

DBエンジン・ データソース	数値型	文字列型	日付時刻型	真偽型
Amazon Aurora MariaDB MySQL	bigint decimal double int integer mediumint numeric smallint tinyint	binary blob char enum set text varbinary varchar	date datetime timestamp year
PostgreSQL	bigint decimal double integer numeric precision real smallint	char character text varchar varying character	date timestamp	boolean
SQL Server	bigint bit decimal int money numeric real smallint smallmoney tinyint	char nchar nvarchar text varchar	date datetime datetime2 datetimeoffset smalldatetime

サポートされていないデータ値について

フィールドに、Amazon QuickSightがフィールドに割り当てるデータ型に準拠しない値が含まれている場合、それらの値を含む行はスキップされます。 たとえば、次のソースデータがあるとします。

Sales ID    Sales Date    Sales Amount
-------------------------------------- 
001        10/14/2015        12.43
002        5/3/2012          25.00
003        Unknown           18.17
004        3/8/2009          86.02

Amazon QuickSightは、Sales Dateを日付フィールドとして解釈し、日付以外の値を含む行を削除するため、次の行だけがインポートされます。

Sales ID    Sales Date    Sales Amount
-------------------------------------- 
001        10/14/2015        12.43
002        5/3/2012          25.00
004        3/8/2009          86.02

また、データベース・フィールドに、ソース・データベース・エンジン用のJDBCドライバで解釈できない値が含まれている場合、解釈不能な値はnullに置き換えられ、行をインポートできます。 この問題の唯一の既知の事実は、MySQLのdate、datetime、およびtimestampフィールドがすべて0の値を持つことです（0000-00-00 00:00:00など）。 たとえば、次のソースデータがあるとします。

Sales ID    Sales Date                Sales Amount
--------------------------------------------------- 
001        2004-10-12 09:14:27        12.43
002        2012-04-07 12:59:03        25.00
003        0000-00-00 00:00:00        18.17
004        2015-09-30 01:41:19        86.02

次のデータがインポートされます。

Sales ID    Sales Date                Sales Amount
--------------------------------------------------- 
001        2004-10-12 09:14:27        12.43
002        2012-04-07 12:59:03        25.00
003        (null)                     18.17
004        2015-09-30 01:41:19        86.02

タイムゾーンの扱いについて

Amazon QuickSightは、日付データのクエリ、フィルタリング、および表示にUTC時間を使用します。

日付データでタイムゾーンが指定されていない場合、Amazon QuickSightはUTC値を仮定します。 日付データでタイムゾーンが指定されている場合、Amazon QuickSightはそれをUTC時刻に変換して変換します。 たとえば、2015-11-01T03：00：00-08：00のようなタイムゾーンオフセットの日付フィールドは、UTCに変換され、2015-11-01T11：00：00としてAmazon QuickSightに表示されます。

サポートされている日付フォーマット

日付フィールドのデータは、次のいずれかの形式でなければなりません。 形式は、Jodaプロジェクトのドキュメントの Class DateTimeFormatで説明されているパターン構文を使用して指定します。

1.yyyy-MM-dd, for example 2015-10-01.
2.yyyy-MM-ddTHH, for example 2015-10-01T16.
3.yyyy-MM-ddTHH:mm, for example 2015-10-01T16:08.
4.yyyy-MM-ddTHH:mm:ss, for example 2015-10-01T16:08:29.
5.yyyy-MM-ddTHH:mm:ss.SSS, for example 2015-10-01T16:08:29.322.
6.yyyy-MM-ddTHH:mm:ss,SSS, for example 2015-10-01T16:08:29,322.
7.yyyy-MM, for example 2015-10.
8.yyyy-MM-ddTHH:mm:ss.SSSZZ, for example 2015-10-01T16:08:29.322-08:00.
9.yyyy-MM-ddTHH:mm:ss,SSSZZ, for example 2015-10-01T16:08:29,322-08:00.
10.yyyy-MM-ddTHH:mm:ssZZ, for example 2015-10-01T16:08:29-08:00.
11.yyyy-DDD, for example 2015-066.
12.yyyy-DDDTHH:mm:ss.SSSZZ, for example 2015-066T16:08:29.322-08:00.
13.yyyy-DDDTHH:mm:ssZZ, for example 2015-066T16:08:29-08:00.
14.yyyy-MM-dd HH:mm:ss.SSS, for example 2015-10-01 16:08:29,322.
15.yyyy-MM-dd HH:mm:ss, for example 2015-10-01 16:08:29.
16.yyyyMMdd, for example 20151001.
17.yyyyMMddTHHmmss.SSSZ, for example 20151001T160829.322-0800.
18.yyyyMMddTHHmmssZ, for example 20151001T160829-0800.
19.yyyyDDD, for example 2015066.
20.yyyyDDDTHHmmss.SSSZ, for example 2015066T160829.322-0800.
21.yyyyDDDTHHmmssZ, for example 2015066T160829-0800.
22.yyyy, for example 2015.
23.yyyy/MM/dd HH:mm:ss, for example 2015/10/01 16:08:29.
24.yyyy/MM/dd, for example 2015/10/01.
25.MM/dd/yyyy, for example 10/01/2015.
26.MM/dd/yy, for example 10/01/15.
27.M/d/yyyy, for example 1/1/2015.
28.M/d/yy, for example 1/1/15.
29.MM/dd/yyyy HH:mm:ss, for example 10/01/2015 16:08:29.
30.MM/dd/yy h:mm a, for example 10/01/15 4:08 PM.
31.MM/dd/yy HH:mm:ss, for example 10/01/15 16:08:29.
32.MM/dd/yy HH:mm, for example 10/01/15 16:08.
33.MM/dd/yy hh:mm a, for example 10/01/15 04:08 PM.
34.MMM dd, for example Oct 01.
35.MMM dd yyyy HH:mm:ss, for example Oct 01 2015 16:08:29.

まとめ

という訳で『Amazon QuickSight Advent Calendar 2016』22本目、『データソースに関する制限』に関するご紹介でした。明日もお楽しみに！

参考情報

• Data Source Limits - Amazon QuickSight