Amazon Redshift DB開発者ガイド – データのロード処理(3).データロードに関するトラブルシューティング

Amazon Redshift DB開発者ガイド、データロード処理の第3弾です。前回のエントリに盛り込もうと思ったのですがボリューム(文字数)の都合で断念しました。(^-^;)

第3弾はエラー発生時の解決方法やヒントについてまとめている『トラブルシューティング』にちなんだ内容です。実際実行時に数多く目にする事でしょうから、何かとこの手の情報は入り用になってくるのかな、と思います。問題解決に少しでもお役に立てるようであれば幸いです。

目次

• データロードに関するトラブルシューティング
• マルチバイト文字のロードエラー
• ロードエラーリファレンス

データロードに関するトラブルシューティング

このセクションでは、ロード時のエラーに関するエラーの識別方法及び解決方法についての情報を提供します。

COPYコマンドで指定されたAmazon S3のバケットは、対象のクラスタと同じリージョン内にある必要があります。Amazon S3バケットとクラスタが異なるリージョンにある場合、以下のようなエラーが表示されます。

ERROR: S3ServiceException:The bucket you are attempting to access must be addressed using the specified endpoint.

以下2つのAmazon Redshiftのシステムテーブは、データロード問題に関するトラブルシューティングとして役立つ事でしょう。

• STL_LOAD_ERRORS：特定の負荷時に発生したエラーを発見
• STL_FILE_SCAN：特定のファイルロード時間を表示したり、特定のファイルが読まれたか

ロードエラーの検出＆診断方法

1.ロードエラーに関する詳細を返すビューを作成、またはクエリを定義します。以下の例では、実際のテーブル名でテーブルIDを一致させる為にSTL_LOAD_ERRORSテーブルをSTV_TBL_PERMテーブルに結合しています。

create view loadview as
(select distinct tbl, trim(name) as table_name, query, starttime,
trim(filename) as input, line_number, colname, err_code,
trim(err_reason) as reason
from stl_load_errors sl, stv_tbl_perm sp
where sl.tbl = sp.id);

2.データに関する有用な情報を返す為に、COPYコマンドにMAXERRORSオプションを指定します。COPYでは、エラーが発生した場合にエラーメッセージ詳細がSTL_LOAD_ERRORSテーブルに記録されるようになっています。

3.エラーの詳細を見るためには、以下のようにLOADVIEWを照会します。

select * from loadview where table_name='venue';

  tbl   | table_name | query |         starttime          
--------+------------+-------+----------------------------
 100551 | venue      | 20974 | 2013-01-29 19:05:58.365391 

|     input      | line_number | colname | err_code |       reason
+----------------+-------------+-------+----------+---------------------
| venue_pipe.txt |           1 |     0 |     1214 | Delimiter not found

4.ビューが返す情報に基づき、入力ファイルやロードスクリプトの問題を修正します。幾つかの典型的なロードエラーがありますので以下に列挙します。

• [テーブル内の入力データフィールド]と[入力データフィールド]の型のミスマッチ。
• [テーブル]と[入力データのフィールド数]の列数の不一致。
• 引用符のミスマッチ。Amazon Redshiftは、シングルクォート・ダブルクォート両方をサポートしていますが、これらの引用符は開始終了共に合わせる必要があります。
• 入力ファイルの日付/時刻のデータ形式不正。
• 入力ファイル内の範囲外の値(数値列の場合)。
• 列の個数値の数が、圧縮符号化の制限を超過。

マルチバイト文字のロードエラー

CHARデータ型を持つ列は、シングルバイトのUTF-8文字のみを受け入れます。バイト値であれば127まで、またヘキサであれば7Fまで。 VARCHARデータ型を持つ列は、最大4バイトまでのマルチバイト文字を受け入れます。詳細については、Character typesをご参照ください。

ロードデータの行に無効である文字が含まれている場合、COPYコマンドはエラーを返し、エラー番号1220とSTL_LOAD_ERRORSシステムログテーブルの行をログとして記録します。ERR_REASONフィールドは無効なバイト文字列を含めています。

以下はCOPYコマンドがCHAR列にUTF-8文字列e0 a1 c7a4をロードしようとした時のエラーです。

Multibyte character not supported for CHAR 
(Hint: Try using  VARCHAR). Invalid char: e0 a1 c7a4

エラーがVARCHARデータ型に関連しているものの場合、エラーの理由にはエラーコードと同様に、無効となったUTF-8のヘキサシーケンス文字列を含みます。以下の例は、COPYがVARCHARフィールドにUTF-8 a4をロードしようとした時のエラーです。

String contains invalid or unsupported UTF-8 codepoints. 
Bad UTF-8 hex sequence: a4 (error 3)

以下の表は、VARCHARのロードエラーの説明及び推奨される回避策です。これらのいずれかのエラーが発生した場合、有効なUTF-8コードシーケンスで文字列を置き換えるか、文字を削除します。

ロードエラーリファレンス

ファイルからのロード実行中にエラーが発生した場合、エラーを特定し可能性のある説明を探しだす為にSTL_LOAD_ERRORSテーブルを照会します。以下の表は、データのロード中に発生する可能性のある全てのエラーコードを示しています。