Amazon Athena パースができず空白行になった原因のデータファイルを特定する

石川覚

2017.09.06

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Amazon Athena を利用してファイルをクエリーした時、パースができず空白行になった原因のデータファイルを特定する方法をご紹介します。Apacheのアクセスログのように大量のファイルの中から問題のファイルを特定するのは容易ではありません。

問題のデータ(テキストファイル)

今回は複数ファイルに分かれるアプリケーションログでパースができず空白行になった場合を例に解説します。アプリログは以下の２つのファイルです。

applogs1-20170715.txt

2017-7-15 23:31:42.363 ERROR com.example.app.LogbackSample - expected error:
java.lang.ArrayIndexOutOfBoundsException: 2
at com.example.app.LogbackSample.doSomething(LogbackSample.java:13)
at com.example.app.LogbackSample.main(LogbackSample.java:23)

applogs1-20170716.txt

2017-7-16 18:30:25.178 INFO com.example.app.LogbackSample - --- アプリケーション開始 ---
2017-7-16 18:30:25.187 INFO com.example.app.LogbackSample - --- アプリケーション終了 ---

上記のファイルに対して、テーブル定義します。

CREATE EXTERNAL TABLE IF NOT EXISTS applogs1(
log_ts string,
level string,
class string,
message string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1',
'input.regex' = '(.{21,23}) (TRACE|DEBUG|INFO |WARN |ERROR|FATAL) ([\\s\\w-.]+) - ((?:[^\\n\\r]+)(?:[\\n\\r]{1,2}[^\\n\\r]+)*)'
)
LOCATION 's3://cm-datalake/blog/20170906/'
TBLPROPERTIES ('has_encrypted_data'='false');

RegexSerdeでパースができず空白行が発生

クエリを実行すると以下のように、パース出来なかった行は空白行として表示されます。

20170906-regexserde-parse-error-2

隠しカラム"$path"を利用して問題のファイル名を特定

カラムの最後に"$path"を追加してクエリを実行します。ダブルクオーテーションで括ることを忘れないでください。

20170906-regexserde-parse-error-with-filepath-2

AthenaのクエリエンジンPrestoでは隠しカラム"$path"を指定することで、データソースファイルのパスを出力することができます。

他に隠しカラムはないのか？

早速ソースコードを確認しました。

HiveColumnHandle.java

public class HiveColumnHandle
implements ColumnHandle
{
public static final int PATH_COLUMN_INDEX = -11;
public static final String PATH_COLUMN_NAME = "$path";
public static final HiveType PATH_HIVE_TYPE = HIVE_STRING;
public static final TypeSignature PATH_TYPE_SIGNATURE = PATH_HIVE_TYPE.getTypeSignature();

public static final int BUCKET_COLUMN_INDEX = -12;
public static final String BUCKET_COLUMN_NAME = "$bucket";
public static final HiveType BUCKET_HIVE_TYPE = HIVE_INT;
public static final TypeSignature BUCKET_TYPE_SIGNATURE = BUCKET_HIVE_TYPE.getTypeSignature();

private static final String UPDATE_ROW_ID_COLUMN_NAME = "$shard_row_id";
:
:

"$bucket" と "$shard_row_id"がありましたが、残念ながらともに構文エラーになりました。

20170906-error-for-other-hidden-column