Cloud DLP で半角カタカナや難読苗字は検出できる？〜カスタム辞書の登録方法を添えて〜

#Google Cloud (GCP)

みかみ

2021.06.08

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは、みかみです。

やりたいこと

Cloud DLP で人名をマスキングしたい
指定する検出タイプ（infoType）によって結果が変わるのか知りたい
人名が漢字・ひらがな・カタカナ・半角カタカナでも検出できるか確認したい
人名に見えないような難読苗字も検出できるのか確認したい
検出にカスタム辞書を利用するにはどうすればいいか知りたい

はじめに

本エントリでは、Python クライアントライブラリ経由で DLP API をコールして、人名の検出可否を確認します。 DLP API は有効化済みで、python 実行環境は準備済みの想定です（検証時は Cloud Shell を使用しました。

また、動作確認に使用している人名は実在の人物とは一切関係ございません。

人名の検出タイプ

Cloud DLP では機密情報検出時にデータの検出タイプ（infoType）を指定しますが、人名関連のタイプは以下があります。

PERSON_NAME：人名
FIRST_NAME：名
LAST_NAME：姓
MALE_NAME：一般的な男性の名前
FEMALE_NAME：一般的な女性の名前

infoType 検出器リファレンス｜ Cloud Data Loss Prevention ドキュメント

それぞれのタイプで、検出対象の文字列は変わるのでしょうか？また、すべてのタイプで、漢字・ひらがな・カタカナ・半角カタカナの日本語に対応しているのでしょうか？

漢字・ひらがな・カタカナ・半角カタカナの人名が検出できるか確認

以下の python コードで、漢字・ひらがな・カタカナ・半角カタカナそれぞれの人名がマスキングできるか確認してみます。

import google.cloud.dlp
from google.cloud.dlp import CharsToIgnore
import argparse

def deidentify(project, input_str, info_types, masking_character='*', number_to_mask=0, ignore_commpn=None):
    dlp = google.cloud.dlp_v2.DlpServiceClient()
    parent = f"projects/{project}"
    item = {"value": input_str}

    inspect_config = {"info_types": [{"name": info_type} for info_type in info_types]}
    deidentify_config = {
        "info_type_transformations": {
            "transformations": [
                {
                    "primitive_transformation": {
                        "character_mask_config": {
                            "masking_character": masking_character,
                            "number_to_mask": number_to_mask,
                            "characters_to_ignore":[{
                                "common_characters_to_ignore": ignore_commpn
                            }]
                        }
                    }
                }
            ]
        }
    }

    response = dlp.deidentify_content(
        request={
            "parent": parent,
            "deidentify_config": deidentify_config,
            "inspect_config": inspect_config,
            "item": item,
        }
    )
    return response.item.value

project = 'cm-da-mikami-yuki-258308'

str_org = '上杉達也と上杉和也は双子で、お隣の浅倉南ちゃんと仲良し。'

parser = argparse.ArgumentParser()
parser.add_argument('-t', '--types', required=True, help='info_types(Separated by commas for multiple)')
args = parser.parse_args()
types = args.types.split(',')

str_masked = deidentify(project, str_org, types)
print(str_masked)

以下の漢字の人名が含まれた文字列を指定して、DLP API に渡します。

上杉達也と上杉和也は双子で、お隣の浅倉南ちゃんと仲良し。

検出タイプは前述の人名に関する5種類の infoType を実行引数で指定します。

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t PERSON_NAME
*********は双子で、お隣の***ちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t LAST_NAME
**達也と**和也は双子で、お隣の**南ちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FIRST_NAME
上杉***上杉**は双子で、お隣の浅倉*ちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t MALE_NAME
上杉***上杉**は双子で、お隣の浅倉*ちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FEMALE_NAME
上杉***上杉**は双子で、お隣の浅倉*ちゃんと仲良し。

一部、人名をつなぐ格助詞「と」もマスキングされてしまいましたが、PERSON_NAME、LAST_NAME、FIRST_NAME タイプで漢字の人名を指定した場合、それぞれ期待する部位の人名がマスキングできました。

MALE_NAME と FEMALE_NAME の指定では、日本語では（？）残念ながら男性・女性の判断まではできませんでしたが、FIRST_NAME を指定した場合同様、姓名の「名」の部分がマスキングできました。

続いて、人名部分をひらがな・カタカナ・半角カタカナに変更してそれぞれ同様に実行してみます。

ひらがな：うえすぎたつやとうえすぎかずやは双子で、お隣のあさくらみなみちゃんと仲良し。

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t PERSON_NAME
*******と*******は双子で、****さくらみなみちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t LAST_NAME
****たつやと****かずやは双子で、**のあさくらみなみちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FIRST_NAME
うえすぎ***とうえすぎ***は双子で、お隣**さくらみなみちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t MALE_NAME
うえすぎ***とうえすぎ***は双子で、お隣**さくらみなみちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FEMALE_NAME
うえすぎ***とうえすぎ***は双子で、お隣**さくらみなみちゃんと仲良し。

カタカナ：ウエスギタツヤとウエスギカズヤは双子で、お隣のアサクラミナミちゃんと仲良し。

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t PERSON_NAME
*******と*******は双子で、お隣のアサクラミナミちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t LAST_NAME
****タツヤと****カズヤは双子で、お隣のアサクラミナミちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FIRST_NAME
ウエスギ***とウエスギ***は双子で、お隣のアサクラミナミちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t MALE_NAME
ウエスギ***とウエスギ***は双子で、お隣のアサクラミナミちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FEMALE_NAME
ウエスギ***とウエスギ***は双子で、お隣のアサクラミナミちゃんと仲良し。

半角カタカナ：ｳｴｽｷﾞﾀﾂﾔとｳｴｽｷﾞｶｽﾞﾔは双子で、お隣のｱｻｸﾗﾐﾅﾐちゃんと仲良し。

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t PERSON_NAME
********と*********は双子で、お隣のｱｻｸﾗﾐﾅﾐちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t LAST_NAME
*****ﾀﾂﾔと*****ｶｽﾞﾔは双子で、お隣のｱｻｸﾗﾐﾅﾐちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FIRST_NAME
ｳｴｽｷﾞ***とｳｴｽｷﾞ****は双子で、お隣のｱｻｸﾗﾐﾅﾐちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t MALE_NAME
ｳｴｽｷﾞ***とｳｴｽｷﾞ****は双子で、お隣のｱｻｸﾗﾐﾅﾐちゃんと仲良し。
mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t FEMALE_NAME
ｳｴｽｷﾞ***とｳｴｽｷﾞ****は双子で、お隣のｱｻｸﾗﾐﾅﾐちゃんと仲良し。

漢字の場合は人名は期待通り検出できたのですが、ひらがなやカタカナでは検出されない人名も見られました。

また、ひらがなで FIRST_NAME や MALE_NAME、FEMALE_NAME の検出タイプを指定した場合に、人名ではない文中の文字列（「のあ」）が人名とみなされマスキングされることもありました（確かに、単独で見ると女性の名前としてもおかしくない文字列なのでなるほどです。

なお、全角カタカナで検出できた人名は、半角カタカナでも問題なく検出できました（すてきですv

難読苗字は検出できる？

では、一見人名と判断できないような難読苗字を DLP API で検出することはできるのでしょうか？

以下のサイトから、沖縄県と北海道に多い難読苗字を抜粋させていただきました。

検出タイプに PERSON_NAME を指定して、難読が含まれる文字列を指定してマスキングしてみます。

マスキング対象文字列として、まずは以下の、沖縄県に多い難読苗字を渡してみます。

沖縄県に多い難読苗字：洲鎌（すがま）、山入端（やまのは）、我如古（がねこ）、饒平名（よへな）、喜屋武（きゃん）、仲村渠（なかんだかり）、大工廻（たくえ）、眞境名（まじきな）、兼箇段（かねかだん）、後浜門（くしはま）、前伊礼門（まえいれいじょう）

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t PERSON_NAME
沖縄県に多い難読苗字：**（すがま）、***（やまのは）、***（がねこ）、***（よへな）、***（きゃん）、***（なかんだかり）、大工廻（たくえ）、眞境名（まじきな）、兼箇段（かねかだん）、後**（くしはま）、***門（まえいれいじょう）

難読ではない人名は漢字であればほぼ 100% マスキングできましたが、やはり難読苗字の場合は検出不可や一部の漢字のみしか検出不可の人名がありました。ひらがなにいたってはやはり検出は難しいようです。

続いて以下の、北海道に多い難読苗字で確認してみます。

北海道に多い難読苗字：馬酔木（あせび）、罟谷（あみや）、行町（あるきまち）、撰藻（えりも）、眠目（さっか）、醜茶（しこちゃ）、射号津（しゃごつ）、千僧供（せんぞく）、九十三（つくみ）、徹辺（てしべ）、部田（とりた）、根符（ねっぷ）、子出藤（ねでふじ）、就鳥（ひよどり）

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask.py -t PERSON_NAME
北海道に多い難読苗字：馬酔木（あせび）、罟谷（あみや）、行町（あるきまち）、撰藻（えりも）、眠目（さっか）、醜茶（しこちゃ）、射号津（しゃごつ）、千僧供（せんぞく）、九十三（つくみ ）、徹辺（てしべ）、部田（とりた）、根符（ねっぷ）、子出藤（ねでふじ）、就鳥（ひよどり）

残念ながら、14件中1件も検出できませんでした。。人間の目で見ても苗字と判断するには難しい漢字ばかりなので、しょうがないですね。。。

カスタム辞書登録で人名を検出

では、難読苗字のように検出できない人名をマスキングするにはどうすればいいのでしょうか？

Cloud DLPでは、定義済みの infoType で検出できない文字列を検出するために、辞書登録や正規表現指定によるカスタム検出タイプを指定することができます。

カスタム infoType 検出器の作成｜ Cloud Data Loss Prevention ドキュメント

先ほど検出できなかった難読苗字をカスタム辞書登録して、マスキングできるか確認してみます。

以下の Python コードを準備しました。

import google.cloud.dlp
from google.cloud.dlp import CharsToIgnore

def deidentify(project, input_str, masking_character='*', number_to_mask=0, ignore_commpn=None):
    dlp = google.cloud.dlp_v2.DlpServiceClient()
    parent = f"projects/{project}"
    item = {"value": input_str}

    custom_info_types = [
        {
            "info_type": {"name": "PERSON_NANDOKU"},
            "dictionary": {
                "word_list": {
                    "words": [
                        "前伊礼門",
                        "まえいれいじょう",
                        "馬酔木",
                        "あせび",
                    ]
                },
            }
        }
    ]
    inspect_config = {
        "custom_info_types": custom_info_types,
    }

    deidentify_config = {
        "info_type_transformations": {
            "transformations": [
                {
                    "primitive_transformation": {
                        "character_mask_config": {
                            "masking_character": masking_character,
                            "number_to_mask": number_to_mask,
                            "characters_to_ignore":[{
                                "common_characters_to_ignore": ignore_commpn
                            }]
                        }
                    }
                }
            ]
        }
    }

    response = dlp.deidentify_content(
        request={
            "parent": parent,
            "deidentify_config": deidentify_config,
            "inspect_config": inspect_config,
            "item": item,
        }
    )
    return response.item.value

project = 'cm-da-mikami-yuki-258308'
str_org = '沖縄県に多い難読苗字：前伊礼門（まえいれいじょう）/ 北海道に多い難読苗字：馬酔木（あせび）'

str_masked = deidentify(project, str_org)
print(str_masked)

inspect_config の custom_info_types で、検出したい人名のリストを dictionary に指定しました。

PERSON_NAME タイプ指定では検出できなかった以下の人名入りの文字列をマスキングしてみます。

沖縄県に多い難読苗字：前伊礼門（まえいれいじょう）/ 北海道に多い難読苗字：馬酔木（あせび）</code>

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask_dict.py
沖縄県に多い難読苗字：****（********）/ 北海道に多い難読苗字：***（***）

期待通り、辞書登録した難読苗字をマスキングすることができました！

GCS の辞書ファイルで検出

カスタム辞書で指定した人名が検出できることは確認できましたが、コード内に固定で対象文字列を指定してしまうと、検出対象を追加したくなった場合などの管理が難しくなります。

そんな時には、Cloud DLP では、GCS や BigQuery に別途保存したカスタム辞書を指定して検出することができます。

標準のカスタム辞書検出器の作成｜ Cloud Data Loss Prevention ドキュメント

北海道に多い難読苗字を改行区切りで記載した、以下のテキストファイルを GCS にアップロードしました。

馬酔木
あせび
罟谷
あみや
行町
あるきまち
撰藻
えりも
眠目
さっか
醜茶
しこちゃ
射号津
しゃごつ
千僧供
せんぞく
九十三
つくみ
徹辺
てしべ
部田
とりた
根符
ねっぷ
子出藤
ねでふじ
就鳥
ひよどり

また、Python コードでは、検出対象文字列を直接指定するのではなく、アップロードした辞書ファイルのパスを指定するように修正しました。

CloudStoragePath ｜ Python Client for Cloud Data Loss Prevention (DLP) API

（省略）
def deidentify(project, input_str, masking_character='*', number_to_mask=0, ignore_commpn=None):
（省略）
    custom_info_types = [
        {
            "info_type": {"name": "PERSON_NANDOKU"},
            "dictionary": {
                "cloud_storage_path": {
                    "path": "gs://test-mikami/DLP/dlp_dict.txt"
                },
            }
        }
    ]
    inspect_config = {
        "custom_info_types": custom_info_types,
    }
（省略）

PERSON_NAME タイプ指定で14件中1件も検出できなかった以下の難読苗字を含む文字列を指定して、マスキングを実行してみます。

北海道に多い難読苗字：馬酔木（あせび）、罟谷（あみや）、行町（あるきまち）、撰藻（えりも）、眠目（さっか）、醜茶（しこちゃ）、射号津（しゃごつ）、千僧供（せんぞく）、九十三（つくみ）、徹辺（てしべ）、部田（とりた）、根符（ねっぷ）、子出藤（ねでふじ）、就鳥（ひよどり）

mikami_yuki@cloudshell:~/sample (cm-da-mikami-yuki-258308)$ python3 dlp_mask_dict.py
北海道に多い難読苗字：***（***）、**（***）、**（*****）、**（***）、**（***）、**（****）、***（****）、***（****）、***（***）、**（***）、**（***）、**（***）、***（****）、**（****）

見事、全ての難読苗字をマスキングすることができました！

まとめ（所感）

いやー、日本語ってほんと難しいですねw

漢字・ひらがな・カタカナ（さらに 3byte 文字になる半角カタカナもあり）、とバリエーションも多く、人名となると地名に由来する物も多く、さらに検出が難しくなるのではないかと思います。翻訳や読み上げ、今回検証した検出などの言語系サービスで日本語非対応と言われても「しょうがないか」と思うところですが、日本語にも対応している Cloud DLP はありがたい限りです！

さらに、カスタム辞書の登録方法が思ったよりも簡単だったことに驚きました！

改行区切りのテキストファイルを GCS にアップロードするだけで辞書登録できるので、メンテナンスや運用にかかる負荷がだいぶ軽減できるのではないかと思います。今回は手作業で辞書ファイルを作成しましたが、既存の辞書に未登録の機密情報を検索して辞書を更新するプログラムなどを組んでおけば、メンテナンス含めて自動化することができるので、非常に使いやすいサービスだと思いました。

最後に、一番思うところとしては、

日本語サポートしてくれて、どうもありがとうございます！＞＜v

Cloud DLP で半角カタカナや難読苗字は検出できる？〜カスタム辞書の登録方法を添えて〜

やりたいこと

はじめに

人名の検出タイプ

漢字・ひらがな・カタカナ・半角カタカナの人名が検出できるか確認

難読苗字は検出できる？

カスタム辞書登録で人名を検出

GCS の辞書ファイルで検出

まとめ（所感）

参考

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜

やりたいこと

はじめに

人名の検出タイプ

漢字・ひらがな・カタカナ・半角カタカナの人名が検出できるか確認

難読苗字は検出できる？

カスタム辞書登録で人名を検出

GCS の辞書ファイルで検出

まとめ（所感）

参考

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜AWS / システムアーキテクト案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制 はじめの一歩

関連記事

Google Cloud Next ’24 の振り返り勉強会で AI を支える裏側の機能について話しました #GoogleCloudNext

クラスメソッドGoogle Cloud Next ’24ふり返り勉強会 に「Vertex AI を中心に生成AIのアップデートを共有します」というタイトルで登壇しました

[初心者向け]Dataformを動かしてみた

Google Cloud Next ’24 Recap 技術と筋肉を融合したセッションで登壇してきました！（in 日比谷オフィス）

Cloud DLP で半角カタカナや難読苗字は検出できる？〜カスタム辞書の登録方法を添えて〜

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

クラスメソッドGoogle Cloud Next ’24ふり返り勉強会に「Vertex AI を中心に生成AIのアップデートを共有します」というタイトルで登壇しました