【新機能】Databricks Data Classificationが一般提供となったので試してみた

-- 個人情報を含むテスト用テーブルを作成
CREATE OR REPLACE TABLE workspace.default.sample_customers (
    customer_id INT,
    full_name STRING,
    email STRING,
    phone_number STRING,
    address STRING,
    credit_card_number STRING,
    ssn STRING,
    date_of_birth DATE,
    annual_income DECIMAL(12, 2),
    notes STRING
);

-- テストデータを挿入
INSERT INTO workspace.default.sample_customers VALUES
    (1, 'Taro Yamada', 'taro.yamada@example.com', '090-1234-5678', '東京都千代田区丸の内1-1-1', '4111111111111111', '123-45-6789', '1990-01-15', 5000000.00, '通常顧客'),
    (2, 'Hanako Suzuki', 'hanako.suzuki@example.com', '080-9876-5432', '大阪府大阪市北区梅田2-2-2', '5500000000000004', '987-65-4321', '1985-06-20', 7500000.00, 'VIP顧客'),
    (3, 'Jiro Tanaka', 'jiro.tanaka@example.com', '070-1111-2222', '愛知県名古屋市中区栄3-3-3', '340000000000009', '456-78-9012', '1978-11-30', 10000000.00, '法人担当'),
    (4, 'Yuki Sato', 'yuki.sato@example.com', '090-3333-4444', '福岡県福岡市博多区博多駅前4-4-4', '6011111111111117', '321-54-9876', '1995-03-10', 3500000.00, '新規顧客'),
    (5, 'Kenji Watanabe', 'kenji.watanabe@example.com', '080-5555-6666', '北海道札幌市中央区大通5-5-5', '3530111333300000', '654-32-1098', '1982-09-25', 6000000.00, '長期顧客');

-- 機密情報を含まない比較用テーブルも作成
CREATE OR REPLACE TABLE workspace.default.sample_products (
    product_id INT,
    product_name STRING,
    category STRING,
    price DECIMAL(10, 2),
    stock_quantity INT
);

INSERT INTO workspace.default.sample_products VALUES
    (1, 'ノートPC', '電子機器', 120000.00, 50),
    (2, 'ワイヤレスマウス', '周辺機器', 3500.00, 200),
    (3, 'USBケーブル', 'アクセサリ', 800.00, 500);

-- 分類結果を確認（分類されたかどうかの確認に最適）
SELECT
    catalog_name,
    schema_name,
    table_name,
    column_name,
    class_tag,
    confidence,
    frequency,
    samples
FROM system.data_classification.results
WHERE catalog_name = 'workspace'
  AND schema_name = 'default'
  AND table_name = 'sample_customers'
ORDER BY column_name, class_tag;

-- カラムに適用されたタグを確認（Auto-tagging が列へ実際に反映されたかの確認）
SELECT
    catalog_name,
    schema_name,
    table_name,
    column_name,
    tag_name,
    tag_value
FROM system.information_schema.column_tags
WHERE catalog_name = 'workspace'
  AND schema_name = 'default'
  AND table_name = 'sample_customers';

-- マスキング用の関数を作成
CREATE OR REPLACE FUNCTION workspace.default.mask_pii(value STRING)
RETURNS STRING
RETURN CASE
    WHEN is_account_group_member('data_admin') THEN value
    ELSE '***MASKED***'
END;

-- クレジットカード番号カラムにマスキングを適用
ALTER TABLE workspace.default.sample_customers
ALTER COLUMN credit_card_number
SET MASK workspace.default.mask_pii;

-- SSN カラムにもマスキングを適用
ALTER TABLE workspace.default.sample_customers
ALTER COLUMN ssn
SET MASK workspace.default.mask_pii;

-- マスキング用の関数を作成
CREATE OR REPLACE FUNCTION workspace.default.mask_classified_pii(value STRING)
RETURNS STRING
RETURN CASE
    WHEN is_account_group_member('data_admin') THEN value
    ELSE '***MASKED***'
END;

-- タグベースの ABAC ポリシーを作成（例: class.location タグが付いたカラムをマスク）
CREATE POLICY mask_classified_pii
ON SCHEMA workspace.default
COMMENT 'Mask columns classified as email addresses'
COLUMN MASK workspace.default.mask_classified_pii
TO `account users`
FOR TABLES
MATCH COLUMNS has_tag('class.location') AS c
ON COLUMN c;

SELECT
    customer_id,
    full_name,
    address,
    credit_card_number,
    ssn
FROM workspace.default.sample_customers;

-- Data Classification に関連するコストを確認
SELECT
    usage_date,
    workspace_id,
    identity_metadata.created_by,
    usage_metadata.catalog_id,
    usage_unit,
    SUM(usage_quantity) AS usage_quantity
FROM system.billing.usage
WHERE usage_date >= DATE_SUB(CURRENT_DATE(), 30)
  AND billing_origin_product = 'DATA_CLASSIFICATION'
GROUP BY
    usage_date,
    workspace_id,
    identity_metadata.created_by,
    usage_metadata.catalog_id,
    usage_unit
ORDER BY usage_date DESC;