SnowflakeでAI_COMPLETE関数を用いて画像ファイルを構造化データに変換してみた

-- 自分のデータベース・スキーマを作成
CREATE DATABASE IF NOT EXISTS COMPLETE;
CREATE SCHEMA IF NOT EXISTS COMPLETE.test;

-- 今回使用する画像・動画を格納するステージを作成
CREATE OR REPLACE STAGE frames_stage
    ENCRYPTION = (TYPE = 'SNOWFLAKE_SSE')
    DIRECTORY = (ENABLE = TRUE);

-- 米国など他リージョンのモデル利用を許可する
ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'AWS_US';

SELECT SNOWFLAKE.CORTEX.COMPLETE('claude-3-5-sonnet',
    'この画像に描かれているキャラクターの特徴（種類、色、表情）をJSON形式で抽出してください。',
    TO_FILE('@frames_stage', 'くらにゃん1.png'));

{
    "character": {
        "type": "猫",
        "colors": {
            "main": ["白", "黄色", "黒"],
            "accent": {
                "耳": "ピンク",
                "頬": "ピンク",
                "首輪": "黄色",
                "リボン": "青と紫のグラデーション"
            }
        },
        "expression": {
            "mouth": "笑顔",
            "eyes": "黒い丸い目",
            "overall_mood": "明るく元気な様子"
        },
        "style": "シンプルな線画のかわいいイラスト"
    }
}

CREATE OR REPLACE TABLE cm_1 AS
SELECT SNOWFLAKE.CORTEX.COMPLETE('claude-3-5-sonnet',
    'この画像に描かれているキャラクターの特徴（種類、色、表情）をJSON形式で抽出してください。',
    TO_FILE('@frames_stage', 'くらにゃん1.png'))AS analysis_json_raw;

SELECT
    -- まずJSONとしてパース
    TRY_PARSE_JSON(analysis_json_raw) AS json,

    -- 基本情報の抽出
    json:character.type::STRING AS char_type,           -- 結果: 猫
    json:character.style::STRING AS char_style,         -- 結果: シンプルな線画のかわいいイラスト

    -- 表情（expression）の抽出
    json:character.expression.mouth::STRING AS mouth,   -- 結果: 笑顔
    json:character.expression.overall_mood::STRING AS mood, -- 結果: 明るく元気な様子

    -- リボン,耳
    json:character.colors.accent."リボン"::STRING AS ribbon_color, -- 結果: 青と紫のグラデーション
    json:character.colors.accent."耳"::STRING AS ear_color,       -- 結果: ピンク

    -- main
    json:character.colors.main::ARRAY AS main_colors_list

FROM 
    cm_1;

CREATE OR REPLACE TABLE cm_2 AS
SELECT
    -- 結果がどの画像のファイルか分かるようにパスを表示
    relative_path AS file_name,   
    -- Cortex Complete関数の実行
    SNOWFLAKE.CORTEX.COMPLETE(
        'claude-3-5-sonnet',
        'この画像に描かれているキャラクターの特徴（char_type、char_style、mouth,mood,ribbon_color,ear_color,main_colors_list）をキーとしてJSON形式で抽出してください。',
        TO_FILE('@frames_stage', relative_path) -- ここで動的にファイルパスを渡す
    ) AS extraction_result
FROM 
    DIRECTORY(@frames_stage)
WHERE 
    -- 必要に応じて拡張子でフィルタリング（例: PNGのみ）
    relative_path LIKE '%.png';

SELECT
    -- まずJSONとしてパース
    TRY_PARSE_JSON(extraction_result) AS json,

    -- 基本情報の抽出
    json:char_type::STRING AS char_type,           -- 結果: 猫
    json:char_style::STRING AS char_style,         -- 結果: シンプルな線画のかわいいイラスト

    -- 表情（expression）の抽出
    json:mouth::STRING AS mouth,   -- 結果: 笑顔
    json:mood::STRING AS mood, -- 結果: 明るく元気な様子

    -- リボン,耳
    json:ribbon_color::STRING AS ribbon_color, -- 結果: 青と紫のグラデーション
    json:ear_color::STRING AS ear_color,       -- 結果: ピンク

    -- main
    json:main_colors_list::ARRAY AS main_colors_list

FROM 
    cm_2;