[新機能]AI_ AGGおよびAI_ SUMMARIZE_ AGG関数が一般提供となったので試してみた

import pandas as pd

# 正しいファイルパスを指定します
input_file = '指定のファイルパス'

# 分割する行数
chunk_size = 100000

# ファイルを分割して保存
for i, chunk in enumerate(pd.read_csv(input_file, chunksize=chunk_size)):
    chunk.to_csv(f'output_{i+1}.csv', index=False)

print("ファイルの分割が完了しました。")

-- スキーマの作成
CREATE SCHEMA IF NOT EXISTS steam_schema;
-- テーブルの作成
CREATE OR REPLACE TABLE steam_reviews (
    review TEXT,
    hours_played VARCHAR(16777216),
    helpful VARCHAR(16777216),
    funny VARCHAR(16777216),
    recommendation VARCHAR(16777216),
    review_date VARCHAR(16777216),
    game_name VARCHAR(16777216),
    username VARCHAR(16777216)
);

-- バルクロード
COPY INTO steam_reviews
FROM (
    SELECT
        $1,    -- review
        $2,    -- hours_played
        $3,    -- helpful
        $4,    -- funny
        $5,    -- recommendation
        $6,    -- review_date
        $7,    -- game_name
        $8     -- username
    FROM @KAWABATA_MART_DB.STEAM_SCHEMA.test -- ご自身のステージ名に置き換えてください
)
FILE_FORMAT = (
    TYPE = 'CSV',
    SKIP_HEADER = 1,
    FIELD_DELIMITER = ',',
    FIELD_OPTIONALLY_ENCLOSED_BY = '"'
);

WITH test AS (
  SELECT *
  FROM steam_reviews
  LIMIT 100
)
SELECT
  recommendation,
  COUNT(*) AS review_cnt,
  AI_SUMMARIZE_AGG(review) AS summary
FROM test
GROUP BY recommendation
ORDER BY review_cnt DESC;

WITH test AS (
  SELECT *
  FROM steam_reviews
  LIMIT 100
)
SELECT
  game_name,
  AI_AGG(
    review,
    'You are summarizing Steam reviews. Output in Japanese. '
    || 'Return: 1) Top praised points (bullet list, up to 5), '
    || '2) Top complaints (bullet list, up to 5), '
    || '3) One-sentence overall verdict.'
  ) AS structured_summary
FROM test
GROUP BY game_name;

1. 
• ステージは多様で、長さも長い
• カスタムチャンピオンシップモードは充実している
• カーコントロールは複雑で、リアルな挙動を再現している
• ダメージモデルは改善されており、リアルな挙動を再現している
• グラフィックスは良好で、特に車のモデルは詳細に再現されている

2. 
• パフォーマンスは不安定で、ラグやフリーズが発生する
• グラフィックスはDR2.0よりも劣っている
• カメラの挙動はDR2.0と同じ問題を抱えており、FOV設定が不十分
• トリプルスクリーンサポートは不十分
• EAのアンチチートシステムは侵入的で、プレイヤーのプライバシーを侵害する

3. EAスポーツWRCは、グラフィックスやパフォーマンスの問題を抱えているものの、カーコントロールやダメージモデルなどの点で改善が見られる。しかし、EAのアンチチートシステムの導入や、グラフィックスの劣化など、問題点も多い。

WITH test AS (
  SELECT *
  FROM steam_reviews
  LIMIT 100
)
SELECT
  game_name,
  AI_AGG(
    review,
    'VRに関するフィードバックのみを要約してください。日本語で出力してください。'
|| '良い点、悪い点、そしてハードウェア要件やパフォーマンス（FPSなど）に関する言及があればそれも含めてください。'
  ) AS vr_summary
FROM test
WHERE review ILIKE '%VR%' OR review ILIKE '%Quest%' OR review ILIKE '%Steam%Deck%' -- DeckはVRではないが周辺話題として任意
GROUP BY game_name;

VRに関するフィードバックを要約します。

良い点：

* VRサポートが追加された（ベータ版）
* レース物理学、トラックコースレイアウト、コンテンツが優れている
* VRサポートは、UEVR mod by PraydogよりもネイティブのVRサポートの方が優れている

悪い点：

* VRサポートは未だにベータ版であり、最適化が必要
* パフォーマンスが不安定で、スタッタリングやラグが発生する
* VRサポートは、トップティアのコンポーネントと設定が必要
* ゲーム音楽があまりにもスリリングではない

ハードウェア要件やパフォーマンスに関する言及：

* VRサポートは、RTX 3080 Tiなどの高性能なグラフィックカードが必要
* パフォーマンスが不安定で、スタッタリングやラグが発生する
* 最適化が必要

その他の言及：

* VRサポートは、PCVRコミュニティがサポートする価値がある
* ゲームはベータ版であり、まだ改善の余地がある