[Amazon Bedrock] Claude Sonnet 4.5で圧力計の針を読み取る 〜YOLOセグメンテーションによる前処理で精度向上〜

この圧力計を読み取ってください。

あなたは圧力計の画像から正確な数値を読み取る専門家です。画像を慎重に観察して、針の位置を正確に読み取ってください。

あなたは圧力計の画像から正確な数値を読み取る専門家です。画像を慎重に観察して、針の位置を正確に読み取ってください。

## 【重要】針の特定方法と注意事項

### 針の物理的特徴
この圧力計には **ゲージの中心から放射状に伸びる細長い針** が1本あります。
- 針は **細く、直線的で、一端がゲージの中心に固定されています**
- 針は **中心から外側に向かって** 放射状に伸びています
- 針の長さは **ゲージの円の半径程度** です
- 針の色は **黒または濃い灰色** です
- 針は **1本だけ** 存在します
- 針には明確な **先端（外側の端）** があり、その先端が圧力値を示す目盛りを指しています

### 針ではないものに注意
画像内には針以外の要素があります。これらを針と間違えないでください。
- **JISロゴ**: ゲージ下部の円形のロゴマークは針ではありません
- **文字やブランド名**: "PRESSURE"、"JQA"などの文字は針ではありません
- **ネジやボルト**: ゲージ面にある固定用のネジは針ではありません
- **影**: 針の影は針ではありません

### 針を特定する手順
1. ゲージの **幾何学的な中心点**（円の中央）を見つけてください
2. その中心点から **放射状に伸びる細長い線** を探してください
3. その線が **目盛りの方向を向いている** ことを確認してください
4. その線の **外側の先端** が指している位置を読み取ってください

あなたは圧力計の画像から正確な数値を読み取る専門家です。画像を慎重に観察して、針の位置を正確に読み取ってください。
圧力計の針は、赤色です。

あなたは圧力計の画像から正確な数値を読み取る専門家です。画像を非常に慎重に観察して、針の位置を正確に読み取ってください。

## 圧力計の構造
この圧力計は円形のアナログゲージです。
- **測定範囲**: 0〜1.0 MPa
- **目盛りの配置**: 円周上に時計回りに配置
  - 左下が 0 MPa（約7時の位置）
  - 上部が 0.4〜0.6 MPa（11時〜1時の位置）
  - 右下が 1.0 MPa（約5時の位置）
- **主目盛り**: 0, 0.2, 0.4, 0.6, 0.8, 1.0（0.2刻み、数字が表示されている）
- **小目盛り**: 各主目盛り間に10個の小目盛り（1小目盛り = 0.02 MPa）

## 針の特定方法
圧力計には **赤色の針** が1本あります。
- 針は **ゲージの中心から放射状に伸びる細長い線** です
- **針の先端には小さな赤色の三角形マーカー** が描画されています
- この三角形マーカーが指している方向が **針の先端** です
- 針の先端（三角形マーカーがある側）が圧力値を示しています

## 読み取り手順
1. ゲージの中心から放射状に伸びる **赤い針** を特定する
2. **針の先端にある小さな赤色の三角形マーカー** を見つける
3. 三角形マーカーが時計の何時の方向を指しているか確認する
4. その方向に対応する圧力値の範囲を特定する
5. 針の先端（三角形マーカーの位置）が指す目盛りを読み取る

git clone https://github.com/furuya02/aws-pressure-gauge-reader
cd aws-pressure-gauge-reader

cd cdk
npm install
npx cdk bootstrap  # 初回のみ
npx cdk deploy

cd scripts
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
python test.py ../sample_images/0001.png

[YOLO処理] 針検出成功: 1個の針を検出しました

[LLM解析結果]
--------------------------------------------------------------------------------
この圧力計の針は **約0.05 MPa** を指しています。

針は0と0.2の間の、0に近い位置を示しており、目盛りから判断すると
**0.05 MPa前後** の値を示していると読み取れます。
--------------------------------------------------------------------------------

[INFO] 前処理済み画像を保存中: output/0001_processed.png
[SUCCESS] テストが完了しました

# グローバル変数でモデルとクライアントをキャッシュ
processor = None
bedrock_client = None

def initialize_processor():
    global processor
    if processor is None:
        processor = YOLOProcessor(model_path='/opt/ml/model/best.pt')
        processor.load_model()
    return processor

def initialize_bedrock_client():
    global bedrock_client
    if bedrock_client is None:
        bedrock_client = boto3.client('bedrock-runtime', region_name='us-east-1')
    return bedrock_client

import json
import base64
import os
import boto3
from yolo_processor import YOLOProcessor

# グローバル変数（コールドスタート対策）
processor = None
bedrock_client = None

def lambda_handler(event, context):
    """
    Lambda関数のエントリーポイント
    """
    # 初期化
    global processor, bedrock_client
    if processor is None:
        processor = YOLOProcessor(
            model_path=os.environ.get('MODEL_PATH', '/opt/ml/model/best.pt'),
            conf_threshold=float(os.environ.get('CONF_THRESHOLD', '0.65')),
            iou_threshold=float(os.environ.get('IOU_THRESHOLD', '0.5'))
        )
        processor.load_model()

    if bedrock_client is None:
        bedrock_client = boto3.client(
            'bedrock-runtime',
            region_name=os.environ.get('BEDROCK_REGION', 'us-east-1')
        )

    # リクエストの解析
    body = json.loads(event.get('body', '{}'))
    image_base64 = body.get('image')
    user_prompt = body.get('userPrompt', 'この圧力計を読み取ってください。')
    system_prompt = body.get('systemPrompt', '圧力計の画像から正確な数値を読み取る専門家です。')
    preprocess_image = body.get('preprocessImage', True)

    # 画像をデコード
    image_bytes = base64.b64decode(image_base64)
    image = cv2.imdecode(np.frombuffer(image_bytes, np.uint8), cv2.IMREAD_COLOR)

    # YOLO前処理（オプション）
    yolo_message = "前処理スキップ"
    if preprocess_image:
        processed_image, needle_count = processor.process_image(image, mode='triangle')
        yolo_message = f"針検出成功: {needle_count}個の針を検出しました"
        # 前処理済み画像をBase64エンコード
        _, buffer = cv2.imencode('.png', processed_image)
        processed_image_base64 = base64.b64encode(buffer).decode('utf-8')
    else:
        processed_image_base64 = image_base64

    # Bedrock LLM呼び出し
    llm_response = invoke_bedrock_llm(
        bedrock_client,
        processed_image_base64,
        user_prompt,
        system_prompt
    )

    # レスポンス作成
    return {
        'statusCode': 200,
        'body': json.dumps({
            'llmResponse': llm_response,
            'processedImage': processed_image_base64,
            'yoloMessage': yolo_message
        })
    }

def invoke_bedrock_llm(client, image_base64, user_prompt, system_prompt):
    """
    Bedrock LLMを呼び出す
    """
    response = client.invoke_model(
        modelId='us.anthropic.claude-sonnet-4-5-20250929-v1:0',
        body=json.dumps({
            'anthropic_version': 'bedrock-2023-05-31',
            'max_tokens': 1024,
            'system': system_prompt,
            'messages': [
                {
                    'role': 'user',
                    'content': [
                        {
                            'type': 'image',
                            'source': {
                                'type': 'base64',
                                'media_type': 'image/png',
                                'data': image_base64
                            }
                        },
                        {
                            'type': 'text',
                            'text': user_prompt
                        }
                    ]
                }
            ]
        })
    )

    result = json.loads(response['body'].read())
    return result['content'][0]['text']

import * as cdk from 'aws-cdk-lib';
import * as lambda from 'aws-cdk-lib/aws-lambda';
import * as iam from 'aws-cdk-lib/aws-iam';
import { DockerImageCode, DockerImageFunction } from 'aws-cdk-lib/aws-lambda';
import * as path from 'path';

export class PressureGaugeStack extends cdk.Stack {
  constructor(scope: cdk.App, id: string, props?: cdk.StackProps) {
    super(scope, id, props);

    // Lambda関数の作成（コンテナイメージ）
    const gaugeDetectionFunction = new DockerImageFunction(this, 'GaugeDetectionFunction', {
      functionName: 'pressure-gauge-detection',
      code: DockerImageCode.fromImageAsset(path.join(__dirname, '../lambda')),
      memorySize: 3008,  // 3GB
      timeout: cdk.Duration.seconds(120),
      environment: {
        MODEL_PATH: '/opt/ml/model/best.pt',
        BEDROCK_REGION: 'us-east-1',
        CONF_THRESHOLD: '0.65',
        IOU_THRESHOLD: '0.5',
      },
    });

    // Bedrock呼び出し権限を追加
    gaugeDetectionFunction.addToRolePolicy(new iam.PolicyStatement({
      effect: iam.Effect.ALLOW,
      actions: ['bedrock:InvokeModel'],
      resources: ['arn:aws:bedrock:*::foundation-model/*anthropic.claude-sonnet-4-5-*'],
    }));
  }
}