[Amazon Bedrock AgentCore] 画像分析からコンセプト作成・作詞・リップシンク判定まで Claude が自律判断するMV生成エージェントを Strands Agents で作ってみました

aws bedrock-agentcore invoke-agent-runtime
↓
AgentCore Runtime（コンテナ）
  └─ Strands Agent（Claude）
       ├─ [tool 1] download_input_images  → S3 input/ から画像DL
       ├─ [tool 2] generate_mv_concept    → Bedrock converse API（Claude 3 Haiku）でコンセプト生成
       ├─ [tool 3] generate_music_and_lyrics → Claude で作詞
       └─ [tool 4] produce_music_video
             ├─ Bedrock converse API（Claude 3 Haiku）でリップシンク判定（画像ごと）
             ├─ ElevenLabs Music v2 で楽曲生成
             ├─ fal.ai PixVerse v5 で動画生成（カットごと）
             ├─ fal.ai Kling LipSync でリップシンク（対象カットのみ）
             ├─ FFmpeg で連結・音声合成
             └─ S3 output/mv.mp4 にアップロード

from strands import Agent, tool

@tool
def download_input_images() -> str:
    """S3のinput/フォルダから入力画像を全てダウンロードする。
    次のステップ（コンセプト生成・絵コンテ作成）で必要な画像を準備する。
    必ず最初に呼ぶこと。
    """
    print("[tool:start] download_input_images", flush=True)
    tmpdir = Path(tempfile.mkdtemp())
    _session["tmpdir"] = tmpdir
    imgs = _download_prefix(f"s3://{S3_BUCKET}/input/", tmpdir)
    _session["images"] = imgs
    print(f"[tool:done] download_input_images: {len(imgs)}枚", flush=True)
    return f"{len(imgs)}枚の画像をダウンロードしました: {[p.name for p in imgs]}"

_session: dict = {}

# generate_mv_concept: _session["images"] を読み、_session["concept"] に書く
@tool
def generate_mv_concept() -> str:
    """ダウンロード済みの画像を分析してMVのコンセプトを自動生成する。
    Bedrock の converse API（Claude 3 Haiku）が画像の雰囲気・ロケーション・ムードを読み取りコンセプト文を返す。
    download_input_images の後に呼ぶこと。
    """
    imgs = _session.get("images", [])
    concept = generate_concept_from_images(imgs)
    _session["concept"] = concept
    print(f"[tool:done] generate_mv_concept", flush=True)
    print(f"  → コンセプト: {concept}", flush=True)
    return f"生成されたコンセプト: {concept}"

# generate_music_and_lyrics: _session["concept"] を読み、_session["music_spec"] に書く
@tool
def generate_music_and_lyrics() -> str:
    """コンセプトに合う楽曲スタイルと英語歌詞を生成する。
    generate_mv_concept の後に呼ぶこと。
    """
    concept = _session.get("concept", "A cinematic music video")
    spec = generate_music_spec(concept)
    _session["music_spec"] = spec
    print(f"  → 楽曲スタイル: {spec['prompt']}", flush=True)
    return f"楽曲スタイル: {spec['prompt']}"

DIRECTOR_SYSTEM_PROMPT = """あなたはミュージックビデオ（MV）のクリエイティブディレクターです。
ツールを使って、S3に保存された画像から完成度の高いMVを自律的に制作してください。

## ★ 絶対に守るガードレール（最優先）

### ツール呼び出しの制限
- 各ツールは **必ず1回だけ** 呼ぶ。同じツールを2回以上呼んではいけない
- ツールは **必ず下記の順番通り** に呼ぶ。順番を変えてはいけない
- 指定された4つ以外のツールを呼んではいけない
- ツールが成功しても失敗しても、**同じツールをリトライしてはいけない**

### エラー時の対応
- ツールがエラーを返したら **即座に処理を停止** してエラー内容を報告する

### 費用に関する注意
- 各ツールの呼び出しは外部API（fal.ai・ElevenLabs）への課金が発生する
- 不要な繰り返しは直接コストにつながるため、**一度きりの実行を厳守する**

## ツールの実行順序（厳守・各1回のみ）

1. download_input_images     — S3から画像を取得（必ず最初）
2. generate_mv_concept       — 画像からコンセプトを生成
3. generate_music_and_lyrics — 楽曲スタイルと英語歌詞を生成
4. produce_music_video       — MV生成・S3出力（これで終了）

produce_music_video 完了後は結果を報告して終了。それ以上の処理は一切行わないこと。
"""

@app.entrypoint
def invoke(payload: dict) -> dict:
    _session.clear()
    try:
        agent = Agent(
            system_prompt=DIRECTOR_SYSTEM_PROMPT,
            tools=[
                download_input_images,
                generate_mv_concept,
                generate_music_and_lyrics,
                produce_music_video,
            ],
        )
        agent("MVを作成してください")

        sb = _session.get("storyboard")
        result = _session.get("result", {})
        return {
            "concept": _session.get("concept", ""),
            "lipsync_cuts": [c.n for c in sb.cuts if c.is_singing] if sb else [],
            "total_sec": sum(c.sec for c in sb.cuts) if sb else 0,
            "s3_uri": result.get("s3_uri", ""),
        }
    finally:
        _session.clear()
        if S3_BUCKET:
            _release_lock(S3_BUCKET)

def generate_concept_from_images(images: list[Path]) -> str:
    content = []
    for img in images:
        content.append({
            "image": {"format": fmt, "source": {"bytes": img.read_bytes()}}
        })
    content.append({
        "text": (
            "これらの画像を見て、ミュージックビデオのコンセプトを英語で1〜2文で生成してください。"
            "画像の雰囲気・ロケーション・人物・ムードを反映させてください。"
            "返答はコンセプト文のみ。余分な説明は不要。"
        )
    })
    resp = boto3.client("bedrock-runtime").converse(
        modelId="anthropic.claude-3-haiku-20240307-v1:0",
        system=[{"text": "あなたはMVのクリエイティブ・ディレクターです。"}],
        messages=[{"role": "user", "content": content}],
    )
    return resp["output"]["message"]["content"][0]["text"].strip()

class MusicPlan(BaseModel):
    music_prompt: str = Field(description="楽曲スタイルの指示（英語）")
    lyrics: str = Field(description="オリジナル歌詞")

def generate_music_spec(concept: str) -> dict:
    agent = Agent(system_prompt="あなたは作詞家です。...")
    plan: MusicPlan = agent.structured_output(MusicPlan, f"コンセプト: {concept}")
    return {"prompt": plan.music_prompt, "lyrics": plan.lyrics}

def should_lipsync(image: Path) -> bool:
    content = [
        {"image": {"format": fmt, "source": {"bytes": image.read_bytes()}}},
        {
            "text": (
                "この画像を見てください。"
                "人物の顔がアップで映っており、かつカメラ（視聴者）の方を向いている場合は YES、"
                "それ以外（風景・引きのショット・横顔・後ろ姿など）は NO と答えてください。"
                "YES か NO のみ返答してください。"
            )
        },
    ]
    resp = boto3.client("bedrock-runtime").converse(
        modelId="anthropic.claude-3-haiku-20240307-v1:0",
        system=[{"text": "You are an image analyst. Reply with exactly one word: YES or NO."}],
        messages=[{"role": "user", "content": content}],
    )
    answer = resp["output"]["message"]["content"][0]["text"].strip().upper()
    result = answer.startswith("YES")
    print(f"[should_lipsync] {image.name}: answer={answer!r} -> {result}", flush=True)
    return result

body = {
    "prompt": f"{prompt}, vocals start within the first 8 seconds\nLyrics:\n{lyrics}",
    "music_length_ms": length_ms,
    "model_id": "music_v2",
    "force_instrumental": False,
}
r = httpx.post(ENDPOINT, headers={"xi-api-key": ELEVENLABS_API_KEY}, json=body, timeout=300)
r.raise_for_status()
out.write_bytes(r.content)

for cut in sb.cuts:
    # 各画像を起点に image-to-video で8秒クリップを生成
    model, start = I2V_MODEL, prepare_image(cut.image)
    clip = generate_video(model, cut.prompt, cut.sec, cut.n, start_image=start)

    # リップシンク対象カットのみ、その時間帯の音声で口元同期
    if cut.is_singing:
        seg = slice_audio(music, offset, cut.sec, cut.n)
        clip = lipsync(clip, seg, cut.n)

    clips.append(clip)
    offset += cut.sec

mv = assemble_mv(clips, music)   # FFmpeg で連結・音声合成
s3_uri = upload_to_s3(mv)        # S3 へアップロード

// コンテナイメージ：リポジトリ直下をビルドコンテキストに指定
const artifact = agentcore.AgentRuntimeArtifact.fromAsset(
  path.join(__dirname, "..", ".."),
);

const runtime = new agentcore.Runtime(this, "MvDirectorRuntime", {
  runtimeName: "agentcore_mv_director",
  agentRuntimeArtifact: artifact,
  executionRole: role,
  environmentVariables: {
    S3_BUCKET: bucket.bucketName,
    SECRET_ARN: secret.secretArn,
    OUTPUT_DIR: "/tmp/output",
  },
});

git clone https://github.com/furuya02/agentcore-mv-director.git
cd agentcore-mv-director/cdk
pnpm install
pnpm run cdk deploy -- --require-approval never

aws secretsmanager put-secret-value \
  --secret-id agentcore-mv-director-api-keys \
  --secret-string '{"FAL_KEY":"...","ELEVENLABS_API_KEY":"..."}'

aws s3 cp input/ s3://agentcore-mv-director-<ACCOUNT_ID>/input/ --recursive

echo '{}' > /tmp/payload.json

aws bedrock-agentcore invoke-agent-runtime \
  --agent-runtime-arn "<RUNTIME_ARN>" \
  --payload fileb:///tmp/payload.json \
  --cli-read-timeout 0 \
  --region ap-northeast-1 \
  /tmp/response.json && cat /tmp/response.json

aws logs tail "/aws/bedrock-agentcore/runtimes/<agent_id>-DEFAULT" \
  --follow --format short --region ap-northeast-1

============================================================
[tool:start] generate_mv_concept
  対象画像: 3枚
[tool:done] generate_mv_concept
  → コンセプト: A cinematic journey through sun-drenched streets...
============================================================
[tool:start] produce_music_video
  [絵コンテ組み立て中] Claude 3 Haiku でリップシンク判定...
[should_lipsync] 1.jpg: answer='YES' -> True
[should_lipsync] 2.jpg: answer='NO' -> False
[should_lipsync] 3.jpg: answer='YES' -> True
  [絵コンテ完成] 3カット / 総尺 24秒
    cut1: 8秒 [✓ リップシンク対象] portrait of woman looking directly at camera...
    cut2: 8秒 [  映像のみ        ] panoramic view of golden hills at sunset...
    cut3: 8秒 [✓ リップシンク対象] close-up of woman singing...
[tool:done] produce_music_video
  → S3 URI: s3://agentcore-mv-director-<ACCOUNT_ID>/output/mv.mp4

Tool #1: download_input_images
============================================================
[tool:start] download_input_images
S3プレフィックス: s3://agentcore-mv-director-xxxxxxxxxxxx/input/
[tool:done] download_input_images: 3枚
[1] 01.png
[2] 02.png
[3] 03.png
画像3枚のダウンロード完了です！続いて、画像を分析してMVのコンセプトを生成します。

Tool #2: generate_mv_concept
============================================================
[tool:start] generate_mv_concept
  対象画像: 3枚
[tool:done] generate_mv_concept
→ コンセプト: A carefree, bohemian summer adventure set against the vibrant, sun-drenched backdrop of a picturesque Mediterranean coastal town, where a group of free-spirited young individuals embrace the joyful, laidback lifestyle and the exhilaration of exploration.
コンセプトが確定しました！地中海の海岸町を舞台にした、自由奔放な夏の冒険というテーマですね。次に、楽曲スタイルと歌詞を生成します。

太陽の光が降り注ぐ、絵画のように美しい地中海沿岸の町を舞台に繰り広げられる、
気ままなボヘミアン・スタイルの夏の冒険。そこでは、自由な精神を持つ若者たちが、
陽気でゆったりとしたライフスタイルと、未知の世界を探求する高揚感を謳歌しています。

Tool #3: generate_music_and_lyrics
============================================================
[tool:start] generate_music_and_lyrics
  コンセプト: xxxxxxxxxx
Tool #1: MusicPlan
[tool:done] generate_music_and_lyrics
  → 楽曲スタイル: Upbeat indie pop with sun-soaked acoustic guitar riffs, breezy ukulele layers, light percussion with a carefree shuffle beat, warm bass groove, and dreamy synth accents. Inspired by Mediterranean folk rhythms blended with modern bohemian indie vibes. Bright, airy production with a feel-good summer energy. Tempo around 115 BPM, major key."
  → 歌詞（先頭200文字）:
[Verse 1]
Barefoot on the cobblestone at the break of dawn
Tangled hair and painted skies, we just keep moving on
Salt on our lips from the midnight tide
Laughing with no reason, nowhere left to hide
楽曲スタイルと歌詞も完成しました！アップビートなインディーポップで、地中海フォークのリズムを取り入れた爽やかなサウンドです。いよいよMVを生成します！

陽光あふれるアコースティックギターのリフ、軽やかなウクレレのレイヤー、
気ままなシャッフル・ビートを刻む軽快なパーカッション、温かみのあるベース・グルーヴ、
そして夢見心地なシンセのアクセントが特徴の、アップビートなインディー・ポップ。地中海のフォーク・リズムと、
現代的なボヘミアン・インディーの雰囲気を融合させたスタイルです。
夏らしい心地よいエネルギーに満ちた、明るく開放的なサウンドに仕上がっています。
テンポは約115 BPM、メジャー・キー。

夜明けの石畳を裸足で歩く
髪を乱し、空が色づく中、私たちはただ進み続ける
真夜中の潮風が唇に塩の味を残し
理由もなく笑い合う、もう隠れる場所なんてない

[絵コンテ組み立て中] Claude 3 Haiku でリップシンク判定...
[should_lipsync] 01.png: answer='NO' -> False
[should_lipsync] 02.png: answer='NO' -> False
[should_lipsync] 03.png: answer='YES' -> True

[絵コンテ完成] 3カット / 総尺 24秒
   cut1: 8秒 [  映像のみ] Subtle natural cinematic motion, city pop night mood"
   cut2: 8秒 [  映像のみ] Subtle natural cinematic motion, city pop night mood"
   cut3: 8秒 [✓ リップシンク対象] The person sings to the camera, gentle head movement, cinema"

[video cut1] fal status: IN_PROGRESS
[video cut1] fal status: IN_PROGRESS
...
[video cut1] fal status: COMPLETED
（略）

[video cut2] fal status: IN_PROGRESS
[video cut2] fal status: IN_PROGRESS
...
[video cut2] fal status: COMPLETED
（略）

[video cut3] fal status: IN_PROGRESS
[video cut3] fal status: IN_PROGRESS
...
[video cut3] fal status: COMPLETED
（略）

[lipsync cut3] fal status: IN_PROGRESS
[lipsync cut3] fal status: IN_PROGRESS
...
[lipsync cut3] fal status: COMPLETED

## 🎬 MV制作完了！
全工程が正常に完了しました。制作内容をまとめます。
### 📋 制作サマリー
| 項目 | 内容 |
|---|---|
| **使用画像** | 3枚（01.png / 02.png / 03.png） |
| **総尺** | 24秒（8秒 × 3カット） |
| **コンセプト** | 地中海沿岸の街を舞台にした、自由奔放な夏の冒険 |
| **楽曲スタイル** | アップビート・インディーポップ / 約115 BPM |
| **リップシンク** | カット3（正面顔のアップショット）に適用 |
| **出力先** | `s3://agentcore-mv-director-<ACCOUNT_ID>/output/mv.mp4` |