LiteLLMとLangGraphで画像入力対応のVisionエージェントを構築してみる

{
    "role": "user",
    "content": [
        {"type": "text", "text": "..."},
        {"type": "image_url", "image_url": {"url": "..."}}
    ]
}

Python 3.13
litellm 1.83.14
langgraph 1.1.10
langchain-litellm 0.6.4

"""ローカル画像ファイルを base64 化して data URL として Vision LLM に送る。

外部のWikipediaやCDNなど一般のサーバーは User-Agent 等の理由で Anthropic /
OpenAI 双方からダウンロードを拒否されることが多いため、ローカルファイルを
読み込んで `data:` URI に変換するパターンが最も安定する。
"""

import base64
from pathlib import Path

from litellm import completion

def encode_image(path: str) -> str:
    """画像を base64 文字列に変換。"""
    return base64.b64encode(Path(path).read_bytes()).decode("utf-8")

# サンプル画像のパス（実行時に存在することを想定）
image_path = "sample.jpg"
if not Path(image_path).exists():
    print(f"{image_path} が見つかりません。任意のJPG画像を配置してください。")
else:
    encoded = encode_image(image_path)
    response = completion(
        model="anthropic/claude-sonnet-4-6",
        messages=[
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "この画像を3行で説明してください"},
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/jpeg;base64,{encoded}",
                        },
                    },
                ],
            }
        ],
    )
    print(response.choices[0].message.content)

$ python image_base64.py
1. 画像全体が青みがかったグレーブルーの背景で覆われています。
2. 中央に白い細枠の長方形が描かれています。
3. その長方形の中に「Sample Image (blue rectangle)」という白いテキストが表示されています。

"""Vision エージェント: 画像を受け取り、ツールで補強情報を取得して回答する。

ローカルの landmark.jpg を base64 化して data URL として渡す。
"""

import base64
from pathlib import Path

from langchain.agents import create_agent
from langchain_core.tools import tool
from langchain_litellm import ChatLiteLLM

@tool
def get_landmark_info(landmark_name: str) -> str:
    """ランドマーク（建造物・観光地）の補足情報を返します。"""
    db = {
        "東京タワー": "高さ333m、1958年完成、特別展望台がある",
        "スカイツリー": "高さ634m、2012年開業、世界一の自立式電波塔",
        "金閣寺": "正式名称は鹿苑寺、1397年創建、世界遺産",
    }
    return db.get(landmark_name, f"{landmark_name}に関する情報は見つかりませんでした")

vision_llm = ChatLiteLLM(model="openai/gpt-5-mini")
agent = create_agent(
    model=vision_llm,
    tools=[get_landmark_info],
    system_prompt=(
        "画像を見てランドマーク名を特定し、必ず get_landmark_info ツールで"
        "補足情報を取得してから、画像の内容と補足情報を統合して回答してください。"
    ),
)

# ローカル画像を base64 化
encoded = base64.b64encode(Path("landmark.jpg").read_bytes()).decode("utf-8")
data_url = f"data:image/jpeg;base64,{encoded}"

# 画像 + 質問をマルチモーダルで送る
result = agent.invoke(
    {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "この画像のランドマークについて教えてください",
                    },
                    {
                        "type": "image_url",
                        "image_url": {"url": data_url},
                    },
                ],
            }
        ]
    }
)

print(result["messages"][-1].content)

$ python vision_agent.py
画像は「TOKYO TOWER」とラベルされている、東京タワーを簡略化したイラストと判断します
（赤橙色のテーパー状の塔に先端のアンテナ）。ご指定どおり補助情報を取得するために
get_landmark_info を呼び出しましたが、補足情報は見つかりませんでした。

そのため、以下は一般に知られている東京タワーの基本情報と画像の説明を統合した内容です。

- ランドマーク名: 東京タワー (Tokyo Tower)
- 位置: 東京都港区（主に芝公園周辺）
- 高さ: 約333メートル
- 建造年: 1958年竣工
（中略）