LiteLLMとLangGraphで作ったAIエージェントをLangSmithで観測・評価してみる

Python 3.13
litellm 1.83.14
langgraph 1.1.10
langchain-litellm 0.6.4
langsmith 0.4.0

$ uv pip install litellm langgraph langchain-litellm langsmith

# 環境変数で有効化
$ export LANGSMITH_TRACING=true
$ export LANGSMITH_API_KEY="ls_..."
$ export LANGSMITH_PROJECT="litellm-langsmith-demo"

"""LangSmith に LangGraph 実行をトレース送信する基本サンプル。

事前に下記の環境変数を設定しておく:
    LANGSMITH_TRACING=true
    LANGSMITH_API_KEY=ls_...
    LANGSMITH_PROJECT=litellm-langsmith-demo

設定すると、すべての LLM/ツール呼び出しが自動的に LangSmith に送られる。
"""

from langchain.agents import create_agent
from langchain_core.tools import tool
from langchain_litellm import ChatLiteLLM

@tool
def search_doc(query: str) -> str:
    """社内ドキュメントを検索します。"""
    docs = {
        "有給": "有給休暇は入社6ヶ月後に10日付与されます。",
        "リモート": "リモートワークは週3日まで可能です。",
    }
    for k, v in docs.items():
        if k in query:
            return v
    return "情報が見つかりませんでした"

llm = ChatLiteLLM(model="openai/gpt-5-mini")
agent = create_agent(model=llm, tools=[search_doc])

# 環境変数 LANGSMITH_TRACING=true が設定されていれば、これだけで自動トレース
result = agent.invoke(
    {"messages": [{"role": "user", "content": "有給休暇のルールを教えて"}]}
)
print(result["messages"][-1].content)
print("\nLangSmith のダッシュボードでトレースを確認してください。")

$ LANGSMITH_TRACING=true LANGSMITH_PROJECT=litellm-langsmith-demo python basic_trace.py
日本の「年次有給休暇（有給休暇）」の主なルールを簡潔にまとめます。

1. 付与要件
- 原則：同一の会社で継続して6か月以上勤務し、かつその6か月間の出勤率が8割（80％）以上であること。
- 要件を満たすと最初に「10日」付与されます（以降は勤続年数に応じて増加）。
（中略：勤続年数別の日数、時季変更、5日ルール、消滅時効、退職時精算など）

LangSmith のダッシュボードでトレースを確認してください。

"""LangSmith でデータセットを使った評価を実行するサンプル。

1. データセットを LangSmith に作成
2. evaluate() で各 example に対して agent を実行
3. evaluator が複数の観点でスコアを付ける（substring 一致 + LLM-as-judge）
"""

from langchain.agents import create_agent
from langchain_core.tools import tool
from langchain_litellm import ChatLiteLLM
from langsmith import Client
from langsmith.evaluation import evaluate

@tool
def search_doc(query: str) -> str:
    """社内ドキュメントを検索します。"""
    docs = {
        "有給": "有給休暇は入社6ヶ月後に10日付与されます。",
        "リモート": "リモートワークは週3日まで可能です。",
    }
    for k, v in docs.items():
        if k in query:
            return v
    return "情報が見つかりませんでした"

llm = ChatLiteLLM(model="openai/gpt-5-mini")
agent = create_agent(model=llm, tools=[search_doc])

# 評価専用の judge LLM。応答用と独立させて差し替えしやすくする。
judge_llm = ChatLiteLLM(model="openai/gpt-5-mini")

# =============================================
# 1. データセット作成（初回のみ）
# =============================================
DATASET_NAME = "company-faq-dataset"
client = Client()

if not client.has_dataset(dataset_name=DATASET_NAME):
    dataset = client.create_dataset(DATASET_NAME)
    client.create_examples(
        inputs=[
            {"question": "有給休暇のルールは？"},
            {"question": "リモートワークは何日できる？"},
        ],
        outputs=[
            {"expected": "入社6ヶ月後に10日付与"},
            {"expected": "週3日まで可能"},
        ],
        dataset_id=dataset.id,
    )

# =============================================
# 2. ターゲット関数: example.input -> agent 出力
# =============================================
def target(inputs: dict) -> dict:
    result = agent.invoke(
        {"messages": [{"role": "user", "content": inputs["question"]}]}
    )
    return {"answer": str(result["messages"][-1].content)}

# =============================================
# 3a. Evaluator (素朴): 期待値を substring として含むかでスコア
# =============================================
def contains_expected(outputs: dict, reference_outputs: dict) -> dict:
    expected = reference_outputs["expected"]
    answer = outputs["answer"]
    return {
        "key": "contains_expected",
        "score": 1.0 if expected in answer else 0.0,
    }

# =============================================
# 3b. Evaluator (LLM-as-judge): 表現ゆらぎを許容して意味で判定
# =============================================
def llm_judge(outputs: dict, reference_outputs: dict) -> dict:
    expected = reference_outputs["expected"]
    answer = outputs["answer"]
    response = judge_llm.invoke(
        [
            {
                "role": "system",
                "content": (
                    "あなたは厳密な評価者です。回答が期待される情報を意味的に"
                    "含んでいるかを Yes / No のみで答えてください。"
                    "表現の言い換えや句読点・漢字/かなの違いは許容します。"
                ),
            },
            {
                "role": "user",
                "content": f"期待される情報: {expected}\n\n回答: {answer}\n\n判定:",
            },
        ]
    )
    verdict = str(response.content).strip()
    return {
        "key": "llm_judge",
        "score": 1.0 if verdict.lower().startswith("yes") else 0.0,
        "comment": verdict,
    }

# =============================================
# 4. 評価実行（2種類の evaluator を並列）
# =============================================
results = evaluate(
    target,
    data=DATASET_NAME,
    evaluators=[contains_expected, llm_judge],
    experiment_prefix="gpt-5-mini-baseline",
)

print(f"\n評価完了: {results}")
print("結果は LangSmith の Experiments タブで確認できます。")

$ LANGSMITH_TRACING=true LANGSMITH_PROJECT=litellm-langsmith-demo python dataset_eval.py
View the evaluation results for experiment: 'gpt-5-mini-baseline-d76d7d68' at:
https://smith.langchain.com/o/.../datasets/.../compare?selectedSessions=...

2it [00:30, 15.26s/it]

評価完了: <ExperimentResults gpt-5-mini-baseline-d76d7d68>
結果は LangSmith の Experiments タブで確認できます。