クラスメソッドのカルチャー CLP を Nemotron 9B-v2 に教え込んでみた

こんにちは、クラスメソッド製造ビジネステクノロジー部の森茂です。

前回の記事では RAFT（Retrieval Augmented Fine Tuning）を使って、国税庁の FAQ データを Nemotron 9B に学習させて RAG の精度を上げる「知識の注入」を試しました。今回は少し方向を変えて、「価値観の注入」に挑戦してみます。

クラスメソッドには CLP（Classmethod Leadership Principle）という 10 項目の行動規範があります。リーダーシップ、パートナーシップ、やってみる……社員であれば誰もが知っているこの行動指針や価値観を、LLM にも教え込むことはできるのでしょうか？

https://classmethod.jp/company/culture/

Constitutional AI（CAI）と SimPO（Simple Preference Optimization）を組み合わせて、試してみました。

Constitutional AI とは

Constitutional AI は Anthropic が 2022 年に発表したアライメント手法です。人間によるフィードバックの代わりに、あらかじめ定義した「原則（Constitution）」に基づいて AI 自身にフィードバックさせるのが特徴です。

ざっくりした流れはこうです。

1. モデルにプロンプトを投げて、初期応答（R0）を生成する
2. Constitution の原則に照らして、R0 を自己批評（Self-Critique）する
3. 批評を踏まえて、改善した応答（R1）を生成する
4. R0 を rejected、R1 を chosen として選好ペアを作る
5. 選好ペアで選好最適化（DPO や SimPO）を行う

元論文では SFT フェーズ（改善応答で教師あり学習）→ RL フェーズ（PPO）の 2 段階ですが、最近は SFT を省略して直接 DPO や SimPO で選好最適化する構成もよく使われているようです。今回もこの簡略化した構成を採用しました。

通常は「有害な応答を減らす」目的で使われますが、原則の内容を変えれば企業の行動規範でも使えるはずです。

CLP を Constitution にする

CLP は 10 項目で構成されています。

これを Constitutional AI の「原則」に変換します。各項目に対して、批評（Critique）のプロンプトと改善（Revision）のプロンプトのペアを定義しました。

例えば「リーダーシップ」の場合はこうなります。

• 批評プロンプトでは「この回答は受動的で相手任せの姿勢になっていないか？ 自ら率先して行動や提案を示す内容になっているか確認してください。」と問いかけます
• 改善プロンプトでは「回答を修正して、自ら進んで具体的なアクションを提案する内容にしてください。」と指示します

10 項目すべてに同様のペアを用意して、constitution.json として定義しました。

データ生成パイプライン

データ生成は 4 ステップで進めます。

ビジネスシーンプロンプトの生成

まず、CLP が試される多様なビジネスシナリオを生成しました。目標 300 件に対して、実際に得られたのは 292 件です。

プロンプトの生成には Claude Haiku API を使っています。

初期応答 → 批評 → 改善

292 のプロンプトそれぞれに対して、以下の処理を実行しました。

1. Ollama で動かしている素の Nemotron 9B v2 Japanese に初期応答（R0）を生成させる（平均 1,394 文字）
2. CLP 10 項目からランダムに 2 つの原則を選ぶ
3. Claude Haiku に R0 を批評させる（Self-Critique）
4. 批評を踏まえた改善版を生成させる（Revision）

1 プロンプトにつき 2 原則を適用するので、292 x 2 = 584 ペアが生成されます。品質フィルタ（R0 と改善版の差が小さすぎるものを除外）を通した結果、フィルタ除外 0 件で全 584 件の chosen/rejected ペアが学習データになりました。

SimPO で学習する

なぜ SimPO か

選好最適化の手法は DPO が最も有名ですが、今回は SimPO を選びました。

DPO は学習中に参照モデル（学習前のモデルのコピー）を保持する必要があり、Nemotron 9B の BF16 で 18GB x 2 = 36GB のメモリを使います。DGX Spark の 128GB なら収まりますが、Mamba-2 Hybrid アーキテクチャで 2 モデル同時に forward pass を走らせるのはリスクがあります。

SimPO は参照モデルが不要で、単一モデルだけで学習できます。DPO 比で GPU メモリ消費も約 6 割に抑えられます。TRL の CPOTrainer に loss_type="simpo" を指定するだけで使えるので、実装も簡潔です。

LoRA の制約（53% カバー）

前回の記事と同様に、Nemotron 9B は Mamba-2 Transformer Hybrid アーキテクチャのため、HF PEFT の LoRA は Attention + FFN 層にしか適用できません（Mamba-2 層の in_proj / out_proj は非対応）。LoRA のカバー率は 53% です。

53% のカバー率で「価値観のアライメント」が効くのかは、正直やってみないとわかりませんでした。

学習の実行

NGC NeMo 25.11.01 コンテナ上で SimPO 学習を実行しました。

# NGC コンテナ内で実行
python n5-simpo-train.py train \
  --data-file ./data/n5/train.jsonl \
  --output-dir ./data/n5/adapter \
  --method simpo

Loss は 1.6017 から始まり、1.5273 まで下がった後、1.57 付近で安定しました。SimPO の loss は DPO と異なり大きく下がるタイプではないため、この推移は想定通りです。

GGUF 変換と Ollama 登録

学習済みの LoRA アダプタを llama.cpp で GGUF 形式に変換し、Ollama に登録します。

# LoRA → GGUF 変換（36.1 MB、132 テンソル）
python convert_lora_to_gguf.py ./data/n5/adapter \
  --base-model-id nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese \
  --outtype f16

# Ollama に登録
ollama create nemotron-9b-jp-cai -f Modelfile

Modelfile はベースモデル + ADAPTER の 2 行だけです。

FROM nemotron-9b-jp-nothink
ADAPTER ./nemotron-9b-cai-lora.gguf

評価結果

CLP 準拠度（LLM-as-Judge）

CLP の各原則に対して 5 問ずつ、計 50 問のテストプロンプトを用意しました。モデルの回答を Claude Haiku に 1-5 のスケールで採点させています。LLM-as-Judge の評価ばらつきを考慮して、同一条件で 2 回実施した平均値を採用しています。

ベースラインの時点で 4.76/5.0 と非常に高スコアです。素の Nemotron 9B v2 Japanese が既にビジネスシーンの質問に対して高品質な回答を返せることがわかります。

CAI モデルではパートナーシップが 4.80 → 5.00 に改善しました。一方でフィードバックが 4.70 → 4.30 に低下しています。全体としては -0.01 とほぼ横ばいです。

JCQ 退行チェック

JCommonsenseQA（1,119 問）で汎用性能の退行をチェックしました。

退行幅は -0.4pp で、許容範囲（-2pp 以内）に収まっています。SimPO による選好最適化が汎用的な日本語能力をほぼ損なわないことが確認できました。

定性比較

実際の回答を並べて比較してみます。4 つのシナリオを取り上げます。

4 シナリオを通して、CAI モデルは「相手への配慮」「信頼関係の構築」を回答の早い段階で言及する傾向が見られました。パートナーシップのスコアが +0.20 改善したのはこの変化が反映されていると考えられます。また「やってみる」のシナリオでは、抽象的な分析ではなく具体的なアクションを先に提案する姿勢が見え、CLP の実践的な側面も学習できている兆しがあります。

考察

53% LoRA で価値観アライメントは効くのか

結論から言うと、「部分的に効いた」が正直な感想です。

パートナーシップは +0.20 の改善が 2 回とも一貫して見られ、定性的にも「相手への配慮」を先に述べるようになった変化は安定しています。一方でフィードバックは -0.40 と悪化しました。LoRA のカバー率 53% という制約下では、モデルが学習できるのは Attention と FFN 層の振る舞いだけです。Mamba-2 層が担う長期的な文脈処理は変更できないため、学習対象の一部の CLP 原則に効果が偏った可能性があります。

584 ペアという小規模なデータで「パートナーシップ」に変化が出たこと自体は興味深い結果でした。LoRA のカバー率を上げられれば、より均一な改善が期待できるかもしれません。

Constitutional AI + SimPO の費用対効果

パイプライン全体のコストをまとめます。

API コストは $1.72 と非常に安価です。時間のボトルネックは R0 生成（Ollama の推論速度に依存）で、DGX Spark の GB10 GPU で 1 件あたり約 80 秒かかっています。GPU メモリには余裕があるので、vLLM などの推論サーバーに切り替えればさらに高速化が見込めるでしょう。

「企業文化の LLM 内在化」の可能性と限界

ベースラインが 4.76/5.0 ということは、素の Nemotron 9B v2 Japanese がビジネスマナーやコミュニケーションのベストプラクティスを既に十分学習しているということだと思います。

つまり「企業文化」のうち一般的なビジネスマナーと重なる部分は、LLM がすでに備えているため Constitutional AI で改善する余地があまりありません。一方で「パートナーシップ」のように企業固有のニュアンスが加わる部分では、改善が見られました。

CLP のような行動規範は抽象度が高いため、LLM の応答に反映されにくいという構造的な課題もあります。より具体的な規範（例えば「コードレビューでは必ず良い点を 1 つ以上挙げてからフィードバックする」）であれば、CAI の効果はより明確になるかもしれません。

まとめ

前回の記事では「知識の注入」（RAFT）、今回は「価値観の注入」（Constitutional AI + SimPO）を試しました。

「知識の注入」は明確な改善が出やすい一方、「価値観の注入」はベースモデルの能力が高いほど天井効果が出やすいという違いが見えてきました。とはいえ、40 分前後の学習で、2 回の評価を通じてパートナーシップに一貫した変化が出たのは面白い結果です。

53% LoRA の制約下での実験でしたが、企業固有の行動規範を LLM に内在化させる試みとして、Constitutional AI のアプローチは引き続き検討の価値がありそうです。

今回使用したスクリプトとデータは GitHub で公開しています。

https://github.com/himorishige/dgx-spark-blog/tree/main/n5-constitutional-ai-simpo

参考リンク

• Constitutional AI: Harmlessness from AI Feedback（Anthropic 原論文）
• SimPO: Simple Preference Optimization with a Reference-Free Reward
• DPO: Direct Preference Optimization
• TRL CPOTrainer ドキュメント
• Constitutional AI with Open LLMs（HuggingFace Blog）
• NVIDIA Nemotron Nano 9B v2 Japanese
• Classmethod Leadership Principle