LiteLLM Proxy ServerのAdmin UIでできることを調べてみた
2025.06.26LiteLLM Proxy ServerのAdmin UIをさわりながら、各機能を紹介します。
前提
コンテナをローカルで起動して試しています。以下のドキュメントや記事を参考にしてください。
コンテナイメージは、ghcr.io/berriai/litellm-database:main-latest(main-v1.72.6.post1-nightly)を利用しました。
各機能紹介
それでは、サイドバーの上から順に各機能をみていきます。
仮想APIキー（Virtual Keys）
ここは、仮想APIキー（Virtual Keys）を管理する画面です。LiteLLMでは、バックエンドのLLMプロバイダー（OpenAIなど）のAPIキーを直接使うのではなく、この仮想キーを発行して用いるのが基本となります。ここでは、発行された仮想キーの一覧を確認したり、新しくキーを発行できます。
- 関連ドキュメント: Authentication - Virtual Keys
- API経由での仮想キーの操作に関するドキュメントですが、Admin UIからできることも多いので参考になります。
+ Create New Key ボタンを押すことでキーの発行ができます。権限に応じて自分自身と他のユーザー、サービスアカウントのキーを作成できます。キーごとに利用モデルや紐付くチームを指定できます。Optional Settingsでは、予算や期限などキーごとに細かな設定が可能です。
Test Key
次に Test Key です。ここでは、仮想キーが正しく動作するかをテストできます。モデルを選択し、メッセージを入力してAPIリクエストを送信できます。仮想キーの権限設定の確認や、モデルへの接続確認、ベクトルストアやガードレールの確認などにも使えます。
Models
Models の画面では、LiteLLM Proxy Serverで利用するLLMモデルを管理できます。画面を開くと、まずは config.yaml で定義したモデルが一覧表示されます。画面からはモデルの設定変更、削除等ができます。config.yaml で定義したモデルは変更や削除ができないので、注意が必要です。
また、その他にも別タブでいくつかの機能があるので、順番に見ていきます。
Add Models
この画面では、新しくモデルの登録ができます。
LLM Credentials
LLM利用時のプロバイダーに対するクレデンシャル情報の管理ができます。
- 関連ドキュメント: Adding LLM Credentials | liteLLM
/health models
各モデルに対して、動作を確認するリクエストを投げることができます。
- 関連ドキュメント: Health Checks | liteLLM
Model Analytics
この画面では、指定したモデルグループや期間におけるAPIの平均応答時間、成功率、エラー発生状況などを視覚的に監視できます。
Usage
続いて Usage を見てみましょう。ここはAPIの利用状況を可視化するダッシュボードになっています。キー別やモデル別で、消費コストや入出力トークン数がグラフで表示されており、利用状況がわかります。
上部のタブを切り替えることで、チームごとやタグごとの利用状況も確認できます。
関連ドキュメント: Spend Tracking / Cost Control
Teams
Teamsでは、チーム一覧の確認やチームの作成、設定変更などができます。ユーザーやキーをチーム単位で管理でき、チームごとに管理者を設定したり、利用可能なモデルを制限したりできます。
チーム一覧からチームIDをクリックすると、チームに関する画面が表示できます。予算やレートリミット等に関する情報を確認できます。タブを切り替えることで、メンバーの管理やチームの設定の変更なども可能です。
- 関連ドキュメント:
Organizations
Organizationsは、組織(Organization)の管理ができる画面のようです。組織はチームの上位概念で複数のチームを含めることができます。利用するにはEnterpriseのライセンスが必要なようです。
Internal Users
Internal Users では、このAdmin UIにアクセスできるユーザーを管理します。Invite Userから、新しいユーザーを招待できます。ユーザーごとにロール（権限）を設定できます。
- 関連ドキュメント: Internal User Self-Serve | liteLLM
ユーザー一覧でユーザーIDをクリックすることでユーザーの利用状況を確認できます。
API Reference
API Referenceは、OpenAI Python SDKやLlamaIndex、LangchainなどからLiteLLM Proxy Serverを介して、LLMにアクセスする方法が記載された画面のようです。
Model Hub
Model Hubでは、利用可能なモデルの一覧が表示されています。各モデルのView moreを開くと、モデルの情報と使い方が表示できます。
Logs
Logsでは、LLMに対するリクエストに関するログを確認できます。リクエストの成功/失敗、どのキーでどのモデルにリクエストをなげたのか、エラー時の情報なども確認できます。
- 関連ドキュメント: UI Logs
Audit Logsもありますが、こちらはEnterprise限定の機能のようです。
- 関連ドキュメント: ✨ Audit Logs | liteLLM
Guardrails
Guardrailsでは、LLM利用時のガードレールを管理できます。たとえば、Amazon Bedrock や Presidio、Lakera などを活用し、不適切な単語の検出や個人情報（PII）のマスキングといったガードレール機能を設定できます。
- 関連ドキュメント: Guardrails - Quick Start | liteLLM
MCP Servers
MCP Serversでは、MCPサーバーの管理ができます。ここで登録されたMCPサーバーは、LiteLLM Proxy Serverのエンドポイントに/mcpをつけることで利用できます。1つのエンドポイントで登録された複数のMCPサーバーを利用できます。APIキーやユーザー、チームごとに利用できるMCPサーバーを制限することも可能です。
別タブには接続方法に関するガイドも記載されています。
Experimental（実験的機能）
サイドバーの下の方にはExperimentalという項目があります。実験的な機能や古い機能が配置されているようです。
- Caching: キャッシュ機能に関するダッシュボードです。モデルやキーごとのキャッシュヒット率などを確認できます。
- Budgets: ユーザーに紐づけ可能な予算(Budget)を管理できます。
- API Playground: LiteLLMに対するリクエストが、LLMプロバイダーにどのような形で送られるかを確認できます。
- Tag Management: モデルのルーティングや利用状況分析などに使えるタグを管理できます。
- Vector Stores: RAG（Retrieval-Augmented Generation）などで利用するベクトルストアを管理できます。
- Old Usage: 利用状況ダッシュボード
Usageの旧版のようです。
Settings（設定）
最後に Settings です。 LiteLLM Proxy ServerやAdmin UIの設定が可能です。
- Router Settings: モデルのルーティング設定を行えます。
- Pass-Through: パススルーエンドポイントの管理ができます。
- Logging & Alerts: ログやアラートの外部サービス（S3, DataDog, Slackなど）への連携を設定できます。
- Admin Settings: SSOや許可IPアドレス設定、SCIMの設定が可能です。
まとめ
LiteLLM Proxy ServerのAdmin UIの各機能を紹介しました。LiteLLM Proxy Serverにはさまざまな機能があり、Admin UIを用いることでそれら機能の活用や運用を楽にできそうです。Admin UIでできないこともありますが、そういった場合にはAPI定義やドキュメントを参照しつつ、APIから操作することが必要になります。うまく利用することで、LLMの活用に役立てていきたいですね。
