AI Gatewayの監視 ​

AI Gatewayダッシュボードでは、ゲートウェイを通過するトラフィックを可視化できます。 これを使用して、健全性の監視、支出の帰属先の把握、上位利用者の特定、および予算が期待どおりに動作していることの確認を行います。

ダッシュボードの範囲は現在のワークスペースに限定されており、時間範囲フィルターが含まれます。

AI Gatewayダッシュボード

概要メトリクス ​

ダッシュボードヘッダーには、選択した時間範囲全体の概要メトリクスを示すサマリータイルが表示されます。これには、リクエスト量、トークン消費量、最初のトークンまでの時間（TTFT）、成功率と失敗率が含まれます。

2つの円グラフでは、アクティビティをソース別に内訳表示します。

• LLMプロバイダー利用状況数：OpenAI、Anthropic、Azure OpenAI、AWS Bedrockなど、プロバイダーごとのリクエストシェア。
• LLMモデル利用状況数：モデルごとのリクエストシェア。

経時的なトークン利用状況 ​

このセクションでは、時間の経過に伴うトークン消費量を追跡します。

• トークン利用状況：月ごとに消費されたトークンの合計。
• プロバイダー別累積トークン利用状況：プロバイダー別に整理された月ごとの合計トークン数。

最大のトークン消費量 ​

トークン利用状況別上位コンシューマーグラフでは、消費された合計トークン数でAPIキーをランク付けします。 これを使用して、どのAPIキー、チーム、またはアプリケーションが最も多くの支出を発生させているかを特定します。

コスト ​

予算と実際の支出グラフでは、時間の経過に伴う実際の支出と構成済み予算を比較します。 このグラフを使用して、特定の期間をドリルダウンします。

その他のリソース ​

• AI Gatewayの概要：AI Gateway、その主要コンポーネント、および仕組みについて理解します。
• AI Gatewayの設定: プロバイダーの追加、APIキーの作成、ポリシーの定義を行います。