AI Gatewayの設定
1つ以上のプロバイダー、アプリケーションAPIキー、およびレート制限とトークン利用状況を制御するポリシーを使用して、AI Gatewayをセットアップします。
プロバイダーの追加
プロバイダーは、AI Gatewayがリクエストを送信するLLMサービス、およびゲートウェイが使用できる認証情報とモデルを表します。
プロバイダーを追加するには、次の手順を実行します。
AI Hub > AI Gateway > プロバイダーに移動します。
+ プロバイダーを追加をクリックします。
コネクション名フィールドに、このプロバイダーの一意の名前を入力します。
プロバイダードロップダウンメニューを使用して、AIプロバイダーを選択します。
モデルドロップダウンメニューを使用して1つ以上のモデルを選択し、OKをクリックします。
APIキーフィールドに、このプロバイダーのAPIキーを入力します。
API URLフィールドにAPIベースURLを入力します。 OpenAIのデフォルトURLhttps://api.openai.com/v1を使用するには、このフィールドを空白のままにします。 カスタムのOpenAI互換APIを使用する予定がある場合は、値を入力します。
任意です。 Organization IDフィールドに、複数の組織を持つOpenAIアカウントの組織IDを入力します。
任意です。 プロジェクトIDフィールドに、複数のプロジェクトを持つOpenAIアカウントのプロジェクトIDを入力します。
Createをクリックします。
プロバイダー設定の構成
プロバイダー設定では、ゲートウェイがアップストリーム応答を待機する時間と、失敗時に再試行する回数を制御します。 デフォルトはほとんどのプロバイダーで機能しますが、プロバイダーのレイテンシが高い場合やレート制限が厳しい場合は、設定をカスタマイズできます。
プロバイダー設定を構成するには、次の手順を実行します。
AI Hub > AI Gateway > プロバイダーに移動し、プロバイダーを選択します。 プロバイダー構成の詳細が表示されます。
プロバイダー設定セクションに移動します。
リクエスト全体のタイムアウトフィールドに、リクエスト全体のタイムアウト値を入力します。 デフォルト値は360秒です。
試行タイムアウトフィールドに、試行タイムアウト値を入力します。 デフォルト値は30秒です。
プロバイダーレベルの最大再試行回数フィールドに、最大再試行回数を入力します。 デフォルト値は2です。
Closeをクリックします。
APIキーの作成
APIキーは、アプリケーションをAI Gatewayに対して認証し、その利用状況をチーム、プロジェクト、またはワークスペースに関連付けます。 APIキーを共有するすべてのアプリケーションは、同じレート制限とトークン利用状況の合計にカウントされます。
APIキーを作成するには、次の手順を実行します:
AI Hub > AI Gateway > キーに移動し、+ キーを作成をクリックします。
名前フィールドにキーの名前を入力します。
プロバイダードロップダウンメニューを使用して、このAPIキーがアクセスできる1つ以上のプロバイダーを選択します。
任意です。 使用可能なモデルドロップダウンメニューを使用して、このキーが使用できる1つ以上のモデルを選択します。 デフォルトでは、APIキーは選択したプロバイダーのすべてのモデルにアクセスでき、ゲートウェイはタスクの複雑さに基づいて最も適切なモデルを選択します。 アクセスを制限するには、特定のモデルを選択します。
レートポリシードロップダウンメニューを使用して、このAPIキーのレート制限ポリシーを選択します。 ポリシータブでポリシーを管理します。
トークン利用状況ポリシードロップダウンメニューを使用して、トークン利用状況ポリシーを選択します。 ポリシータブでポリシーを管理します。
Createをクリックします。
共有される利用状況
APIキーを共有するすべてのアプリケーションは、同じレート制限とトークン利用状況ポリシーにカウントされます。 独立した予算が必要なチームまたはプロジェクトには、個別のAPIキーを発行します。
ポリシーの管理
ポリシーは、AI Gatewayがすべてのリクエストに適用するルールを定義します。 AI Gatewayには、次のポリシータイプがあります。
- PIIマスキング: リクエストがアップストリームプロバイダーに到達する前に、個人を特定できる情報をマスクします。
- レート制限: キーごとのリクエストレートを制限します。
- トークン制限: リクエストまたは期間あたりに消費されるトークン数を制限します。
- 利用状況制限: 構成された予算に対する合計利用状況を制限します。
- 静的ルーティング: リクエストを特定のプロバイダーまたはモデルにルーティングします。
- リクエスト再試行: 失敗したリクエストをアップストリームプロバイダーに対して再試行します。
AI Hub > AI Gateway > ポリシーでポリシーを管理できます。
その他のリソース
- AI Gatewayの概要：AI Gateway、その主要コンポーネント、および仕組みについて理解します。
- AI Gatewayの監視: トラフィック、コスト、レイテンシ、上位コンシューマーを表示します。
最終更新日: