AI Gatewayの設定
LLMプロバイダーを接続し、アプリケーションから呼び出すLLMエンドポイントを作成し、使用できるユーザーを制御するアクセスキーを発行して、AI Gatewayを設定します。
設定順序
AI Gatewayの設定は4つのオブジェクトを基盤としています。 次の順序で作成します。
- プロバイダー: AnthropicやAzure OpenAIなどのLLMサービスへのコネクション、およびAI Gatewayが認証に使用する認証情報。
- LLMエンドポイント: アプリケーションが呼び出すURL。 各LLMエンドポイントには、独自のルート、アクセスキー、ポリシーが含まれます。
- ルート: 1つのプロバイダーと1つのモデルの組み合わせで、独自のタイムアウト制限があります。
- アクセスキー: アプリケーションがAI Gatewayに提示する認証情報。 各アクセスキーは1つ以上のルートへのアクセスを許可します。
ポリシーは任意です。 割り当てられたアクセスキーのリクエストレートやトークンの利用状況を制限する場合、またはIPアドレスでアクセスを制限する場合は、ポリシーを作成します。
初めてAI Gatewayを開くと、ゲートウェイがこの手順を案内します。 このガイドの手順を使用して、各ステップを個別に完了することもできます。
プロバイダーの追加
プロバイダーには、AI GatewayがLLMサービスで認証するために使用する認証情報が保存されます。 プロバイダーはプロジェクトに保存され、同じプロバイダーコネクションをGenieで再利用できます。
AI Gatewayは、Anthropic、OpenAI Compatible、Azure OpenAI、AWS Bedrock、Google GeminiのLLMプロバイダーをサポートしています。 設定するフィールドは、選択したプロバイダーによって異なります。
プロバイダーを追加するには、次の手順を実行します。
AI Gateway > Providersに移動します。
プロバイダーを追加をクリックします。
プロバイダーの追加
コネクション nameフィールドにわかりやすい名前を入力します。
プロバイダーの作成
Locationドロップダウンメニューを使用して、このプロバイダーを保存するプロジェクトまたはフォルダを選択します。
Connection typeドロップダウンメニューを使用して、Cloudまたはオンプレミスグループを選択します。 プロバイダーのエンドポイントにパブリックインターネットから到達できない場合は、オンプレミスグループを選択します。
オンプレミスグループ
Connection typeでオンプレミスグループを選択する場合、API URLまたはEndpoint URLはオンプレミスエージェントのネットワークから到達可能である必要があります。 プライベートDNS名とIPアドレスを使用できます。
LLM Providerドロップダウンメニューを使用して、このコネクションが使用するプロバイダーを選択します。 残りのフィールドは、選択したプロバイダーによって異なります。
Createをクリックして設定を完了します。
プロバイダーに到達できません
プロバイダーに到達できない場合、AI GatewayはError 503とメッセージCould not reach provider. The service may be temporarily down or overloaded. Please try again shortly.を返します。 入力内容は保持されます。 再試行するには、もう一度Createをクリックします。
プロバイダーはProvidersリストにConnectedステータスと追加日とともに表示されます。
プロバイダーの編集
プロバイダーを編集するには、次の手順を実行します。
AI Gateway > Providersに移動します。
編集するプロバイダーのアクションメニューをクリックし、Editをクリックします。 これにより、Edit providerページが開きます。
プロバイダーのフィールドを更新します。
保存をクリックします。
プロバイダーの削除
プロバイダーを削除するには、次の手順を実行します。
AI Gateway > Providersに移動します。
削除するプロバイダーのアクションメニューをクリックし、Deleteをクリックします。
影響の概要を確認します。 Delete providerダイアログには、影響を受けるアクセスキーの数が一覧表示され、プロバイダーを削除すると、そのプロバイダーを使用するすべてのルートから削除されること、それらのルートを呼び出すキーがエラーを返す可能性があること、およびキーを持つすべてのユーザーのアクセスが取り消されることが確認されます。
I understand that this action cannot be undoneを選択します。
Deleteをクリックします。
LLMエンドポイントの作成
LLMエンドポイントは、アプリケーションがリクエストを送信するURLです。 各LLMエンドポイントには独自のルート、アクセスキー、ポリシーが含まれているため、チーム、アプリケーション、またはEnvironmentごとに設定を分離できます。
前提条件
LLMエンドポイントを作成する前に、少なくとも1つのプロバイダーを追加する必要があります。
LLMエンドポイントを作成するには、次の手順を実行します。
AI Gateway > Endpointsに移動します。
+ Create LLM endpointをクリックします。
LLMエンドポイントの作成
LLM endpoint nameフィールドに名前を入力します。
LLMエンドポイントの作成
Locationドロップダウンメニューを使用して、このLLMエンドポイントを保存するプロジェクトまたはフォルダを選択します。
Createをクリックします。 Add routeモーダルが表示されます。
Route name（ルート名）フィールドに名前を入力します。
Add route（ルートを追加）
AI Gatewayはルート名からRoute ID（ルートID）を生成します。
Provider（プロバイダー）ドロップダウンメニューを使用して、このルートで使用するプロバイダーを選択します。 Providers（プロバイダー）タブでプロバイダーを管理します。
Model（モデル）ドロップダウンメニューを使用して、選択したプロバイダーのどのモデルをこのルートで使用するかを選択します。
任意です。 Limits（制限）を展開し、次のフィールドを設定します。
Attempt timeout (in seconds)（試行タイムアウト（秒））フィールドに、1回の試行が失敗するまでに許可される最大時間を入力します。 この値は、リクエストタイムアウト以下である必要があります。
Createをクリックします。
ルートは、そのルートID、プロバイダー、モデル、作成日とともにRoutes（ルート）リストに表示されます。
LLMエンドポイントの詳細
LLMエンドポイントページの詳細パネルには、次の情報が表示されます。
- LLM endpoint name: LLMエンドポイントの名前。
- LLM endpoint URL: アプリケーションが呼び出すベースURL。 コピーするにはCopy URLをクリックします。
- Location: LLMエンドポイントを保存するプロジェクトまたはフォルダ。
- Created: LLMエンドポイントが作成された日時。
ルートの作成
ルートは1つのプロバイダーを1つのモデルに関連付け、そのルートを使用するリクエストのタイムアウト動作を定義します。
前提条件
ルートを作成する前に、少なくとも1つのプロバイダーを追加する必要があります。
ルートを作成するには、次の手順を実行します。
LLMエンドポイントに移動し、Routesタブをクリックします。
+ Add routeをクリックします。
ルートの追加
Route name（ルート名）フィールドに名前を入力します。
Add route（ルートを追加）
AI Gatewayはルート名からRoute ID（ルートID）を生成します。
Provider（プロバイダー）ドロップダウンメニューを使用して、このルートで使用するプロバイダーを選択します。 Providers（プロバイダー）タブでプロバイダーを管理します。
Model（モデル）ドロップダウンメニューを使用して、選択したプロバイダーのどのモデルをこのルートで使用するかを選択します。
任意です。 Limits（制限）を展開し、次のフィールドを設定します。
Attempt timeout (in seconds)（試行タイムアウト（秒））フィールドに、1回の試行が失敗するまでに許可される最大時間を入力します。 この値は、リクエストタイムアウト以下である必要があります。
Createをクリックします。
ルートは、そのルートID、プロバイダー、モデル、作成日とともにRoutes（ルート）リストに表示されます。
ルートの編集
ルートを編集するには、次の手順を実行します。
LLMエンドポイントに移動し、Routesタブをクリックします。
編集するルートのアクションメニューをクリックし、Editをクリックします。
ルートの編集
ルートフィールドを更新し、Saveをクリックします。
ルートの削除
ルートを削除するには、次の手順を実行します。
LLMエンドポイントに移動し、Routesタブをクリックします。
削除するルートのアクションメニューをクリックし、Deleteをクリックします。
ルートの削除
削除をクリックして確定します。
キーが機能しなくなります
削除されたルートを使用するアクセスキーは機能しなくなり、再作成する必要があります。
アクセスキーの作成
アクセスキーは、アプリケーションがAI Gatewayに提示する認証情報です。 各キーは1つ以上のルートへのアクセスを許可し、ルートによってキーが使用できるプロバイダーとモデルが決まります。
前提条件
アクセスキーを作成する前に、少なくとも1つのルートを作成する必要があります。
アクセスキーを作成するには、次の手順を実行します。
LLMエンドポイントに移動し、Keysタブをクリックします。
キーを追加をクリックします。
キーの追加
Nameフィールドにわかりやすい名前を入力します。
キーの作成
Route(s)ドロップダウンメニューを使用して、このキーが使用できるルートを選択し、OKをクリックします。 Select allをクリックして、LLMエンドポイント内のすべてのルートを選択します。 Routesタブでルートを管理します。
任意です。 Policyドロップダウンメニューを使用して、このキーのポリシーを選択します。 ダイアログを離れずにポリシーを作成するにはCreate policyをクリックするか、Policiesタブでポリシーを管理します。 フィールドの説明については、ポリシーの作成を参照してください。
共有される利用状況
アクセスキーを共有するすべてのユーザーは、同じレート制限とトークン制限を共有します。 独立した制限が必要なチームまたはアプリケーションには、別々のアクセスキーを発行します。
Createをクリックします。
生成されたキーをコピーし、安全な場所に保存します。 Copyをクリックし、次にCloseをクリックします。
キーは一度だけ表示されます
ダイアログを閉じた後は、生成されたキーを再度表示できません。 キーを紛失した場合は、キーを更新して新しい値を生成します。
アクセスキーは、ルート、ポリシー、作成日、およびマスクされたキー値とともにKeysリストに表示されます。 ルートおよびポリシーでリストをフィルタリングできます。
アクセスキーの編集
アクセスキーを編集するには、次の手順を実行します。
LLMエンドポイントに移動し、Keysタブをクリックします。
編集するキーのアクションメニューをクリックし、Editをクリックします。
キーの編集
Name、Route(s)、またはPolicyフィールドを更新し、Saveをクリックします。
アクセスキーの更新
アクセスキーを更新して、その値をローテーションします。 更新すると新しいトークンが生成され、そのキーの現在のすべてのユーザーのアクセスが取り消されます。
クライアントの更新が必要です
キーを更新すると、以前のトークンを使用するアプリケーションはアクセスできなくなります。 アクセスを回復するには、各クライアントを更新後のトークンで更新する必要があります。
アクセスキーを更新するには、次の手順を実行します。
LLMエンドポイントに移動し、Keysタブをクリックします。
更新するキーのアクションメニューをクリックし、Refreshをクリックします。
キーの更新
Refresh tokenをクリックします。
更新されたキーをコピーし、安全な場所に保存します。 Copyをクリックし、次にCloseをクリックします。 ダイアログを閉じた後は、更新されたキーを再度表示できません。
アクセスキーの削除
アクセスキーを削除するには、次の手順を実行します。
LLMエンドポイントに移動し、Keysタブをクリックします。
削除するキーのアクションメニューをクリックし、Deleteをクリックします。
削除をクリックして確定します。
キーの削除
アクセスは即時に取り消されます
アクセスキーを削除すると、そのキーの現在のすべてのユーザーのアクセスが取り消されます。 このアクションは元に戻せません。
ポリシーの作成
ポリシーは、割り当てられたアクセスキーに適用されるレート制限、トークン制限、およびIPアクセス制限を定義します。 ポリシーはLLMエンドポイントにスコープ設定され、そのLLMエンドポイント内のアクセスキー間で再利用できます。
ポリシーを作成するには、次の手順を実行します。
LLMエンドポイントに移動し、Policiesタブをクリックします。
Add policyをクリックします。
ポリシーの追加
Nameフィールドに名前を入力します。
新しいポリシーの作成
任意です。 キーごとのスロットル制限を指定するにはRate limitを展開し、次のフィールドを設定します。
Time intervalドロップダウンメニューを使用して、制限を適用する間隔を選択します。
選択した時間間隔でキーごとに許可されるリクエスト数をNumber of requestsフィールドに入力します。
任意です。 各キーのトークン利用状況のクォータを定義するにはToken limitを展開し、次のフィールドを設定します。
Time intervalドロップダウンメニューを使用して、制限を適用する間隔を選択します。
選択した時間間隔でキーごとに許可されるトークン数をNumber of tokensフィールドに入力します。
任意です。 IPアドレスでアクセスを制限するにはIP access controlを展開し、次のフィールドを設定します。
任意です。 これらのアドレスからのリクエストのみを許可するには、1つ以上のIPアドレスをAllowed IPsフィールドに入力します。 複数のIPアドレスはカンマで区切るか、106.226.96.0/20などのネットマスクを定義します。
任意です。 これらのアドレスからのリクエストをブロックするには、1つ以上のIPアドレスをBlocked IPsフィールドに入力します。 複数のIPアドレスはカンマで区切るか、106.226.96.0/20などのネットマスクを定義します。
Createをクリックします。
検証メッセージ
AI Gatewayは次の検証メッセージを返します。
| フィールド | メッセージ | 条件 |
|---|---|---|
| コネクション名、名前 | Name cannot exceed 100 characters. | 名前が100文字を超えています。 |
| API URL | Please enter a valid URL. | 値が有効なURLではありません。 |
| Attempt timeout (in seconds) | Value must be between 1 and 360 seconds. | 値がサポートされている範囲外です。 |
最終更新日: