Model Gatewayの設定 ​

Model Gatewayを設定して、LLMプロバイダーに接続し、各リクエストを処理するモデルを決定するルートを作成し、それらを利用できるユーザーを制御するアクセスキーを発行します。

Model Gatewayの設定は、3つのオブジェクトを基盤としています。次の順序で作成します。

1. Provider: AnthropicやAzure OpenAIなどのLLMサービスへのコネクションと、Model Gatewayが認証に使用する認証情報。
2. Route: リクエストを処理するターゲット。ルートは、直接またはルールを通じてプロバイダーとモデルに解決されます。
3. Access key: アプリケーションがModel Gatewayに提示する認証情報。各アクセスキーは1つ以上のルートへのアクセスを許可します。

Policiesは任意です。割り当てられたルートとアクセスキーのリクエストレートまたはトークン利用量に上限を設定する必要がある場合、またはIPアドレスによってアクセスを制限する必要がある場合は、ポリシーを作成します。

プロバイダーの追加 ​

ルーティングする予定の各LLMサービスごとにプロバイダーを追加します。 Model GatewayはAnthropic、OpenAI Compatible、Azure OpenAI、AWS Bedrockをサポートします。 Add a providerを参照してください。

ルートの作成 ​

プロバイダーとモデルに解決されるルートを作成します。すべてのリクエストを1つのモデルに送信するダイレクトルートを選択するか、リクエストごとにモデルを選択するルールベースまたはインテリジェントルートを選択します。 Create a routeを参照してください。

アクセスキーの作成 ​

各チームまたはアプリケーション用にアクセスキーを作成し、そのキーが使用できるルートを選択します。アクセスキーを作成を参照してください。

ルートのテスト ​

アクセスキーとルートIDを含むリクエストを送信して、ルートが正しく動作することを確認します。 Test a routeを参照してください。

Anthropic互換クライアントの接続 ​

Claude Desktop、Claude Code、またはAnthropic SDKを設定し、リクエストを直接Anthropicに送信するのではなくModel Gateway経由で送信するようにします。 Connect clientsを参照してください。

ポリシーの作成 ​

任意。レート制限、トークン制限、およびIPアクセス制限を適用するポリシーを作成し、それをアクセスキーまたはルートに割り当てます。 Create a policyを参照してください。

検証メッセージ ​

Model Gatewayは、次の検証メッセージを返します。