Model Gateway ​

Model Gatewayは、アプリケーションとLLMプロバイダー間の一元的な制御ポイントです。アプリケーションは単一のOpenAI互換APIを通じて接続し、ゲートウェイがプロバイダー認証、ルーティング、ポリシー適用を処理するため、アプリケーション側でそれらを行う必要はありません。

次の図は、リクエストがModel Gatewayを経由する際の経路を示しています。

Model Gatewayを使用すると、次のことができます。

• チームにスコープ付きアクセスキーを発行: プロバイダーの認証情報を共有する代わりに、チーム、プロジェクト、またはアプリケーションごとにアクセスキーを生成します。ダウンストリームアプリケーションに触れることなくキーを取り消しまたはローテーションし、プロバイダーキーをEnvironment変数、設定ファイル、CIパイプラインに含めないようにします。
• アプリケーションを書き換えずにプロバイダーを切り替える: Workatoレシピ、Genie、Copilot、外部アプリケーションを単一のOpenAI互換API経由でルーティングします。呼び出し元アプリケーションのコードを変更せずにモデルを切り替えます。
• 利用制限を適用する: ポリシーでレート制限とトークン制限を定義し、そのポリシーをチームまたはアプリケーションが使用するアクセスキーに割り当てて、消費量に上限を設定します。
• IPアドレスでアクセスを制限: ポリシーで特定のIPアドレスまたは範囲からのリクエストを許可またはブロックします。

主要コンポーネント ​

Model Gatewayには、次のコンポーネントが含まれます。

• プロバイダー: Anthropic、OpenAI Compatible、Azure OpenAI、AWS BedrockなどのLLMサービスへの接続と、Model Gatewayが認証に使用する認証情報。プロバイダーはプロジェクトに保存され、Genieで再利用できます。
• ルート: リクエストを処理するターゲット。ルートは、直接、またはタグ、キー、パラメーター、リクエストの複雑さに一致するルールを通じて、プロバイダーとモデルに解決されます。アプリケーションは、ルートIDでルートを参照します。
• アクセスキー: アプリケーションがModel Gatewayに提示する認証情報。各access keyは、1つ以上のrouteへのアクセスを付与し、利用状況をteamまたはapplicationに帰属させます。
• ポリシー: ルートとアクセスキーに割り当てる、再利用可能なレート制限、トークン制限、IPアクセス制限。
• ダッシュボード: リクエスト量、トークン利用状況、成功率と失敗率をワークスペースレベルで可視化します。

プロバイダーの追加、ルートの作成、アクセスキーの発行、ポリシーの定義についてはModel Gatewayの設定を、ルールベースのルートやインテリジェントルートで使用するルールの定義についてはルートビルダーを、トラフィックとトークンの利用状況の監視についてはModel Gatewayダッシュボードを参照してください。

Model Gatewayの仕組み ​

アプリケーションはModel Gatewayにリクエストを送信し、アクセスキーを使用して認証します。アクセスキーによってアプリケーションが使用できるルートが決まり、指定されたルートによってリクエストを処理するプロバイダーとモデルが決まります。ポリシーが適用される場合、Model Gatewayは、リクエストがプロバイダーに到達する前に、そのポリシーのレート制限、トークン制限、IPアクセス制限を適用します。

サポート対象アプリケーション ​

Model GatewayはOpenAI互換APIを公開しているため、OpenAI SDKと互換性のあるクライアントであれば、コードを変更せずにModel Gateway経由でリクエストをルーティングできます。これには、Workatoレシピ、Genie、Copilot、および外部アプリケーションが含まれます。 Model GatewayはServer-Sent Events（SSE）をエンドツーエンドでサポートしており、ペイロード全体を待つことなく、ストリーミングレスポンスを逐次表示できます。