Model Gateway ​

Model Gatewayは、アプリケーションとLLMプロバイダー間の一元的な制御ポイントです。アプリケーションはOpenAI互換またはAnthropic互換APIを通じて接続し、プロバイダ認証、ルーティング、ポリシー適用はゲートウェイ側で処理されるため、各アプリケーションで対応する必要はありません。

次の図は、リクエストがModel Gatewayを経由する際の経路を示しています。

Model Gatewayを使用すると、次のことができます。

• チームにスコープ付きアクセスキーを発行: プロバイダーの認証情報を共有する代わりに、チーム、プロジェクト、またはアプリケーションごとにアクセスキーを生成します。キーを下流のアプリケーションに触れることなく失効またはローテーションし、プロバイダーキーを環境変数、構成ファイル、CIパイプラインに含めないようにします。
• アプリケーションを書き換えずにプロバイダを切り替え: Workatoレシピ、Genie、Copilot、外部アプリケーションを、OpenAI互換およびAnthropic互換のリクエストを受け付ける単一のゲートウェイ経由でルーティングします。両方のAPIはOpenAI、Anthropic、Azure OpenAI、AWS Bedrockなど、どのプロバイダとも連携できるため、呼び出し元アプリケーションのコードを変更せずにモデルやプロバイダを切り替えることができます。
• 利用制限を適用する: ポリシーでレート制限とトークン制限を定義し、そのポリシーをチームまたはアプリケーションが使用するアクセスキーに割り当てて、消費量に上限を設定します。
• IPアドレスでアクセスを制限: ポリシーで特定のIPアドレスまたは範囲からのリクエストを許可またはブロックします。

主要コンポーネント ​

Model Gatewayには、次のコンポーネントが含まれます。

• Providers: Anthropic、OpenAI Compatible、Azure OpenAI、AWS Bedrock などの LLM サービスへの接続と、Model Gateway が認証に使用する認証情報。プロバイダーはプロジェクトに保存され、Genieで再利用できます。
• Routes: リクエストを処理するターゲット。ルートは、直接、またはタグ、キー、パラメーター、リクエストの複雑さに一致するルールを通じて、プロバイダーとモデルに解決されます。アプリケーションは、ルートIDでルートを参照します。
• Access keys: アプリケーションが Model Gateway に提示する認証情報。各access keyは、1つ以上のrouteへのアクセスを付与し、利用状況をteamまたはapplicationに帰属させます。
• Policies: ルートおよびアクセスキーに割り当てることができる、再利用可能なレート制限、トークン数の上限、および IP アクセス制限。
• Dashboard: リクエスト量、トークン利用状況、成功率および失敗率に関するワークスペースレベルの可視性。

これらのコンポーネントを設定する順序については、Configure Model Gateway を参照してください。アクセスキーを作成したら、ルートをテストし、クライアントを接続します。

Model Gatewayの仕組み ​

アプリケーションはModel Gatewayにリクエストを送信し、アクセスキーを使用して認証します。アクセスキーによってアプリケーションが使用できるルートが決まり、指定されたルートによってリクエストを処理するプロバイダーとモデルが決まります。ポリシーが適用される場合、Model Gatewayは、リクエストがプロバイダーに到達する前に、そのポリシーのレート制限、トークン制限、IPアクセス制限を適用します。

サポート対象アプリケーション ​

Model Gatewayは、Genie、Workatoレシピ、外部アプリケーションなどのクライアントがコードを変更せずにルーティングできるAPIを2種類公開します:

• OpenAI互換API: OpenAI SDKと互換性のある任意のクライアント、Workatoレシピ、Genie、Copilot、外部アプリケーションを含みます。
• Anthropic互換API: Anthropic Messages APIを使用するクライアント、Claude Desktop、Claude Code、Anthropic SDKで構築されたアプリケーションなど。クライアントのベースURLを<model-gateway-host>/anthropic、例えばhttps://ai.workato.com/anthropicに設定します。このAPIは/anthropic/v1/messagesおよび/anthropic/v1/messages/count_tokensエンドポイントをサポートします。 Claude Desktop、Claude Code、および Anthropic SDK を設定するには、Connect Anthropic-compatible clients を参照してください。

両方のAPIは、背後にあるプロバイダに関係なく、すべてのルートで利用できます。例えば、Anthropic SDKで構築されたアプリケーションは、Anthropic互換API経由で、OpenAIやAWS Bedrockをバックエンドとするルートにリクエストを送信できます。クライアントが使用するAPI形式によって、特定のプロバイダに固定されることはありません。

Model Gatewayは両方のAPIでエンドツーエンドのServer-Sent Events（SSE）をサポートしており、応答全体のペイロードを待たずにトークンを逐次ストリーミングして表示できます。