AI Gateway ​

AI Gatewayは、アプリケーションとLLMプロバイダーの間にある単一の制御ポイントです。 アプリケーションは1つのOpenAI互換エンドポイントに接続し、ゲートウェイがプロバイダー認証、ルーティング、ポリシー適用を処理するため、アプリケーション側で対応する必要はありません。

AI Gateway

AI Gatewayを使用して、次の操作を実行できます。

• チームにスコープ付きアクセスキーを発行: プロバイダーの認証情報を共有する代わりに、チーム、プロジェクト、またはアプリケーションごとにアクセスキーを生成します。 ダウンストリームアプリケーションに触れることなくキーを取り消しまたはローテーションし、プロバイダーキーをEnvironment変数、設定ファイル、CIパイプラインに含めないようにします。
• 利用制限を適用: ポリシーでレート制限とトークン制限を定義し、そのポリシーをチームまたはアプリケーションが使用するアクセスキーに割り当てて、消費量に上限を設定します。
• IPアドレスでアクセスを制限: ポリシーで特定のIPアドレスまたは範囲からのリクエストを許可またはブロックします。
• アプリケーションを書き直さずにプロバイダーを切り替え: Workatoレシピ、Genie、Copilot、および外部アプリケーションを単一のOpenAI-compatibleエンドポイント経由でルーティングします。 呼び出し元アプリケーションのコードを変更せずにモデルを切り替えます。

主要コンポーネント ​

AI Gatewayには次のコンポーネントが含まれています。

• プロバイダー: Anthropic、OpenAI Compatible、Azure OpenAI、AWS Bedrock、Google GeminiなどのLLMサービスへの接続、およびAI Gatewayが認証に使用する認証情報。 プロバイダーはプロジェクトに保存され、Genieで再利用できます。
• LLMエンドポイント: アプリケーションが呼び出すURL。 各LLMエンドポイントには、独自のルート、アクセスキー、ポリシーが含まれます。
• ルート: 1つのプロバイダーと1つのモデルの組み合わせであり、独自のタイムアウトと再試行制限があります。 アプリケーションは、プロンプト呼び出しでルート名をmodelフィールドの値として渡すことで、そのルートを参照します。
• アクセスキー: アプリケーションがAI Gatewayに提示する認証情報。 各アクセスキーは1つ以上のルートへのアクセスを許可し、利用状況をチームまたはアプリケーションに帰属させます。
• ポリシー: アクセスキーに割り当てる、再利用可能なレート制限、トークン制限、IPアクセス制限。

プロバイダーの追加、LLMエンドポイントとルートの作成、アクセスキーの発行、ポリシーの定義については、AI Gatewayの設定を参照してください。

AI Gatewayの仕組み ​

アプリケーションはLLMエンドポイントにリクエストを送信し、アクセスキーで認証します。 アクセスキーによって、アプリケーションが使用できるルートが決まり、各ルートによって、リクエストを処理するプロバイダーとモデルが決まります。 アクセスキーにポリシーが割り当てられている場合、リクエストがプロバイダーに到達する前に、AI Gatewayがポリシーのレート制限、トークン制限、およびIPアクセス制限を適用します。

サポート対象アプリケーション ​

OpenAI SDKと互換性のあるクライアントであれば、ゲートウェイがOpenAI-compatible APIを公開しているため、コードを変更せずにAI Gateway経由でルーティングできます。 これには、Workatoレシピ、Genie、Copilot、および外部アプリケーションが含まれます。 AI Gatewayは、ストリーミングレスポンスを完全なペイロードを待たずに段階的にレンダリングできるように、Server-Sent Events (SSE)をエンドツーエンドでサポートします。