AI Gateway ​

AI Gatewayは、アプリケーションとLLMプロバイダーの間にある単一の制御ポイントです。 アプリケーションは1つのOpenAI-compatibleエンドポイントに接続し、ゲートウェイがプロバイダー認証、ポリシーの適用、オブザーバビリティを代行します。

AI Gateway

AI Gatewayを使用すると、次のことができます。

• スコープ付きAPIキーをチームに発行: プロバイダー認証情報を共有する代わりに、チーム、プロジェクト、またはアプリケーションごとにAPIキーを生成します。 ダウンストリームアプリケーションに触れることなくキーを取り消しまたはローテーションし、プロバイダーキーをEnvironment変数、設定ファイル、CIパイプラインに含めないようにします。
• AI支出を管理: キーごとにトークン利用状況の予算を設定し、コストを消費したチーム、プロジェクト、またはワークスペースに帰属させます。 隠れたトークンを消費する推論モデルを考慮し、リクエストがプロバイダーに到達する前に想定外の支出を停止します。
• 一貫した安全性ポリシーを適用: アプリケーションごとにポリシーを実装する代わりに、構成可能な単一のポリシーチェーンを通じて、すべてのLLMリクエストにPIIフィルタリング、コンテンツチェック、プロンプトインジェクション防御を適用します。
• アプリケーションを書き直さずにプロバイダーを切り替え: Workatoレシピ、Genie、Copilot、および外部アプリケーションを単一のOpenAI-compatibleエンドポイント経由でルーティングします。 呼び出し元アプリケーションのコードを変更せずに、モデルを切り替えたり、バックアッププロバイダーにフェイルオーバーしたりできます。

主要コンポーネント ​

AI Gatewayには次のコンポーネントが含まれています。

• キー: 呼び出し元アプリケーションを認証し、利用状況をチームまたはプロジェクトに帰属させるAPIキー。
• プロバイダー: OpenAI、Anthropic、Azure OpenAI、AWS Bedrock、Google Vertex AI、カスタムOpenAI-compatibleエンドポイントなどのLLMサービスへの接続。
• ポリシー: YAMLで定義され、すべてのリクエストが通過するチェーンに構成される再利用可能なルール。 利用可能なポリシータイプには、PIIマスキング、レート制限、トークン制限、利用状況制限、静的ルーティング、リクエスト再試行があります。
• ダッシュボード: リクエスト量、トークン消費量、レイテンシ、成功率と失敗率、上位コンシューマー、コストのオブザーバビリティ。

AI Gatewayの仕組み ​

AI Gatewayへのすべてのリクエストは、アップストリームプロバイダーに到達する前に、構成可能なポリシーチェーンを通過します。 ポリシーは順番に実行され、どのポリシーもリクエストをショートサーキットできます。たとえば、レート制限の超過を理由に拒否したり、キャッシュされたレスポンスを返したりできます。

実行する順序でポリシータイプを配置して、ポリシーチェーンを構成します。

サポート対象アプリケーション ​

OpenAI SDKと互換性のあるクライアントであれば、ゲートウェイがOpenAI-compatible APIを公開しているため、コードを変更せずにAI Gateway経由でルーティングできます。 これには、Workatoレシピ、Genie、Copilot、および外部アプリケーションが含まれます。 AI Gatewayは、ストリーミングレスポンスを完全なペイロードを待たずに段階的にレンダリングできるように、Server-Sent Events (SSE)をエンドツーエンドでサポートします。

その他のリソース ​

• AI Gatewayの設定: プロバイダーの追加、APIキーの作成、ポリシーの定義を行います。
• AI Gatewayの監視: トラフィック、コスト、レイテンシ、上位コンシューマーを表示します。