Genieガバナンス ​

エンタープライズのGenieデプロイメントには、3つの明確なセキュリティ上の懸念事項があります。 各懸念事項は、構築の異なるレイヤーで対処されます。

• アイデンティティ：Genieは多くの場合、レコードの作成、個人データの取得、リクエストの送信など、ユーザーに代わってアクションを実行します。 これらのアクションには、検証済みのユーザーIDが必要です。 会話テキストから確立されたIDは信頼できません。 ユーザーはチャットメッセージ内で任意の名前、ロール、メールアドレスを名乗ることができ、LLMは多くの場合それを受け入れます。 認証済みのプラットフォームコンテキストから派生したIDは偽造できません。 この区別は、他のすべてのセキュリティ制御の基盤です。

• 行動操作：LLMは指示に従うように設計されています。 この特性により、LLMは敵対的な指示の影響を受けやすくもなります。 脅威には、Genieが処理するドキュメントに埋め込まれたプロンプトインジェクションの試み、ロールプレイ要求を通じたソーシャルエンジニアリング、昇格されたアクセスの解除を目的とした権限の主張、Genieを禁止された動作へと向かわせる段階的なスコープ拡大が含まれます。 これらの脅威はジョブ記述で対処します。明示的なセキュリティ保護、許可および禁止されるアクションの明確な定義、操作の試みに関与せずリダイレクトするレスポンステンプレートを通じて対処します。

• PIIデータの露出：個人を特定できる情報（PII）は、名前、メールアドレス、国民識別番号、健康データ、財務情報など、エンタープライズデータ全体に存在します。 Genieはこのデータを取得、処理、保存し、そのデータはLLMを通過します。 これにより、多くの組織にとってコンプライアンス上の疑問が生じます。PIIはそもそもLLMに到達すべきでしょうか。 答えはユースケースと組織の規制上の義務によって異なります。 PIIを管理するための制御は3つの明確なレイヤーで機能し、個別に、または組み合わせて適用できます。