Conversations履歴 ​

Conversationsページでは、Genieのインタラクション履歴を包括的に確認できます。これには、次のような主要な詳細を含む過去の会話スレッドの表が含まれます。

• 会話のトピック
• 会話を開始したユーザー
• 開始日時
• 最終メッセージ日時
• 開始元
• 一意の会話ID
• 発生したエラー数

会話をクリックして、Conversation detailsパネルを開くことができます。 これにより、ユーザーとGenieの間のやり取り全体を表示できます。 スレッド内の各Genie応答はインタラクティブです。 スレッドをクリックすると、右側にResponse detailsパネルが開き、その応答を生成するためにGenieが行った推論とすべてのアクションの内訳が表示されます。

Response detailsパネルには、LLM呼び出し、スキル、ナレッジベースの検索、レシピ、アプリ呼び出しなどのアクションの詳細な一覧が含まれます。 各アクションを展開して、詳細情報を表示できます。 InputタブとOutputタブを切り替えて、追加情報を表示できます。

Conversation detailsパネルでは、Genieの動作とアクションに関する包括的なオブザーバビリティを提供します。 これにより、次のことが可能になります。

• 潜在的な根本原因を追跡してエラーをデバッグする
• エラーまたは低パフォーマンスの背後にあるパターンを特定して、Genieのパフォーマンスを向上させる
• ユーザーの行動と傾向、およびGenieとスキルの利用状況を観察して、Genieのユースケースを改善する

保持と削除 ​

Workatoでは、Genieをプロダクションにデプロイする前に、組織のデータガバナンスポリシーに合わせて会話履歴の保持を設定することを推奨しています。 会話履歴には、各ユーザーの認証済みIDやリクエスト内容などの個人データが含まれるため、それに応じて管理する必要があります。 保持設定は、すでに記録されている会話に遡って適用することはできません。

90日間は、デバッグ、QAサンプリング、短期的なコンプライアンス証拠に十分な履歴を提供しながら、ほとんどの組織で保持される個人データの量を制限できます。

規制対象業界の保持要件は、組織のポリシーではなく規制によって指定される場合があります。 保持ポリシーを設定する前に、適用される規制フレームワークを確認してください。 例:

• 金融サービス：AI支援による顧客インタラクション記録について、最大7年間の保持が必要になる場合があります。
• 医療：患者データを扱うAIシステムには、特定の保持要件が適用される場合があります。

データ主体の権利 ​

会話記録は、GDPRおよび同様のプライバシーフレームワークにおけるデータ主体の権利の対象であり、個人データへのアクセス、訂正、削除の権利が含まれます。 次のプロセスが整備されていることを確認してください。

• データ主体のアクセスリクエストに応じて、特定のユーザーの会話履歴を取得する。
• 必要に応じて、特定のユーザーの会話記録を削除する。

ネイティブエクスポートではコンプライアンス要件を満たすには不十分なユースケースの場合、会話データをData tableにログとして記録し、プラットフォームのネイティブ会話履歴とは独立してエクスポート、アーカイブ、クエリできる追加のデータストアを作成できます。

権限とアクセスガバナンス ​

会話履歴には、各ユーザーの認証済みIDやリクエスト内容などの個人データが含まれます。 会話履歴へのアクセス範囲は、特定の問題のデバッグ、コンプライアンス監査の実施、ガバナンス目的でのGenieの動作確認など、正当な目的に必要な最小限のアクセスに限定する必要があります。

Genieごとに会話履歴の権限を設定できます。 追加のロールに権限が明示的に付与されていない限り、会話履歴にアクセスできるのはワークスペース所有者のみです。

次のガイダンスに基づいてアクセス権を付与してください。

• ビルダーおよびGenie所有者：管理しているGenieについて、その特定のGenieに範囲を限定して会話履歴へのアクセス権を付与します。
• コンプライアンスおよび監査チーム：規制対象のユースケースを処理するGenieに対して、読み取り専用アクセスを付与します。
• セキュリティチーム：インシデント調査のためにアクセス権を付与します。 組織のセキュリティモデルに対して、恒久的なアクセスとリクエストベースのアクセスのどちらがより適切かを検討してください。
• エンドユーザー：Agent Studioインターフェースを通じて、他のユーザーの会話履歴へのアクセス権を付与しないでください。 ユーザーは、Chatインターフェースを通じて自分の会話履歴を表示できます。
• マネージャーおよびチームリーダー：従業員の監視とAIシステムガバナンスに関する組織のポリシーに基づいて、この判断を行ってください。 正当な品質保証目的を持つマネージャーには、会話が確認される可能性のあるチームメンバーに適切に開示したうえで、読み取り専用アクセスを付与します。

会話詳細の表示 ​

GenieのOverviewページでConversationsタブをクリックすると、Genieの会話詳細にアクセスできます。

Conversationsページにアクセスするには、次の手順を実行します。

ベストプラクティス ​

Workatoでは、Genieの会話が目標に合うように調整されるよう、次のベストプラクティスを推奨しています。

更新されたジョブ説明の品質保証テストの実施 ​

ジョブ説明を変更した後、実際の会話をサンプリングし、意図した動作変更が行われ、リグレッションが発生していないことを確認します。 たとえば、新しいユースケースを追加してから48～72時間後に会話のサンプルを抽出し、各会話を確認して、Genieがリクエストを正しく分類し、適切なスキルを呼び出していることを確認します。

会話確認ワークフローの概要

• ジョブ説明の変更：ジョブ説明を更新し、変更を公開します。
• 会話のサンプリング：Conversationsページに移動し、変更後48～72時間の会話でフィルターします。
• 分類の確認：各会話が正しいユースケースカテゴリに分類され、適切なスキルが呼び出されたことを確認します。
• リグレッションの特定：分類またはスキル呼び出しが正しくない会話をリグレッションとしてフラグ付けし、結果を以前のジョブ説明バージョンと比較します。
• リグレッションの解決：リグレッションの検出結果に対処するようジョブ説明を更新し、確認を繰り返します。

ナレッジベースとスキルのパフォーマンスのギャップの特定 ​

Workatoでは、ナレッジベースとスキルのパフォーマンスのギャップを特定するために、Conversationsページを使用することを推奨しています。 大量の会話を確認すると、集計メトリクスからは見えないGenie機能の体系的なギャップを明らかにできます。 たとえば、Overviewページで応答品質が低下していることに気付いたものの、原因を特定できない場合があります。 Conversationsページに移動して長い会話やエスカレーションでフィルターし、Genieが一貫して正しく回答できていない質問カテゴリを特定できます。

ギャップ特定ワークフローの概要

• 結果でフィルター：Conversationsページに移動し、エスカレーションで終了した会話、またはユーザーが目標を達成できずに終了した会話を表示するよう結果をフィルターします。
• 会話の長さでフィルター：ターン数が多い会話に追加フィルターを適用し、摩擦が発生している箇所を特定します。
• パターンの特定：フィルターされた会話を確認し、Genieの対応が一貫しない質問タイプや表現を特定します。
• ナレッジベースのカバレッジ確認：関連コンテンツがナレッジベースに存在するか、不足しているかを確認します。
• スキルまたはナレッジベースの更新：影響を受けるスキルのWhen to Useセクションを更新するか、不足しているコンテンツをナレッジベースに追加して、ギャップに対処します。

ユースケース例 ​

次のユースケース例を参照して、Conversationsページをワークフローに適用する方法を判断してください。

コンプライアンス監査 ​

Conversationsページは、AI支援アクションに監査証跡が必要な組織に主要な監査証拠を提供します。 たとえば、コンプライアンスチームは、Genieが書き込み操作を実行する前にユーザー確認を取得したことを検証する必要があります。 チームはConversationsページを開き、関連する会話を見つけ、やり取り全体を確認して、確認が取得され、正しい承認ワークフローに従っていたことをチェックします。

ワークフローの概要

• 会話の特定：コンプライアンスチームはConversationsページを開き、確認対象のアクションに関連付けられた会話を見つけます。
• やり取りの確認：チームはConversation detailsパネルを開き、ユーザーとGenieの間のやり取り全体を確認します。
• 確認の検証：チームは、Genieが書き込み操作を実行する前にユーザー確認をリクエストし、受け取ったことを確認します。
• 承認ワークフローの確認：チームは、重要な操作に対してBusiness approvalsがリクエストされ、それに従っていたことを検証します。
• 証拠のエクスポート：チームは、AIシステム活動の証拠として会話記録をエクスポートし、監査人または規制当局に提出します。