Overviewページ ​

Overviewページには、GenieのAIモデル、チャットインターフェイス、ジョブ説明、スキル、ナレッジベース、アプリイベントが表示されます。

Overviewページのメトリクス ​

Overviewページには、メトリクスダッシュボードが含まれています。 Agent Studioで構築された各Genieは、分析可能なインタラクションデータを生成します。 これらのメトリクスは、Genieがどれほど効果的に機能しているか、ユーザーがGenieを利用しているか、スキルとナレッジベースがどのように使用されているかを理解するのに役立ちます。 次のような主要なパフォーマンス情報を確認できます。

• 合計会話数
• エンドユーザーメッセージの合計数
• 一意のユーザー数
• 応答時間分析
• 会話量
• スキル利用状況ヒートマップ

時間範囲を選択してメトリクスを絞り込み、Overviewページのチャートとヒートマップを更新できます。 サポートされている時間範囲は次のとおりです。

• 過去1時間
• 過去24時間
• 過去7日間
• 過去30日間
• カスタム範囲

Overviewページのメトリクス

Overviewページへのアクセス ​

Overviewページにアクセスするには、次の手順を実行します。

合計会話数 ​

合計会話数レポートには、選択した時間範囲に基づいて、Genieで毎日開始された個別の会話数が表示されます。 会話とは、Genieとユーザーの間の一意のスレッドです。 各会話には個別の会話IDがあります。 このレポートでは、選択した期間内に毎日開始された新しい会話数をカウントします。

詳細については、Conversationsドキュメントを参照してください。

エンドユーザーメッセージの合計数 ​

エンドユーザーメッセージレポートには、ユーザーがGenieに送信したメッセージの合計数が表示されます。 これは、ユーザーがGenieを利用する頻度を測定するのに役立ちます。 メッセージとは、エンドユーザーから受信した任意の入力です。ただし、Genieが停止中、処理中、またはその他の非アクティブ状態の間に送信された入力は除外されます。 ビジネスイベントメッセージは合計に含まれます。 レポートには累計が表示されます。

一意のユーザー数 ​

一意のユーザーレポートは、Genieとインタラクションしている個別のユーザーを追跡します。 これは、ユーザーエンゲージメントを追跡し、利用状況が時間の経過とともに増加、安定、または減少しているかを理解するのに役立ちます。

応答時間分析 ​

応答時間分析レポートには、Genieがユーザーメッセージに応答するまでにかかる時間が表示されます。 これは、応答時間がユーザーの期待を満たしているかを評価するのに役立ちます。 応答時間は、ユーザーのメッセージからGenieの最初の返信までの期間を測定します。 応答時間はミリ秒単位で追跡され、必要に応じて秒単位で表示されます。 このレポートには、日次パフォーマンストレンドを示すために日別にグループ化された、平均、中央値、90パーセンタイルの応答時間が含まれます。

会話量 ​

会話量レポートは、時間の経過に伴う合計会話数を視覚的に表示します。 これは、エンゲージメントパターンを追跡し、利用状況が時間の経過とともに増加、安定、または減少しているかを理解するのに役立ちます。

詳細については、Conversationsドキュメントを参照してください。

スキル利用状況ヒートマップ ​

スキル利用状況ヒートマップには、Genieとのすべての会話全体で各スキルが呼び出された頻度が表示されます。 スキルは、Genieによって呼び出され、かつ応答を返した場合にのみカウントされます。 このレポートには、Genie用に作成したスキルのみが含まれます。

スキル利用状況データは、指定した期間内の会話レコードから取得されます。 このレポートには、成功率を計算するのに役立つ各スキルの実行ステータスも含まれます。 結果は使用頻度の降順で並べられます。

Overviewメトリクスのユースケース例 ​

Overviewページのメトリクス分析を通じて、Genieのパフォーマンスに関するInsightsを得ることができます。

物流コーディネーターGenie ​

Overviewページのメトリクスを使用して、運用の信頼性とパートナーパフォーマンスを監視できます。 例:

• スキル利用状況ヒートマップ: Track shipmentやUpdate inventoryなど、どの物流アクションが最も頻繁に使用されているかを特定し、カバレッジがユーザーニーズに合っていることを確認します。

• スキル解決メトリクス: 倉庫データベースや配送業者APIなどの外部システムに接続するスキルの成功率と失敗率を測定します。 失敗率が高い場合、連携の問題やデータ形式の不一致を示している可能性があります。

• 合計会話数: 従業員が配送ステータスの確認や例外の報告のためにGenieを利用する頻度を監視します。 会話の急増は、物流の混乱を示している可能性があります。

• 一意のユーザー数: 倉庫チームとオペレーションチーム全体での導入状況を追跡します。 ユーザー数の減少は、時間的制約のある更新にGenieが使用されていないことを示している可能性があります。

• 応答時間分析: 混乱への対応や配送経路の変更に十分な速さで、ユーザーが更新を受け取っているかを評価します。

データアナリストGenie ​

Overviewページを使用して、データカバレッジ、レポートの信頼性、ステークホルダーエンゲージメントを追跡できます。 例:

• スキル利用状況ヒートマップ: Query data、Generate chart、Explain trendなど、ユーザーが1回の会話で複数の分析スキルをトリガーしているかを判断し、複雑なワークフローがサポートされていることを確認します。

• 会話量: ビジネス関係者が定期的なInsightsではなく、オンデマンドレポートのためにGenieに依存する頻度を測定します。

• 応答時間分析: トレンド分析などの大規模なクエリに対する応答が、許容可能なしきい値内で返されていることを確認します。

R&DワークフローGenie ​

Overviewページを使用して、科学的エンゲージメント、コラボレーションの深さ、再現可能なワークフローのサポートを測定できます。 例:

• スキル利用状況ヒートマップ: Log experiment、Summarize results、Track dataset versionsなど、どのワークフローが最も使用されているかを判断します。 これは、研究プロセスのどの部分が最も頻繁に自動化されているかを明らかにするのに役立ちます。

• 会話量のトレンド: 会話の急増を、既知のプロジェクト期限、助成金申請、または進行中の実験と関連付けます。

• 一意のユーザー追跡: 研究チームまたは部門全体でGenieがどれほど広く導入されているかを測定します。