Agent Studioテストモード
テストモードでは、Development中にライブの分離されたEnvironmentでGenieを実行できます。 Genieと直接チャットし、頻繁に繰り返すシナリオを設定して特定の応答をテストできます。 LLMはジョブの説明を読み取り、スキルを呼び出し、ナレッジベースを検索します。この設定はプロダクションの動作を反映します。
テストモードでは、独自の質問をしたり、確立済みの一般的なシナリオセットを使用したりして、Genieをテストできます。たとえば、認証の問題のサンプルシナリオには、次のプロンプトを含めることができます:
I can't log in to my account.Can you reset my password?My user ID isn't recognized.
シナリオにカスタムプロンプトを追加して、特定のユースケースでGenieがどのように動作するかを確認できます。ユーザーにテストアクセスを付与する方法の詳細については、Permissions and access governanceを参照してください。
テストモードワークフロー
テストモードは次のワークフローに依存します:
スキルはライブの接続済みシステムに対して実行されます: プロダクションHRシステムに接続されたSubmit Leave Requestスキルは、テスト中に実際の休暇申請を送信します。書き込み操作をトリガーするテストを実行する前に、スキルを一時的にサンドボックスEnvironmentに接続するか、作成されるものをすべて元に戻す準備をしてください。レシピは、テストセッションから呼び出されていることを認識しません。
中間メッセージは実行中に表示されます: 中間メッセージはテストモードで表示され、プロダクションで表示されるメッセージと同等です。 Genieは、最終応答が生成される前にタスクを処理する際、リアルタイムのステータス更新や部分的な検出結果を含む中間メッセージを送信します。中間メッセージはSlack、Microsoft Teams、およびWorkato GOでサポートされています。たとえば、ユーザーがGenieにナレッジベースの要約を依頼した場合、Genieは最終的な2文の要約を返す前に、
I'll search the knowledge base and provide you with a summaryなどの中間メッセージを最初に送信します。テストモードを使用すると、会話履歴パネルで中間メッセージを確認し、Genieが各ステップで進行状況を正確かつ有用に伝えていることを検証できます。
Intermediate messagesは、サポートされているすべてのチャットインターフェースで自動的に有効になります。プロジェクトレベルでGenieの中間メッセージを無効にできます。詳細については、中間メッセージを無効にするを参照してください。
各テストセッションは独自の会話コンテキストを保持します: Genieは同じテストセッション内で以前に発言された内容を記憶します。つまり、リセットせずに複数のテストシナリオを連続して実行できますが、最初のシナリオのコンテキストが2番目のシナリオに影響し、誤解を招く結果が生成されます。シナリオ間でリセットボタンを使用して、会話履歴をクリアし、新しく開始します。
テストモードではエンドユーザーのアイデンティティではなく、ビルダーのアイデンティティが使用されます: リクエストしたユーザーの資格情報で実行するためにVerified User Accessを使用するスキルは、テストモードで呼び出されると、ビルダーとしての資格情報を使用します。休暇残高の取得など、アイデンティティに依存する動作は、エンドユーザーではなく自分のアカウントを反映します。結果を確認するときは、この点を考慮してください。
テストモードコネクション
Genieは、スキルがVerified user accessを使用している場合でも、レシピで確立されたコネクションを使用してスキルを実行します。つまり、テスト時にGenieはスキルで設定されたエンドユーザーのコネクションを使用しません。
テスト中にスキル実行の問題が発生した場合は、次の手順を実行します:
レシピのコネクションが適切に設定され、認証されていることを確認します。
レシピのロジックをチェックして、想定どおりに動作していることを確認します。
コネクションに、テストする予定の操作に必要な権限とスコープが含まれていることを確認します。
サンプルシナリオとテストメッセージの作成
カスタムサンプルシナリオを作成し、独自のメッセージを追加できます。各シナリオに複数のメッセージを追加できます。テストの構成方法の詳細な例については、Best practices for testing agentsを参照してください。
サンプルシナリオとメッセージを作成するには、次の手順を実行します:
Workatoアカウントにサインインします。
AI Hub > Agent Studioに移動します。既存のGenieのリストが表示されます。
シナリオとメッセージを追加するGenieを選択します。
モード切り替えをクリックして、Buildからテストに切り替えます。
テストを開始セクションに移動し、+シナリオを追加をクリックします。
テストを開始セクション
シナリオの名前と説明を入力します。
シナリオを追加
シナリオを追加をクリックします。新しいシナリオがサイドバーに表示されます。
+メッセージを追加をクリックします。
シナリオに追加するメッセージを入力します。
メッセージを入力
✓（チェックマーク）アイコンをクリックしてメッセージを保存します。
サンプルシナリオのメッセージオプションからメッセージを選択します。メッセージは自動的にログに記録され、会話履歴パネルに保存されます。
サンプルシナリオメッセージの編集
サンプルメッセージを編集するには、次の手順を実行します:
Workatoアカウントにサインインします。
AI Hub > Agent Studioに移動します。既存のGenieのリストが表示されます。
テストするGenieを選択します。
モード切り替えをクリックして、Buildからテストに切り替えます。
テストを開始セクションに移動し、使用するサンプルシナリオを選択します。
編集するメッセージをクリックします。
...（省略記号）をクリックし、メッセージを編集を選択します。
ユースケースに合わせてメッセージを更新します。
✓（チェックマーク）アイコンをクリックして、更新したメッセージを保存します。
サンプルシナリオのメッセージオプションから、編集したメッセージを選択します。メッセージは自動的にログに記録され、会話履歴パネルに保存されます。
最終更新日: