ナレッジベース設計のベストプラクティス ​

ナレッジベースは、特定の用途またはトピックにスコープを絞ると、最適な結果を提供します。 データが多すぎるナレッジベースや、ITポリシーとHR手順および営業プレイブックが混在するナレッジベースでは、検索結果の品質が低下します。 説明があいまいなナレッジベースは、いつ検索すべきかを判断できないGenieを生み出します。

このページでは、効果的な検索のために、ナレッジベースに含める内容、スコープの設定方法、説明方法、コンテンツの構造化方法について説明します。

機能領域にスコープを絞る ​

スコープ設定において最も重要な判断は、ナレッジベースのコンテンツ境界をどの程度広く定義するかです。 Genieごと、機能領域ごとに1つのナレッジベースを使用します。

ITヘルプデスクポリシー、HR休暇手順、営業競合インテリジェンスなど、機能領域にスコープを絞ったナレッジベースは、コンテンツのセマンティック空間に一貫性があるため、信頼性の高い検索を実現します。 すべてのコンテンツが同じドメインに関するものであるため、意味的に最も類似したフラグメントは、ほぼ常に質問に関連しています。

会社全体にスコープを設定したナレッジベースは、セマンティック空間が広すぎるため、検索の信頼性が低下します。 育児休暇の資格について質問した従業員が、ITセキュリティポリシーのフラグメントを受け取る場合があります。これは、どちらのドキュメントも従業員の責任やコンプライアンス要件について類似した表現を使用しているためです。 検索結果は意味的には妥当に見えますが、コンテキストとしては誤っています。

設計上の判断 ​

ナレッジベースを構築する前に、次の設計上の質問に対する答えを決定します。

• このナレッジベースにはどのコンテンツを含めるか: Confluenceスペース、Google Driveフォルダ、ポリシードキュメントライブラリなど、具体的なソースを指定します。 列挙できる程度に具体的にします。 列挙できない場合、スコープが広すぎます。

• どの取り込みパスを使用するか: 小規模で安定したコンテンツライブラリの場合、直接ファイルアップロードは、初回構築で動作するナレッジベースを作成する最短の方法です。 コンテンツの量が多い場合や頻繁に変更される場合は、ナレッジレシピの方が適しています。 ユーザーレベルのアクセス制限があるコンテンツには、Workato GOデータソースを使用します。 詳細については、2つの取り込みパスを参照してください。

• ナレッジベースにどの説明を設定するか Agent Studioを開く前に説明を作成します。 Genieはこの説明を読み、このナレッジベースをいつ検索するかを判断します。 スキルのWhen to Useセクションと同じ形式で記述します。 説明には、利用可能なコンテンツ、回答できる質問、Genieが検索すべきタイミング、検索すべきでないタイミングを含める必要があります。

適切にスコープ設定されたナレッジベースの例 ​

次の各例には、一貫性のあるコンテンツドメイン、明確な想定ユースケース、特定のGenieコンテキストがあります。

避けるべきアンチパターン ​

ナレッジベース設計で最も一般的な誤りは、ITポリシー、HR手順、営業プレイブック、財務ガイドライン、法務ドキュメントを含む単一のナレッジベースを作成することです。 このタイプのナレッジベース設計では、次の問題が発生します。

• ドメインをまたぐ検索ノイズ: Genieが誤ったドメインからフラグメントを取得します。
• 検索速度の低下: 大規模で広範なナレッジベースの検索は、小規模で焦点を絞ったナレッジベースの検索よりも時間がかかります。
• メンテナンスの困難化: コンテンツの一部を更新する場合、他のドメインを汚染しないよう慎重に対応する必要があります。
• Genieの動作のあいまい化: すべてが1か所にある場合、Genieはどの種類の質問に対してどのドメインを検索すべきかを判断できません。

分離された、焦点を絞ったナレッジベースを構築します。 管理オーバーヘッドが多少増えても、検索品質の向上に見合う価値があります。

意味のあるナレッジベース説明を書く ​

ナレッジベースの説明は、ナレッジベースで指定する最も重要なフィールドの1つです。

Genieは質問に回答するために検索するナレッジベースを決定する際、ナレッジベースの説明を読みます。 ナレッジベースに含まれる内容と使用タイミングを明確に伝える説明により、信頼性の高いナレッジベース選択が可能になります。 説明があいまい、または欠落していると、Genieは推測せざるを得ません。

適切に記述されたナレッジベースの説明は、次の3つの質問に答えます。

• このナレッジベースにはどのコンテンツが含まれているか
• どの種類の質問に回答できるか
• Genieはいつ検索すべきか

推奨

全従業員区分のHR休暇ポリシー、取得資格
基準、休暇タイプの定義、および
休暇付与ルールが含まれます。
従業員から休暇ポリシー、休暇の取得資格、
特定の休暇タイプの仕組み、または休暇付与の
計算方法について質問された場合は、
このナレッジベースを使用します。

非推奨

HRドキュメント

ナレッジベース1

良い説明は、ここに何があり、いつ使用すべきかをGenieに正確に伝えます。 悪い説明は、Genieに有用なシグナルを与えません。

作成するすべてのナレッジベースに説明を記述します。 説明は、ナレッジベース用のスキルプロンプトとして扱います。 これは、このナレッジベースが現在の質問に関連しているかどうかを判断する際にGenieが読む、いつ使用するかの指示です。

大規模なナレッジベースを分割する ​

コンテンツドメインが広い場合、または大量のドキュメントが取り込まれた場合など、ナレッジベースが大きくなったときは、より小規模で焦点を絞ったナレッジベースに分割することを検討します。 ナレッジベースを分割する理由は2つあります。

• 検索精度: 小規模で焦点を絞ったナレッジベースは、より正確な検索結果を生成します。 ベクターストアが数千のドキュメントフラグメントを含む大規模なナレッジベースを検索する場合、意味的に最も類似したフラグメントが、質問の対象とは異なるドメイン部分から取得されることがあります。 小規模なナレッジベースでは、適切なフラグメントと競合する無関係なフラグメントが少なくなります。

• トークン効率: Genieがナレッジベースから取得するフラグメントは、コンテキストウィンドウの領域を消費します。 大規模なナレッジベースは、Genieが応答を作成する前に、まとめてコンテキストのかなりの部分を消費する複数の大きなフラグメントを返す場合があります。 小規模なナレッジベースは、コンテキストウィンドウの領域をより効率的に使用する、焦点を絞った結果を返します。

ナレッジベースに数百件を超えるドキュメントが含まれている場合、または特定のクエリタイプで検索品質が低下している場合は、そのナレッジベースを、より焦点を絞った2つまたは3つのナレッジベースに分割できるか検討します。

ナレッジベースを分割する場合は、関連するユースケースカテゴリごとに各ナレッジベースを名前で参照するようにジョブの説明を更新します。 Genieは、どの種類の質問に対して、分割されたどのナレッジベースを検索すべきかを把握している必要があります。

ジョブの説明でナレッジベースを名前で参照する ​

Genieが複数のナレッジベースに接続されている場合、ジョブの説明は、各ユースケースカテゴリに対してどのナレッジベースを検索すべきかをGenieに伝えます。 この指示により、Genieがすべてのクエリに対してすべてのナレッジベースを検索することを防止できます。

各ナレッジベースを、ワークスペース内で使用されているものと同じ正確な名前で参照します。 名前が正確に一致することで、Genieは正しいナレッジベースを明確に識別できます。 例:

ナレッジベース検索

ポリシーに関する質問の場合：
"HR Policies | HR Assistant"のみを
検索します

ITトラブルシューティングの場合：
"Confluence | IT Genie"のみを
検索します

競合に関する質問の場合：
"Highspot | Sales Competitive Intelligence"のみを
検索します

スキルによってデータが提供されるユースケースでは、
ナレッジベースを検索しないでください。
すべてのトランザクションデータ取得には
スキルを使用します。

do not search knowledge bases for transactional data指示により、スキルを代わりに使用すべき場合に、Genieがナレッジベースから構造化データの質問に回答することを防止できます。 この指示がない場合、Genieはスキルを呼び出すべき場面でナレッジベースを検索する可能性があります。

ナレッジベースループを防止する ​

ナレッジベースループは、Genieがナレッジベースを検索し、満足できる回答が見つからず、再度検索しても満足できる回答が見つからず、検索を続ける場合に発生します。 これにより、コンテキストウィンドウの領域が消費され、レイテンシが増加し、多くの場合、2回目または3回目の試行でも初回より良い回答は得られません。

ジョブの説明に明示的な呼び出し制限の指示を含めて、ナレッジベースループを防止します。

各ナレッジベースは、ユーザーの質問ごとに
1回だけ呼び出してください。初回の検索で
関連する回答が得られない場合は、
再検索しないでください。
代わりに、その情報を持っていないことを
ユーザーに伝え、[関連チーム]に直接
連絡するよう提案してください。

この指示は、処理の一部としてGenieがナレッジベースを検索する必要がある任意のイベントタイプのApp Event Business Dataプロンプトにも適しています。 Business Dataプロンプトの上部付近にCritical Instructionとして含めます。

コンテンツの取り込みパスを選択する ​

コンテンツをナレッジベースに取り込むメカニズムには、Workato GOデータソースとナレッジベースレシピの2つがあります。 取り込みパスの選択には、見落としやすい重要な意味があります。

• Workato GOデータソースは権限を認識します: Google Drive、Confluence、SharePointなどのWorkato GOデータソースを通じて取り込まれたコンテンツは、ソースシステムの権限モデルに従います。 ネイティブシステムで特定のConfluenceページにアクセスできないユーザーは、Genieのナレッジベース検索を通じてそのページからフラグメントを取得できません。

• ナレッジベースレシピは権限を認識しません: カスタムレシピを通じて取り込まれたコンテンツは、ソースシステムでの権限に関係なく、Genieとやり取りするすべてのユーザーにデータを提供します。 ConfluenceでHRマネージャーに制限されているドキュメントも、レシピを通じて取り込まれると、Genie経由ですべての従業員がアクセスできるようになります。

ソースシステムでアクセス制限があるコンテンツには、Workato GOデータソースを使用します。 ナレッジベースレシピは、Genieとやり取りするすべてのユーザーに適したコンテンツにのみ使用します。

この区別は、特に次の場合に重要です。

• 従業員とマネージャーで異なるコンテンツを含むHRドキュメント
• アクセスが制限された財務ドキュメント
• 配布が制限された法務ドキュメント
• ソースシステムで機密または制限付きとしてマークされた任意のコンテンツ

コンテンツにアクセス制限があるかどうか不明な場合は、Workato GOデータソースを使用します。