AIエージェント分析
AI エージェント分析 を使用すると、AI エージェントとツールのパフォーマンスと使用状況の指標を監視できます。エージェントの有効性、応答時間、インタラクション量、ツールの使用状況を追跡して、AI を活用した顧客サービス業務を最適化します。
AI エージェント分析は、次の 2 つの主要なカテゴリで構成されています。
- AIエージェントのパフォーマンス - AIエージェントのパフォーマンス、ツールの使用状況、セッションアクティビティを監視します。AI エージェント、ツール、セッションの 3 つの専用タブから特殊な指標にアクセスできます。
- ナレッジエージェント分析 - ナレッジベースのパフォーマンスとコンテンツの有効性を追跡します。Analyze AI エージェントが知識リソースをどのように活用して正確な応答を提供するかを分析します。
AIエージェントのパフォーマンス
AIエージェントのパフォーマンスは、AIエージェント、ツールの使用状況、セッションアクティビティに関する包括的な洞察を提供します。パフォーマンス指標を監視し、最適化の機会を特定し、AI エージェントが顧客とのやり取りをどれだけ効果的に処理するかを追跡します。
ページの上部で、次のタブを切り替えることができます。
- AIエージェント
- ツール
- セッション
AIエージェント [#ai-agents-ai-agent-performance]
AI エージェント タブには、すべての AI エージェントのパフォーマンス メトリックが表示されます。エージェントの有効性、応答時間、対話量を監視して、最適なパフォーマンスを確保します。
概要
| メトリック | 説明 |
|---|---|
| エージェント総数 | システム内の AI エージェントの総数。 |
| 平均応答時間 | AI エージェントが顧客とのやり取りに応答するのにかかった平均時間 (ミリ秒単位)。 |
| 総インタラクション数 | すべての AI エージェントによって処理されたインタラクションの合計数。 |
| 総失敗数 | 失敗した AI エージェント インタラクションの合計数。 |
エージェント別パフォーマンス
エージェント別のパフォーマンス セクションには、各 AI エージェントの詳細なメトリックが表示されます。
| コラム | 説明 |
|---|---|
| エージェント名 | AI エージェントの名前。 |
| インタラクション | このエージェントによって処理されたインタラクションの数。 |
| 平均応答時間(ミリ秒) | このエージェントの平均応答時間 (ミリ秒単位)。 |
| 失敗 | このエージェントの失敗したインタラクションの数。 |
| 成功率 | このエージェントの成功したインタラクションの割合。 |
ツール [#tools-ai-agent-performance]
ツール タブには、AI エージェントが使用するすべてのツールのパフォーマンス メトリックが表示されます。ツールの有効性、通話量、成功率を監視して、AI エージェントが信頼性が高く効率的なツールにアクセスできるようにします。
概要
| メトリック | 説明 |
|---|---|
| 総ツール数 | AI エージェントが使用できるツールの総数。 |
| ツール呼び出しの合計 | AI エージェントによってツールが呼び出された合計回数。 |
| 平均通話時間 | ツール呼び出しの実行にかかった平均時間 (ミリ秒単位)。 |
| 全体的な成功率 | すべてのツールで成功したツール呼び出しの割合。 |
ツール別パフォーマンス
ツール別パフォーマンス セクションには、各ツールの詳細なメトリックが表示されます。
| コラム | 説明 |
|---|---|
| ツール名 | ツールの名前。 |
| 総通話数 | このツールが呼び出された回数。 |
| 平均通話時間(ミリ秒) | このツールの平均実行時間 (ミリ秒単位)。 |
| 失敗した通話 | このツールの失敗した呼び出しの数。 |
| 成功率 | このツールの成功した呼び出しの割合。 |
セッション [#sessions-ai-agent-performance]
[セッション] タブには、すべての AI エージェント セッションのテーブルが表示されます。このタブを使用して、個々のセッションの詳細を確認し、インタラクションを追跡します。
| コラム | 説明 |
|---|---|
| セッションID | セッションの一意の識別子。 |
| AIエージェント | セッションを処理した AI エージェント。 |
| エンドユーザー | セッションに参加したエンドユーザー。 |
| 日付 | セッションの日付。 |
ナレッジエージェントの分析
ナレッジエージェント分析を使用すると、ナレッジエージェントのパフォーマンスを監視し、改善の機会を特定できます。AIエージェントがナレッジリソースをどの程度効果的に活用しているかを追跡し、応答パターンを分析し、実際の使用状況の洞察に基づいてドキュメントを最適化します。
ナレッジエージェント分析は、本番環境での実際のユーザーインタラクションを分析します。本番稼働前にナレッジエージェントをテストするには、Quality center: ナレッジエージェントを使用します。
Analyze ユーザー トラフィック [#analyze-user-traffic-knowledge-agents]
選択した日付範囲にユーザーが送信したメッセージをAnalyzeし、ナレッジエージェントのパフォーマンスに関する分析情報を取得します。
このレポートには、ユーザー メッセージの詳細なリスト、各メッセージのエージェントの応答、および回答の基になるコンテキストが表示されるため、特定の方法で応答した理由をよりよく理解できます。また、トピックも生成します。
最大 4,000 件のメッセージを分析できます。選択した期間にさらに多くのメッセージが存在する場合は、期間全体にわたってランダム サンプルが取得されます。
分析の実行
解析を実行するには:
- ドロップダウンメニューからナレッジエージェントを選択します。
- タスク名を入力します。
- ドロップダウンメニューから chatbots または senders を選択して、分析をフィルタリングします。チャットボットまたは送信者のどちらかしか選択できず、両方を選択することはできません。
- From と To の日付を選択します。
- [タスクの実行] を選択します。
タスクを実行すると、以下のタスク テーブルに詳細が表示されます。
タスク [#tasks-knowledge-agents]
タスク テーブルには、過去 20 個の分析タスクの履歴が保持されます。
| コラム | 説明 |
|---|---|
| タスク名 | タスクの名前。 |
| ナレッジエージェント | 分析されたナレッジエージェント。 |
| 作成場所 | タスクが作成された日時。 |
| ステータス | タスクの現在のステータス (進行中、失敗、または完了)。 |
完了したタスクごとに、詳細なレポートを表示したり、ダウンロードしたりできます。
解析結果の表示 [#view-analysis-results-knowledge-agents]
タスクテーブルからタスク名を選択して詳細な結果分析を表示するか、オフライン分析用に.csvファイルをダウンロードします。
結果分析ページには、次のものが含まれます。
- 概要 - 合計インタラクション数、応答時間、成功率、取得したドキュメント、インサイト分布などの要約指標
- 予想される動作 - 成功、ポリシー制限、関連性なし、または部分的に回答されたと分類されたインタラクション
- 知識のギャップ - 幻覚のリスクや、文書の改善が必要な未回答の質問との相互作用
結果分析ページの構造と各セクションの解釈方法の詳細については、Quality Center の 結果の表示 を参照してください。