オブザーバビリティ
Splunk Agent Observability
AIを支えるエージェント、モデル、インフラを監視、評価、保護します。
本番環境向けの信頼できるエージェント
信頼できるエージェントを構築するには、1回のチェックだけでは不十分です。Splunkは、単一のプラットフォームでエージェントのすべてのトラフィックを分析し、エージェントの動作の評価やパフォーマンスの監視、コストの追跡、安全制御を行います。
エージェントの問題の根本原因を特定
リクエストからレスポンスに至るエージェントワークフローを追跡および可視化し、品質、パフォーマンス、動作に問題が生じた箇所を特定します。品質やセキュリティのシグナル(ハルシネーション、バイアス、プロンプトインジェクション、PII漏えいなど)と併せて、レイテンシーやエラーも確認できるため、問題の症状だけでなく根本的な原因も特定できるようになります。
基盤となるインフラをGPUに至るまで確認
モデルやベクトルデータベース、その他のAIスタックを対象に、GPUとメモリの使用状況、消費電力、レイテンシーを追跡します。トークンの急増、GPUサチュレーション、応答の遅延を、1つのタイムライン上で確認できます。
すべてのインタラクションを低コストで評価して保護
効率的な評価・保護に特化したLunaモデルにより、最先端の評価AIよりもはるかに少ないコストで、すべてのトラフィックをスコアリングして保護できます。評価と保護は、サンプリングされた一部のデータではなく、本番環境のすべてのインタラクションに対して実行されます。
意図したとおりに適正なコストでAIを運用
トークノミクス
トークンコストを確認および管理
トークンの使用状況とコストを、リクエスト、モデル、エージェント、ワークフローごとに追跡します。コストと品質を併せて確認することで、各タスクを適切なサイズのモデルに割り当て、想定外の支出を未然に防ぐことができます。
評価
エージェントの正確性を把握
標準またはカスタムの評価機能を利用して、正確性や関連性、ツールの使用状況、安全性をスコアリングできます。効率的な評価・保護に特化したLunaモデルにより、低コストですべてのトラフィックを評価し、業務に合わせてメトリクスを調整できます。
透明性
問題の根本原因を特定
リクエストからレスポンスに至るワークフローの各ステップ(ツール呼び出し、モデル実行、検索)を確認し、その動作と実行基盤となるインフラを関連付けることで、根本原因を1つのタイムライン上で特定できます。
ガードレール
危険なアクションを未然に防止
信頼できる評価結果を実行時のガードレールとして活用することで、PII、PHI、PCIの問題(漏えい、ツールの悪用、プロンプトインジェクション)をリアルタイムで検知し、未然に防止できます。
Agent Observabilityに関するよくある質問
Splunk Agent Observabilityは、本番環境で信頼できるAIエージェントを実現するためのプラットフォームです。評価、オブザーバビリティ、トークノミクス、ガードレールを統合することで、エージェントの正確性の確認、GPUレベルでの挙動の可視化、コストの把握、不適切な動作の防止を実現します。
エージェントの挙動を品質、安全性、セキュリティの各メトリクスに基づいて評価し、リクエストからレスポンスに至るワークフローのすべてのステップを追跡するとともに、その動作を基盤となるインフラストラクチャと関連付けます。また、トークンコストをエージェントやワークフローごとに追跡し、信頼できる評価結果を実行時のガードレールとして活用することで、リスクの高いアクションを防止または制御します。
根本原因の分析にかかる時間を数日から数分に短縮し、ハルシネーションやPIIの漏えいなどの品質・安全上の問題を、顧客に影響が及ぶ前に検出します。また、AIの費用対効果を明確にし、事後的に問題を警告するのではなく、リアルタイムでガードレールを適用します。
汎用的な監視ツールでは、インフラの把握はできても、エージェントの推論や出力品質までは確認できません。一方、用途特化型のAIツールでは、プロンプトやスコアは把握できるものの、チップレベルで挙動を確認するのは不可能です。Splunkはスタック全体をカバーするため、不適切な回答とその原因となったインフラを1カ所で確認できます。
評価の実施やガードレールの設定には、最先端のモデルではなく、Lunaと呼ばれる専用の小規模言語モデルが使われるため、少数のサンプルではなく本番環境のトラフィック全体を、低コストでスコアリングして保護できます。
関連機能
Splunk Application Performance Monitoring
完全忠実なトレーシングとAlwaysOn Profilingを活用することで、アプリケーションのパフォーマンスが向上します。
