特長
推論からGPUに至るまで、スタック全体を可視化
エージェントを推論からGPUまで追跡
リクエストからレスポンスに至るワークフローの各ステップ(ツールの呼び出し、モデル実行、検索)を可視化し、その動作と実行基盤となるインフラを関連付けます。根本原因を、異なるツールをいくつも切り替えて探す代わりに、1つのタイムライン上で確認できます。
基盤のインフラを可視化
モデルやベクトルデータベースを含むAIスタック全体で、GPUとメモリの使用状況、消費電力、TTFT (Time To First Token)を追跡します。トークンの急増とGPUサチュレーションを同時に把握できれば、応答の遅延の原因はもはや謎ではありません。
失敗した実行をステップごとに調査
ECCエラーの急増から、熱や電力使用量の異常、Xid 79、実行途中での停止に至るまで、エージェントのトレースとGPUのテレメトリを1つのタイムラインに並べて調査できます。「なぜ失敗したのか？」という疑問への答えを1つの画面で把握できます。
実行が失敗する前に問題の連鎖を捕捉
大損害をもたらす障害には、通常、予兆があるものです。こうした初期兆候は可視化できます。テレメトリを相関付けて、まだ実行を復旧する時間があるうちに警告することで、実行がやがて停止してしまうのを避けることができます。
健全性とリスクを把握
AIスタック全体の可用性と健全性を監視して、パフォーマンス低下を早期に検出します。実行が途中で停止してしまう前に、ECCエラー数の増加やキャッシュの飽和を把握できます。
Splunkを基盤にシスコと相関付け
用途特化型のAIツールでは、プロンプトは把握できても、チップレベルまでは確認できません。一方、汎用的な監視ツールでは、GPUの状況は把握できても、エージェントの推論やネットワークファブリックまでは確認できません。Splunkとシスコでは、スタック全体が対象になるため、不適切な回答とその原因となったチップレベルの問題を1カ所で確認できます。
