splunk background

可見度

檢視完整的代理程式追蹤記錄

從推論到底層 GPU,追蹤代理程式,以便在發生問題時快速找出根本原因。

免費版 14 天免費試用,無需輸入信用卡資訊。
參加導覽 只要 5 分鐘,即可瞭解運作方式。
可見度

尋找應用程式層以下的原因

將錯誤回答或中斷執行歷程一路追溯至晶片,並在同一時間軸上同時呈現代理程式的追蹤記錄與硬體事件。

攔截程式碼底層引發的故障問題

根本原因往往隱藏在調度管理層背後:可能是模型產生了幻覺、代理程式使用不該使用的工具、基礎架構在背景悄悄堆疊出昂貴帳單,或是硬體架構難以承受負荷。

追蹤並對應要求到回應的多代理程式工作流程

端對端追蹤單一要求。查看代理程式如何交接工作、步驟在哪裡變慢,以及哪裡出錯。追蹤記錄能完整呈現代理程式的推理過程,讓您得以閱讀其具體操作與背後的思維邏輯,而非僅僅得知任務失敗的結果。

在單一時間表上建立代理程式與基礎架構的關聯

相關聯的遙測資料有助於您視覺化效能問題的早期訊號。當 Token 遽增、GPU 飽和、延遲高峰、ECC 錯誤增加以及 Xid 79 事件同時出現時,團隊便能及早找出風險、加快疑難排解速度,並在執行中斷前採取行動。

.Conf 26 宣傳圖片

觀看 .conf26 專題演講直播

9 月 14-15 日,向 Splunk 頂尖專家與業界領導者汲取深入見解。

添加到日曆

功能

從推理到 GPU,全面掌握堆疊

探索文件
從推理到 GPU,追蹤單一代理程式 從推理到 GPU,追蹤單一代理程式

從推理到 GPU,追蹤單一代理程式

從要求到回應,完整檢視工作流程中包含工具呼叫、模型運作與檢索步驟的全貌,並進一步將這些行為與其運行的基礎架構相互連接。根本原因會顯示在單一時間表上,不會分散在四個互不關聯的工具中。

支出 支出

查看底層基礎架構

追蹤 GPU 與記憶體使用量、功耗,以及各模型、向量資料庫與整體 AI 軟體堆疊的首個 Token 時間 (TTFT)。當 Token 遽增遇上 GPU 負載過高,回應變慢的原因便一目了然。

逐步檢視執行錯誤 逐步檢視執行錯誤

逐步檢視執行錯誤

沿著單一時間表,將 ECC 錯誤遽增、溫度或功耗異常、Xid 79 錯誤乃至執行中斷的完整過程一覽無遺,並將代理程式的追蹤記錄與 GPU 遙測資料並排呈現。「為什麼會失敗」的答案盡在單一檢視畫面中。

流量 流量

在執行失敗前掌握連鎖反應

災難性故障通常早有徵兆。早期訊號清晰可見,因此關聯遙測資料能及時發出警示,讓您有充裕的時間搶救任務,不必等到執行了 47 個小時後才眼睜睜看著系統崩潰中斷。

掌握哪些狀況良好,哪些面臨風險 掌握哪些狀況良好,哪些面臨風險

掌握哪些狀況良好,哪些面臨風險

監控整體 AI 軟體堆疊的可用性與健康狀態,讓及早發現效能衰退問題。及時發現攀升的 ECC 計數或即將飽和的快取,不必執行了 47 個小時後才眼睜睜看著系統崩潰中斷。

建構於 Splunk,與 Cisco 建立關聯 建構於 Splunk,與 Cisco 建立關聯

建構於 Splunk,與 Cisco 建立關聯

純 AI 工具能看見提示詞,卻無法透視底層晶片運作。通用型監控工具能看到 GPU,卻看不到代理程式的推理過程與網路架構。Splunk 與 Cisco 涵蓋全堆疊架構,讓錯誤的回應與造成該問題的晶片資料都能在同一處一目了然。

 

 

資源
深入探索 Splunk

代理程式可觀測性與追蹤常見問題

追蹤功能可在多代理程式工作流程中端對端追蹤單一要求,擷取每個工具呼叫、模型、檢索步驟,以及代理程式的推理過程,接著將該行為與執行該行文的基礎架構建立關聯。

原因通常隱藏在應用程式層之下,主要源自四個地方:模型錯誤、代理程式執行非預期的動作、背景耗費高昂成本,或是硬體不堪負荷。

是的。Token 遽增、GPU 飽和與延遲高峰可能同時發生,因此執行緩慢或失敗時,便能指出真正原因,避免治標不治本。

您自己的硬體上執行開放權重模型時,沒有提供者狀態頁面可供查看。已建立關聯的遙測資料能讓您將故障問題一路追溯至晶片,並在任務長時間運行中斷之前,及時攔截 ECC 錯誤遽增等早期訊號。

Splunk Agent Observability 建構於 Splunk 資料平台,並與 Cisco 基礎架構相關聯,因此代理程式的推理追蹤、輸出品質、成本,以及底層 GPU、向量資料庫和網路架構全都存在於單一記錄系統中。

相關產品

Splunk Cloud Platform

整合各個領域的資料、內容和行動。

進一步瞭解

Splunk Enterprise Security

為代理式 SOC 打造的統一威脅偵測、調查與回應機制。

進一步瞭解

Splunk IT Service Intelligence

運用 AI 驅動的服務監控,精準預測並預防 IT 潛在問題。

進一步瞭解
開始使用 Splunk

找出根本原因,從推理到 GPU。

申請產品示範
瞭解免費試用方案