AI 可觀測性 | Splunk

Cisco 收購 Galileo Technologies, Inc。

Galileo 是人工智慧可觀測性的領導者，將協助我們確保 AI 更可靠、可信賴、安全且可觀測。

進一步瞭解

在 AI 堆疊中建立信任和可靠性

在代理程式開發生命週期 (ADLC) 的各階段評估、改善及保障代理程式

觀察並最佳化 LLM 和代理應用程式的效能、品質、安全性和成本

精準找出代理程式和模型效能、品質及行為下降的根本原因。追蹤並對應從從請求到回應的代理程式工作流程。評估效能 (延遲、錯誤、代幣使用) 以及品質和安全性指標，如幻覺、偏見、提示注入和 PII 洩漏，以保障和提升使用者體驗。

觀察並優化 AI 基礎設施的健康狀況、可用性與使用情況

追蹤並視覺化營運與代幣經濟學指標，如 GPU、記憶體使用率、功耗，以及模型供應商、向量資料庫及其他 AI 元件的首個代幣生成時間。這可協助您進一步管理成本、瞭解業務影響，並主動警示導致效能下降和效率降低的瓶頸和峰值。

確保 AI 能如預期運作，且成本合理

探索文件

內建品質評估

即時評估模型和代理程式的效能、品質和行為

追蹤並衡量輸出品質，使用能偵測幻覺、偏見、相關性、有害內容、情感及其他內建評估器的分數。

pd-o-ai-olly-quality-evaluations

代幣使用量及成本

在 AI 技術堆疊中控制成本並最佳化資源

追蹤特定請求、模型、代理程式、工作流程和其他 AI 基礎設施元件的代幣使用情況、營運費用、GPU 和記憶體利用率，以及其他代幣經濟學和 GPU 相關指標隨時間的變化。

pd-o-ai-olly-features-token-usage-cost

內建防護機制與控管措施

即時精確找出並減輕 AI 安全性風險

保護並改善模型的安全性、隱私權和安全防護機制，以防止 PII、PHI、PCI 洩漏、工具濫用和提示注入。遵守 AI 安全性標準，自信地建構並部署值得信賴的 AI 應用與系統。

pd-o-ai-olly-features-guiderails

代理效能分析

觀測代理程式效能

追蹤個別代理程式隨時間變化的請求數、錯誤、延遲時間、代幣使用量及品質分數，以建立基準、偵測異常值，並做出以資料為依據的決策。

pd-o-ai-olly-features-performance-analysis

代理程式工作流程分析

將步驟順序、依賴關係和交接過程視覺化

查看代理程式工作流程從請求到回應的相關工具呼叫、模型與檢索步驟，以調查故障原因。

pd-o-ai-olly-features-workflow

以互動為中心的追蹤檢視

利用 AI 詳細資訊、標籤和範圍詳細資訊，取得追蹤層級的可見度

檢視輸入、輸出、系統提示以及與代理程式工作流程每個步驟相關聯的品質指標，以瞭解端對端根本原因。

pd-o-ai-olly-features-trace-views

AI 整合

使用 Splunk 整合以觀察整體 AI 堆疊

查看所有整合工具

資源

深入探索 Splunk

利用 Splunk Observability Cloud 中的 AI Agent Monitoring 監控 LLM 和 AI 代理程式的效能

閱讀部落格

相關功能

Splunk Application Performance Monitoring

全面完整的追溯與不間斷剖析可提升應用
程式效能

進一步瞭解

Splunk Infrastructure Monitoring

即時監控雲端、混合及本地環境。

進一步瞭解

Splunk AppDynamics

可觀測每個環境中的混合式和內部部署應用程式。

進一步瞭解

Splunk AI SRE

整個事件生命週期的代理型 AI。

進一步瞭解

開始使用 Splunk

探索 Splunk 產品，建立代理式 AI 時代的數位韌性。

申請產品示範

瞭解免費試用方案