AI 成本是预算中增长最快的一项
令牌单价持续下降，但代理消耗的令牌数量却远超以往。管控此类支出本身就是一门学问。
代币经济学
AI 成本与令牌经济学
将每个令牌与行动关联，以便您针对每个模型合理调整规模，并在收到账单之前确定意外支出。
评估您的代理成本
按请求、模型、代理和工作流跟踪令牌使用情况和成本，让支出一目了然。成本与其运行的基础设施相关，Luna（专为评估而构建的小模型）将以经济高效的方式对代理进行评分。
管理令牌使用情况和阈值
按工作流计量并统计令牌使用情况，然后设置阈值和警报，尽早识别意外支出。代理会进行规划、重试并重新读取上下文，因此，看似每一步成本低廉的工作流，层层叠加也会让成本随之攀升。Splunk 可将其控制在您设定的预算范围内。
比较模型成本与质量
如果更便宜的模型能提供相同的质量，则将请求路由至该模型。当每个模型和工作流的成本与质量在单个图表上并排显示时，这些决策就更容易做出。
功能
管控代理式 AI 的成本
选择规模合适的模型
按请求、模型、代理和工作流查看令牌成本与质量的对比情况。当规模较小的模型评分相同时，则可选择该模型以节省支出。
计算发票中隐藏的成本
提供商费用仅是支出的一部分。在同一条时间线上，将令牌成本与底层 GPU、内存、向量数据库和网络关联起来。
管理组织环境中的成本
在自有硬件上运行开放权重模型，无需核对发票。衡量自托管集群中的令牌和基础设施成本。
像管理网络流量一样管理支出
按工作流规划预算、设置阈值，并在某个工作流支出过高时发出警报。将令牌支出视为一种运营信号，在收到账单之前就设定限额、明确负责人，并掌握可信数据。
衡量有效成本，而非令牌数量
提示缓存允许您以极低的费率重复使用固定的前缀，因此大型提示的成本有时反而更为低廉。优化实际账单，而非令牌数量。
在账单结算前确定意外支出
重试循环和失控的上下文会在数小时内持续消耗令牌。按工作流监控使用情况并设定阈值，以免出现六位数的意外支出。
资源
了解来自 Splunk 的更多产品
AI 代币经济学常见问题
令牌经济学是管理代理式 AI 成本的实践：按团队、应用和工作流计量并统计令牌支出，并将该成本与输出质量挂钩，以便您判断其是否物有所值。
单次查询仅需几百个令牌，但一次代理操作可能会消耗 10,000 到 50,000 个令牌，因为代理需要进行规划、重试、调用工具并重新读取上下文。因此，团队会收到高达六位数的意外账单。
按请求、模型、代理和工作流查看令牌成本与质量的对比情况。当规模较小的模型在某项任务中评分相同时，您可以选择该模型以节省支出。
否。提供商账单仅是支出的一部分，提示缓存则意味着大型提示的成本有时反而更为低廉。GPU、内存、向量数据库和网络都会产生成本，因此有效成本比原始令牌数更重要。
能。当您在自有硬件上运行开放权重模型时，无需核对发票。Splunk 会衡量整个集群中的令牌和基础设施成本，并将其控制在您设定的限额内。
