LLMアプリケーションのオブザーバビリティ

生成AIを活用したLLMアプリケーションが急速に普及する中、それらのシステムの安定運用であったり応答の信頼性の確保の重要性が高まっています。この記事では、どのような課題があり、どうやって解決できるかについて解説します。

LLMアプリケーションの主要な課題

LLMアプリには、例えば以下のように従来のITシステムとは異なる特有の課題があります。

• パフォーマンス：負荷変動時の応答時間悪化
• コスト管理：予測不能なトークン消費
• 信頼性：不正確・不適切な回答
• セキュリティ：LLM特有のセキュリティリスク

これらの課題はビジネスに直接的な影響を与えます。障害発生時の調査コストとユーザー満足度低下であったり、トークンの予測困難性によるコスト超過、または攻撃や不適切な回答によるレピュテーションリスクやコンプライアンス違反が考えられます。

LLMアプリについても通常のITサービスと同様に オブザーバビリティ が必要です。オブザーバビリティによる適切な対策により、これらの課題を克服し、安定したサービスを提供できます。

生成AIオブザーバビリティ

LLMアプリのオブザーバビリティを実現するためには、次のような点での対策が必要です。

• ユーザーエクスペリエンスの測定
• プロンプトからモデル応答までのフルパスの完全な可視化
• GPUなどインフラリソースの監視（ローカルLLMを使用している場合）
• トークン使用量の監視と予測
• プロンプトと応答の可視化

Splunk Observability Cloudは、これらの要件を満たすエンド・ツー・エンドのオブザーバビリティを提供する包括的なソリューションです。

Splunk Observability Cloudによるエンド・ツー・エンドのオブザーバビリティ

Splunk Observability Cloudは、フロントエンドからバックエンド、そしてインフラまで幅広くカバーするオブザーバビリティソリューションです。

主要なコンポーネントと実現できる機能は以下の通りです。

いくつか詳細に見てみましょう。例えばAPMでは、LLMアプリで使用しているベクトルDBやLLMサービスの全体像とレイテンシーの高い箇所、エラー発生個所が即座に特定され、問題の検出ならびに問題発生個所の特定を即座に行えます。

なお、Splunk Observability Cloudの特長として ノーサンプリング が挙げられます。つまり、あらゆるユーザーのトランザクションの調査が可能であるということです。ユーザーによってプロンプトが異なると応答も異なってくるLLMアプリにとって全てのトランザクションを調査可能にすることは重要であると思います。

IMを使うことでトークン使用量やコストを可視化することもできます。これをもとに機械学習を用いて突発的なトークン使用量の増加を検知したり、将来予測により許容上限値に近づいた時にアラートを発報することもできます。

LLMオブザーバビリティを実現すると

LLMオブザーバビリティを実現することで、組織は複数の重要なメリットを得ることができます：

1. プロアクティブな問題検出：問題が大きくなる前に察知し、対処が可能に
2. 根本原因特定の時間短縮：エンド・ツー・エンドの可視性により問題箇所を迅速に特定
3. LLMコスト最適化：トークン使用量の可視化と監視により無駄なコストを削減

これらの利点により、高性能かつ高効率なLLMシステムを実現でき、ユーザー満足度を高めながらも積極的な機能改善を含む「攻め」のリリースが可能になります。オブザーバビリティは単なる監視ツールではなく、ビジネス価値を高めるための戦略的な投資と言えるでしょう。

補足：OpenLITについて

OpenLITは、オブザーバビリティのためのOpenTelemetry互換のPython/Typescript SDKです。シンプルなコード追加で多種のLLM、ベクトルDBへのトランザクションのトレース取得の他、LLMやGPUのメトリクスなども取得可能です。

このようにコードに二行追加するだけで始められます。

Python
import openlit
openlit.init(otlp_endpoint="YOUR_OTEL_ENDPOINT")

更に、アプリの健全性以外にも、応答評価機能（Hallucination、Bias、Toxicityの検知）、ガードレール機能（Prompt Injection、Sensitive Topicsの検知、Topics Restriction）も同様にシンプルなコード追加で対応できます。

OpenLITを通常のOpenTelemetry SDKと組み合わせることで、LLM関連のトレースだけでなく、その他のシステムコンポーネントのトレースやメトリクスも取得でき、アプリケーション全体の網羅的なトランザクション可視化が実現します。

SplunkによるLLMレジリエンス

LLMアプリのレジリエンスを実現するためには、オブザーバビリティとセキュリティの両面からのアプローチが不可欠です。Splunk Observability Cloudとデータ解析基盤であるSplunk Core (Cloud / Enterprise) を組み合わせることで、これを実現することができます。

• Splunk Observability：エンド・ツー・エンドのオブザーバビリティ
• Splunk Core：データ集約（アクセスログ、アプリログ、セキュリティログ）

また、Splunk Coreではあらゆるログを分析することが可能なため、例えばトークン使用量の多いプロンプトと応答を抽出しアプリを改修したり、または攻撃をしかけている送信元IPアドレスを抽出しブロックしたりするなどのアクションに繋げることができます。

これらのソリューションを統合することで、LLMアプリケーションの安全性、安定性、効率性を総合的に確保することが可能になります。

まとめ

LLMアプリケーションの普及が進む中、その安定性、安全性は企業にとって重要な課題となっています。その課題の解決のためにはアプリのフロントエンドからバックエンドまで、LLM特有の情報も含めた可視性が不可欠です。Splunkであればエンド・ツー・エンドのオブザーバビリティの他、セキュリティ観点の調査も可能であり、統合的な可視性を高めることで、潜在的な問題を早期に特定し予防的な対策を講じることができます。

LLMアプリのオブザーバビリティにご関心のある方は、ぜひご連絡ください！