Splunkを活用して生成AIアプリケーションからオブザーバビリティインサイトを獲得

ついに革新的な生成AIアプリケーションを開発したとしましょう。CTOやCIO、CEOもその成功に期待しているはずです。ここで、重要な質問です。ユーザーが新しいアプリケーションを使い始めたときのために、監視やトラブルシューティングの準備はできているでしょうか。どうぞご安心ください。同僚のDerek Mitchellがその点を解説するため、Splunk Lanternに2つの素晴らしい記事を掲載しています。Splunk Observability Cloudを活用して生成AIアプリケーションをインストルメンテーションし、オブザーバビリティの重要なインサイトを得る方法について掘り下げています。

取り上げる内容

多くの人にとって、生成AIの概念や用語はまだまだ新しいものです(2024年10月執筆時点)。正直に言えば自分も、以前はLLMのスペルすら知りませんでした。そこでDerekは、一般的な生成AIの概念をこれから理解しようとしている皆様のために、 SplunkやOpenTelemetryの具体的な概念を掘り下げるだけでなく、次のような基礎知識を分かりやすく解説しています。

• LangChain：LangChainとはどのようなもので、生成AIアプリケーションのあらゆる面の開発を加速するうえでどのように役立つかを学べます。
• 検索拡張生成(RAG)：RAGモデルとは何か、そしてそれが得られた回答の価値や精度にどのように影響するのかを知ることができます。
• ベクトルデータベース：ベクトルデータベースの重要性と、ベクトルデータベースを効率的に拡張する確実な手法を理解できます。
• 埋め込み表現：組織のデータこそが、生成AIアプリケーションの価値を高める秘訣です。埋め込み表現によって、回答を生成するのに使用する最適なデータを見つけ出すことができます。

記事で学べること

Lanternのこれらの記事では、次のことを取り上げています。

APMサービスツリーを使って生成AIアプリケーションを可視化することで、ユーザーに影響しうる問題に対応できるようにするSplunk Observability Cloud活用のヒントを学びます。

LangChainのインストルメンテーションを行ってスムーズなパフォーマンスと迅速なトラブルシューティングができるようにするなど、生成AIアプリケーションの主要コンポーネントにオブザーバビリティを実装する方法を学びます。

Splunk Observability CloudとOpenTelemetryを活用して、レイテンシーとワークフローを追跡し、LLMの最適なパフォーマンスを維持する方法を理解します。

使い始めるためには？

いよいよ生成AIアプリケーションの開発が完了し、本番環境へのデプロイも済んだことでしょう。ここで、オブザーバビリティの最後の仕上げを省いたり、おろそかにしてはなりません。AIモデルを常に最高のパフォーマンスで活用しつづけられるようにする方法を学べるチャンスを逃さないでください。Derekによる2つのLantern記事をチェックして、シームレスなオブザーバビリティに必要なあらゆるツールと知識を手に入れましょう。

• OpenLLMetryとSplunkを使ったLLMアプリケーションのインストルメンテーション
• Splunk Observability CloudによるLangChain LLMアプリケーションの監視

Splunkをどうぞご活用ください。