マシンデータの価値を引き出して、セキュリティ運用に役立つ新たなインサイトを獲得しましょう。
公開日:2022年3月1日
データファブリックとは、データ編成の概念とみなすか、それを使用するアーキテクチャとみなすかにかかわらず、すべてのストレージと使用環境にあるデータを統合し、共通のプロトコル、手順、編成、セキュリティを適用するための手法を定義するものです。データファブリックの概念は、データレイク、データウェアハウス、データメッシュ、さらにはデータレイクハウスなど、他のビッグデータの概念とも密接に関連しています。
データファブリックアーキテクチャの基本原則は、このアーキテクチャがオンプレミスからクラウド、エッジまで、ハイブリッドマルチクラウド環境のすべてのデータ構造とデータソースに適用されます。
データファブリックの最終的な目標は、最適化のために標準化されたデータ管理とデータガバナンスプラクティスを確立し、データサイエンティストやデータエンジニアだけでなくできるだけ多くの人に、できるだけ早く、できるだけ安全に組織のデータを活用してもらえるようにすることです。さらに、データを可視化して複数のビジネスユーザーにインサイトを提供すると同時に、制御、保護、データセキュリティの確保も目指しています。
Forrester Research社のNoel Yuhanna氏は、データファブリックアーキテクチャの概念を最初に定量化した一人とされています。Yuhanna氏は、データファブリックを、組織が新しいビジネスプロセスをより迅速に導入するためのプラットフォームと説き、「異種データ間のデータの取り込み、キュレーション、変換、ガバナンス、統合をリアルタイムまたはほぼリアルタイムで自動化する」ものとしています。
データファブリックの概念は、企業のデータを中央のオンプレミスデータベースから移行し、データを物理サーバーから解放し、さらにユーザーやデータの所在にかかわらず、各ユーザーが必要とするデータアクセスを必要なフォーマットで提供するための第一歩となります。
この記事では、データファブリックフレームワークのユースケースの詳細を紹介し、他のデータアーキテクチャと比較しながら、そのメリットと組織にもたらされる価値について説明します。
データファブリックアーキテクチャのような概念は、すべてのデータがオンサイトのサーバーに保存されていた時代にはまだ生まれておらず、また必要とされていませんでした。ハイブリッドクラウドインフラが普及し、ワークロードが複雑化し、データパイプラインに関するリスクが増加するにつれ、新しいデータネットワークの複雑さと規模も拡大してきました。これに伴い、IT部門は、データの安全性、セキュリティ、有用性を維持するだけでなく、データのライフサイクル全体を通じてリアルタイムかつオンデマンドで追跡やアクセスを行う必要性の高まりにも直面しています。
データファブリックソリューションは、組織のあらゆる形式のすべてのデータに対応し、必要なときに検索できるようにするための効果的な方法です。極めて多様化したストレージシステムの世界では、データ品質だけでなく組織の最も重要な資産の利便性を確保するために、データファブリックアーキテクチャのような概念が不可欠です。なぜならデータファブリックは、データ/ストレージ層ではなく、コンピューティング/処理層での接続を実現することで、新たなサイロを作ることなく、データサイロの橋渡しをします。これにより、データにアクセスしやすくなり、環境全体にわたってセルフサービスのデータ共有、使用、コラボレーションが可能になるためです。
データファブリックは、Gartner社による2022年の戦略的テクノロジーのトップトレンドの1つに挙げられており、分析を活用してデータに関するレコメンデーションと使用法を学習し、積極的に管理することで、データ管理の労力を最大70%削減できることが明らかになっています。
データファブリックフレームワークの導入は、組織のスキル、期間、予算、データ環境に応じて、さまざまな方法で行うことができます。データファブリック内のさまざまなコンポーネント間の統合は、通常、APIや標準データ形式であるJSONデータ形式を介して処理されます。しかし、データファブリックのインフラの概念は、業界の専門家の間でもまだ定義が定まっていません。また、データファブリックの多くの特性に対応したエンドツーエンドのデータ管理ソリューションを提供するベンダーも存在し、自社の提供サービスの一部としてデータファブリックのアプローチを採用する組織も増えています。
データファブリックアーキテクチャは、保存されているすべての種類のデータセットを管理するための全体的なスキーマを作成するよう設計されているため、必要なときにいつでも価値を引き出すことができます。売上予測から、組織のITインフラやユーザーのエンドポイントの状況に関するレポートまで、幅広くこれらのデータを活用できます。
データファブリックアーキテクチャのユースケースは、営業、マーケティング、IT、サイバーセキュリティなど、組織内のあらゆる種類のデータのユースケースと変わりません。ただし、ほとんどのユースケースにおいて、組織内のデータには、非構造化、半構造化、または構造化データがあるのが普通です。たとえば、データベースレコードなどの構造化データは、リレーショナルデータベースに保存され、追加の操作なしで使用できます。
非構造化データは、クレンジングや整理が行われていないデータで構成されているため、必要なときにすぐに使用できるようにしておく必要があります。たとえば、機械学習、分析、センサーデータ、クラウドコンピューティング、生産性アプリケーションのデータは、さまざまな種類の非構造化データであり、多くの組織が今後使用するために収集し保存しています。半構造化データ(Zipファイル、Webページ、メールなど)には、非構造化データと一緒に保存された既知の種類のデータなど、両方の要素が含まれています。
データファブリックの用途を詳しく研究すれば、組織がより迅速かつ効果的にデータにアクセスして利用できるようにするデータファブリックの能力を生かした多くのユースケースを見出すことができます。一般的なシナリオには次のようなものがあります。
データファブリックアーキテクチャを導入することで、組織が戦略的にデータにアクセスして活用できる多くのユースケースを見つけることができます。
データレイクはデータやデータ資産を保存する場所であり、データファブリックはそれを抽出して使用するための手法です。この2つの用語は関連しており、多くの専門家はデータレイクに保存されたデータから最大限の価値を引き出すうえで、データファブリックが最善策であると考えています。しかし、この2つの用語の意味は明確に異なります。
データレイクとは、ソートもインデックスもされていない未加工の形式のデータリポジトリです。単純なファイルから、ビデオ、音声、画像、マルチメディアファイルのようなバイナリラージオブジェクト(BLOB)まで、あらゆる種類のデータを保存できます。データを使用できるようにするためのあらゆる操作(検出、抽出、クレンジング、統合)は、データの抽出時に行われます。
データファブリックとは、すべてのストレージと使用環境に存在するあらゆるデータを統合し、共通のプロトコル、手順、編成、セキュリティを適用するための手法です。
データファブリックとデータメッシュは、2つの関連した概念であり、明確に区別されていません。一般に、データファブリックとデータメッシュは、組織が大量の保存データをどのように扱うかを決定する概念と手法であるという点で類似しています。データファブリックの手法は、データの保存場所にかかわらず、その上に管理層を構築することでデータを管理しようとするものです。一方、データメッシュのアプローチは異なり、特定の種類のデータ管理の部分を、そのデータを使用する組織のチームやグループの管理下に置きます。
どちらのアプローチも、さまざまなテクノロジーやプラットフォームに存在するデータにアクセスするためのアーキテクチャを提供しますが、データファブリックはデータやメタデータの複雑さに対処するテクノロジー中心のアーキテクチャ的アプローチであるのに対し、データメッシュは組織の変化に焦点を当て、アーキテクチャよりも人とプロセスを重視しています。
多くの組織が独自のデジタル変革を進めていますが、ITインフラの歴史の中心は、旧来のデータを最新の環境へ対応させることでした。そのため、ビジネスにおいて最も成長が著しい分野の1つであるデータアーキテクチャが、頻繁に刷新されるのも当然といえます。データの保存、アクセス、使用に関しては、誰も追いつけないでしょう。一方、スケーリングに対応するためのアプローチとして自動化が一般的になりつつありますが、この自動化こそデータファブリックが確実に提供できる機能であり、ガバナンス、データ保護、統合などの重要な機能を実現できます。組織がデータレイクやデータウェアハウスなどのテクノロジーを採用するようになった今、さらなる成長を遂げる前にファブリックのアプローチを追加するのは理にかなっているといえるでしょう。
あらゆる問題解決、意思決定、ビジネス戦略にデータを活用することで、最大限の価値を実現できます。この包括的なデータ活用ガイドでその方法をご確認ください。
仮想化、クラウド、コンテナ、マイクロサービスで構成されるインフラストラクチャでは、常に変更とイベントが大量に発生します。どうしたらITイベントの発生を抑えることができるかを説明しています。
Splunkプラットフォームは、データを行動へとつなげる際に立ちはだかる障壁を取り除いて、オブザーバビリティチーム、IT運用チーム、セキュリティチームの能力を引き出し、組織のセキュリティ、レジリエンス(回復力)、イノベーションを強化します。
Splunkは、2003年に設立され、世界の21の地域で事業を展開し、7,500人以上の従業員が働くグローバル企業です。取得した特許数は850を超え、あらゆる環境間でデータを共有できるオープンで拡張性の高いプラットフォームを提供しています。Splunkプラットフォームを使用すれば、組織内のすべてのサービス間通信やビジネスプロセスをエンドツーエンドで可視化し、コンテキスト(把握したい要素) に基づいて状況を把握できます。Splunkなら、強力なデータ基盤の構築が可能です。
日本支社を2012年2月に開設し、東京の丸の内・大手町、大阪および名古屋にオフィスを構えており、すでに多くの日本企業にもご利用いただいています。
© 2005 - 2023 Splunk Inc. 無断複写・転載を禁じます。