データファブリックとは？

データファブリックアーキテクチャのような概念は、すべてのデータがオンサイトのサーバーに保存されていた時代にはまだ生まれておらず、また必要とされていませんでした。ハイブリッドクラウドインフラが普及し、ワークロードが複雑化し、データパイプラインに関するリスクが増加するにつれ、新しいデータネットワークの複雑さと規模も拡大してきました。これに伴い、IT部門は、データの安全性、セキュリティ、有用性を維持するだけでなく、データのライフサイクル全体を通じてリアルタイムかつオンデマンドで追跡やアクセスを行う必要性の高まりにも直面しています。

データファブリックソリューションは、組織のあらゆる形式のすべてのデータに対応し、必要なときに検索できるようにするための効果的な方法です。極めて多様化したストレージシステムの世界では、データ品質だけでなく組織の最も重要な資産の利便性を確保するために、データファブリックアーキテクチャのような概念が不可欠です。なぜならデータファブリックは、データ/ストレージ層ではなく、コンピューティング/処理層での接続を実現することで、新たなサイロを作ることなく、データサイロの橋渡しをします。これにより、データにアクセスしやすくなり、環境全体にわたってセルフサービスのデータ共有、使用、コラボレーションが可能になるためです。

データファブリックは、Gartner社による2022年の戦略的テクノロジーのトップトレンドの1つに挙げられており、分析を活用してデータに関するレコメンデーションと使用法を学習し、積極的に管理することで、データ管理の労力を最大70%削減できることが明らかになっています。 

データファブリックフレームワークの導入は、組織のスキル、期間、予算、データ環境に応じて、さまざまな方法で行うことができます。データファブリック内のさまざまなコンポーネント間の統合は、通常、APIや標準データ形式であるJSONデータ形式を介して処理されます。しかし、データファブリックのインフラの概念は、業界の専門家の間でもまだ定義が定まっていません。また、データファブリックの多くの特性に対応したエンドツーエンドのデータ管理ソリューションを提供するベンダーも存在し、自社の提供サービスの一部としてデータファブリックのアプローチを採用する組織も増えています。

データファブリックアーキテクチャは、保存されているすべての種類のデータセットを管理するための全体的なスキーマを作成するよう設計されているため、必要なときにいつでも価値を引き出すことができます。売上予測から、組織のITインフラやユーザーのエンドポイントの状況に関するレポートまで、幅広くこれらのデータを活用できます。

データファブリックアーキテクチャのユースケースは、営業、マーケティング、IT、サイバーセキュリティなど、組織内のあらゆる種類のデータのユースケースと変わりません。ただし、ほとんどのユースケースにおいて、組織内のデータには、非構造化、半構造化、または構造化データがあるのが普通です。たとえば、データベースレコードなどの構造化データは、リレーショナルデータベースに保存され、追加の操作なしで使用できます。

非構造化データは、クレンジングや整理が行われていないデータで構成されているため、必要なときにすぐに使用できるようにしておく必要があります。たとえば、機械学習、分析、センサーデータ、クラウドコンピューティング、生産性アプリケーションのデータは、さまざまな種類の非構造化データであり、多くの組織が今後使用するために収集し保存しています。半構造化データ(Zipファイル、Webページ、メールなど)には、非構造化データと一緒に保存された既知の種類のデータなど、両方の要素が含まれています。

データファブリックの用途を詳しく研究すれば、組織がより迅速かつ効果的にデータにアクセスして利用できるようにするデータファブリックの能力を生かした多くのユースケースを見出すことができます。一般的なシナリオには次のようなものがあります。

• リアルタイムのデータ分析
• IoT分析
• カスタマーインテリジェンス
• 不正行為の検出
• 運用効率の向上
• サプライチェーンロジスティクス

データファブリックの主なメリットは以下のとおりです。

• データの発生源に関係なく、将来の利用に向けてデータをインテリジェントに取り込んでクレンジング、整理、操作することができます。エッジからクラウドまで、組織のITインフラのあらゆる場所にあるさまざまなアプリケーションのデータをサポートし、エンドユーザーによるデータの準備とオーケストレーションを容易にします。
• 一連のガイドラインとポリシーにより、組織全体で一貫した方法でデータの保存、クレンジング、ラベル付け、その他の操作を行えます。このガイドラインは、エンドユーザーが必要とする形式で保存された構造化データ(データセンターなど)と、データレイクに保存され抽出時にクレンジングされる非構造化データの両方に適用されます。
• データファブリックアーキテクチャには、オンプレミスのサーバーからエッジネットワーク、仮想化、クラウドストレージまで、組織のエコシステム全体のデータ構造がすべて含まれます。ハイブリッドクラウド環境での一貫性の確保は、今日のIT部門が直面するデータの最大の課題の1つですが、データファブリックは、すべてのステップで一貫性を確保します。
• データ分析のために、AI (人工知能)と機械学習を一貫した効果的な方法でデータに適用できます。AIや機械学習ベースのITツールを使用している先進的な組織であれば、データファブリックアーキテクチャのメリットをはっきりと実感することができるでしょう。組織のデータ環境全体で一貫性、接続性、品質を確保することで、AIを大規模に使用できます。
• データファブリックアーキテクチャにより、すべてのデータを適切なタイミングで適切な場所から使用できます。ネットワーク内の多種多様な要素を組み合わせることで、アプリケーション、プロセス、ITインフラ全体でシームレスに機能する、高度にモジュール化されたアーキテクチャを活用できます。

データレイクはデータやデータ資産を保存する場所であり、データファブリックはそれを抽出して使用するための手法です。この2つの用語は関連しており、多くの専門家はデータレイクに保存されたデータから最大限の価値を引き出すうえで、データファブリックが最善策であると考えています。しかし、この2つの用語の意味は明確に異なります。

データレイクとは、ソートもインデックスもされていない未加工の形式のデータリポジトリです。単純なファイルから、ビデオ、音声、画像、マルチメディアファイルのようなバイナリラージオブジェクト(BLOB)まで、あらゆる種類のデータを保存できます。データを使用できるようにするためのあらゆる操作(検出、抽出、クレンジング、統合)は、データの抽出時に行われます。

データファブリックとは、すべてのストレージと使用環境に存在するあらゆるデータを統合し、共通のプロトコル、手順、編成、セキュリティを適用するための手法です。

データファブリックとデータメッシュは、2つの関連した概念であり、明確に区別されていません。一般に、データファブリックとデータメッシュは、組織が大量の保存データをどのように扱うかを決定する概念と手法であるという点で類似しています。データファブリックの手法は、データの保存場所にかかわらず、その上に管理層を構築することでデータを管理しようとするものです。一方、データメッシュのアプローチは異なり、特定の種類のデータ管理の部分を、そのデータを使用する組織のチームやグループの管理下に置きます。

どちらのアプローチも、さまざまなテクノロジーやプラットフォームに存在するデータにアクセスするためのアーキテクチャを提供しますが、データファブリックはデータやメタデータの複雑さに対処するテクノロジー中心のアーキテクチャ的アプローチであるのに対し、データメッシュは組織の変化に焦点を当て、アーキテクチャよりも人とプロセスを重視しています。

多くの組織が独自のデジタル変革を進めていますが、ITインフラの歴史の中心は、旧来のデータを最新の環境へ対応させることでした。そのため、ビジネスにおいて最も成長が著しい分野の1つであるデータアーキテクチャが、頻繁に刷新されるのも当然といえます。データの保存、アクセス、使用に関しては、誰も追いつけないでしょう。一方、スケーリングに対応するためのアプローチとして自動化が一般的になりつつありますが、この自動化こそデータファブリックが確実に提供できる機能であり、ガバナンス、データ保護、統合などの重要な機能を実現できます。組織がデータレイクやデータウェアハウスなどのテクノロジーを採用するようになった今、さらなる成長を遂げる前にファブリックのアプローチを追加するのは理にかなっているといえるでしょう。