ダークデータ (Dark data) とは？

ダークデータの量

世界全体で、組織が保有するデータの約55%が、把握または定量化されていない、未活用のダークデータであると考えられています。この実態は、Splunkの委託によりTRUE Global Researchが実施した調査で明らかになりました(調査結果について詳しくは、『ダークデータ(未活用データ)の現状』レポートを参照してください)。さらにこの調査では、回答した組織のうち、3分の1が自組織内のデータの75%以上がダークデータであると考えており、一方、ダークデータは25％未満であると答えた組織はわずか11%でした。

この数字は国によっても異なります。調査対象の7カ国のうち、たとえば、組織内のデータの半分以上がダークデータであると回答した組織の割合は、中国では44%だったのに対し、フランスと日本では65%にのぼりました。(世界平均は60%)

ダークデータとビッグデータの関係

ガートナー社の定義によると、ビッグデータとは、費用対効果が高い非常に高度な情報処理を必要とする、大量かつ多様な情報資産を指します。そして、このビッグデータが急激に増加し続ける中、隠れたダークデータの量も急増しています。たとえば、企業のマシンデータの量は従来的な組織データに比べはるかに速いスピードで増加しており、それと同時にマシンデータ内の情報がビジネス戦略上の意思決定に果たす重要性も増しています。必然的に、マシンデータはダークデータの主要な発生源でもあります。

ダークデータ分析とは

ダークデータ分析とは、把握されていないデータを探索して特定し、ビジネス上の重要な意思決定に活用できるようにするためのソフトウェアまたはソリューションを指します。『ダークデータ(未活用データ)の現状』レポートによると、回答者はダークデータ分析について、「組織内の大多数を占める(技術的知識のない)一般の従業員でも組織のニーズを理解できるようにし、ダークデータの問題に適切に対応していくための有用なソリューション」として評価しています。具体的には、ダークデータ分析ソリューションは、ユーザーが自身のデータを包括的かつ正確に理解し、有益なインサイトを引き出して、データ環境の全体像を把握することを可能にします。

ダークデータ分析の展望

ダークデータ分析の分野では、今後、AI活用が進むでしょう。AIであれば、多様かつ膨大な量のデータを超高速に処理できるからです。また、AIは、ダークデータのような膨大な量の情報から、より深く、微妙なニュアンスを含んだ、的確なビジネスインサイトを引き出すこともできます。現在のAIは、思考と創造性の点では人間に及びませんが、データを大規模かつ高速に処理する能力では人間をはるかにしのぎます。今後、AIとダークデータ分析が統合を強めていくことはまず間違いありません。

ダークデータの調査方法

ダークデータを調査する方法はいくつかあります。1つは、外部のコンサルタントに依頼し、組織の環境を評価して隠れたダークデータを徹底調査してもらう方法です。

さらに、環境全体を評価して可視性を高め、データ管理の効率と効果を向上させる方法もあります。この方法は、コンプライアンス違反を特定し、組織のデータを危険にさらす可能性のあるセキュリティギャップ、脆弱性、悪質なアクティビティを検出するためにも役立ちます。

ダークデータに関する調査研究

多くの企業ではダークデータへの取り組みはごく初期の段階にあり、ダークデータに関する具体的な調査研究も始まったばかりです。世界有数の調査会社であり、「ダークデータ」という言葉の生みの親であるガートナー社は、蓄積されたデータの管理を始める方法やその他の関連トピックを紹介しています。

ダークデータが一般にその名で呼ばれるようになる以前、コンサルティング会社のDeloitte社は、非構造化データから機会を見出す方法についてのレポートの中で、データに関する課題が差し迫っている点に触れ、隠れたデータの存在が後に業界全体で問題になるという重要な洞察を提示しました。

この記事の執筆時点での最新のダークデータ調査研究は、『ダークデータ(未活用データ)の現状』レポートです。このレポートの基盤となった、Splunkの委託によりTRUE Global Intelligenceが実施した調査では、世界の1,300人以上のビジネスマネージャーとITリーダーを対象に、組織におけるデータの収集、管理、活用状況について尋ねています。すでに紹介した以外に注目すべき調査結果は以下のとおりです。

• 76%の回答者が「今後は、最も多くのデータを活用する企業が勝つ」という考えに同意しています。
• 60%の回答者が、社内データの半分以上がダークデータであると答え、3分の1の回答者が、社内データの75%以上がダークデータであると答えています。
• ビジネスリーダーは、データ量が膨大であること、必要なスキルセットが不足していること、必要な人材が不足していることが、ダークデータの活用を阻む最たる要因であると考えています。
• 半数以上(56%)の回答者が、「データ主導型」というコンセプトが自社内では単なるスローガンになっていると認めています。

このレポートでは、AIの台頭や業務がますますデータ志向になっていくことで生じる懸念についても取り上げています。

ダークデータの動向

ダークデータに関する主な動向として、組織内のすべてのデータを効果的に管理することが重要であるという認識が高まっていることが挙げられます。ただし、データが将来の成功を促す原動力であることが明らかであるにもかかわらず、ほとんどの組織は、スキルギャップと危機感の薄さから、データの課題に取り組む準備ができていません。その他にも、ダークデータに関しては以下のような重要な動向があります。

• 将来、データはビジネス成功の鍵となる：3分の2以上(71%)の組織が、今後10年間にデータの価値がさらに高まると予想し、ほぼすべての組織が、データは組織内の意思決定により大きく影響するようになると予想しています。
• 将来、データスキルは仕事に不可欠になる：大多数の組織が、今後データスキルはIT業務だけでなく社内のあらゆる職種で重要性が高まると考えています。また、シニアレベルのリーダーになるにはデータリテラシーがほぼ必須だとも考えています。
• データを活用するためのツールがない：データの重要性が高まっているにもかかわらず、多くの組織が、大量のデータをアクションにつなげたり、データを最大限に活用したりするために必要なリソース、ツール、スキルが不足していると自覚しています。
• ダークデータに関するスキルギャップがある：多くの従業員は新しいスキルを学ぶことに消極的で、調査では69%が、これ以上昇進できなくても今のやり方で仕事を続けたいと回答しています。

ダークデータの用途

ダークデータの有望な用途の1つは、AI駆動のソリューションの効果を向上させることです。利用できるデータが増えれば、AIが分析できる情報の量も増え、より深く精度の高いインサイトを引き出せるようになると期待できます。

具体的な用途は膨大にありますが、最も大きな用途の1つとして、より生産的で新しいビジネス戦略を考案できるようになるということが挙げられます。たとえば、組織のどの部門がどのデータを所有し、経営幹部やリーダー層が現在どのタイプのデータを所有していて、今後どのタイプのデータを所有すべきかを判断できるようにするなどです。またダークデータは、品質保証プロセスの改善にも役立ちます。プロセスのミスの検出と修正や、個人情報保護の盲点、セキュリティの脆弱性、コンプライアンス違反の兆候の特定に利用できます。

将来的には、ダークデータを積極的に活用し、IoTのような急速に成長しているテクノロジーでの新しいデータ管理戦略を策定したり、短期および長期のトレンド分析に有用なデータを提供してマネージャー、ディレクター、リーダー層に定量的な分析結果を提示することができるようになるでしょう。

ヘルスケア分野におけるダークデータの活用例

ヘルスケア分野では、効率の追及、データの全体像の正確な把握、革新的なアプローチが非常に重視されるため、ダークデータの活用は多大で長期的なインパクトをもたらします。病院、診療所、専門家がデータを有効活用することで、患者のエクスペリエンスを高度にパーソナライズし、より良いケアを提供したり、個人の医療データのセキュリティを強化することが可能です。

データ文化に移行するための土台を築く

組織は相反する課題に直面しています。データとAIが持つ可能性は無限大であり、ビジネスに変革をもたらすと信じ、データリテラシーが職務の遂行やパフォーマンスの向上に不可欠になると考える一方で、データに対する洞察力、AIに関する専門知識、組織内のデータに基づいて適切な意思決定を行う能力にあまり自信を持てずにいます。

この矛盾を踏まえて、データの全体像がつかめない現在からデータ主導型の未来へと前進するために推奨される重要事項を以下に示します。

AIの導入に備える。AIや機械学習のような急成長しているテクノロジーの最新情報を収集すると同時に、組織や組織が属する業界に適したユースケースを探しましょう。特に、ビジネスリーダーやITリーダーは、AIの発展状況に常に目を光らせ、これらのテクノロジーがさまざまな市場でどのように成熟しているかを把握する必要があります。自動化によって効率と精度がどのくらい向上するかを検討し、大量のデータを効果的に処理する能力を高めていきます。

データ中心の文化を築く。データ主導型の未来を実現するための最初のステップは、必要なインフラを整備することです。その後、データを理解するための手段を講じ、ビジネス戦略の重要な要素としてのデータの役割を明確化します。また、ITロードマップに自動化とAIを組み込み、戦略的な意思決定にデータと分析を取り入れることも大切です。

データスキルを補強する。業界全体でデータスキルが不足していることを踏まえ、新しいデータ人材の採用を強化する必要があります。そのためには、人材パイプラインを構築する、地元の大学と協力する、就職説明会に参加する、技術交流会などのイベントに参加するなどの方法があります。スキルとデータリテラシーの高い人材は引く手あまたです。競合他社から抜きんでるためには、優秀な人材が集まり長く在職している先進的な組織として注目されるような体制作りも必要です。

トレーニングの機会を提供する。既存の従業員に対して、ビジネス変革に役立つ新しいテクノロジーを習得するためのトレーニングを提供することは組織の義務です。オンライン学習サイトと提携する、カンファレンスやイベントにスタッフを送り込む、学習のための費用を負担するなどの取り組みを行って、成長の機会を提供しましょう。キャリア開発とキャリア目標の設定は従業員自身に任せ、組織は目標を達成するためのツールを提供してそれをサポートします。

データ主導型の未来に向けて準備する

製品開発から、サプライチェーン、カスタマーエクスペリエンス、組織戦略まで、データがビジネスのあらゆる側面をかつてないレベルに押し上げていることはほぼ周知の事実です。しかし、今日のビジネスリーダーの多くは、この革新に対する準備ができていません。これは組織にとって、課題であると同時にチャンスでもあります。

データ主導型の未来の到来に備えるには、データリテラシーの高い人材を雇用、育成するための取り組み、データ中心の文化を浸透させるための取り組み、そして組織内のすべてのデータを把握し、活用するための取り組みが必要です。データは、ビジネス資産として、ますますその価値を高めています。組織が自組織内のすべてのデータを管理し、その価値を最大限引き出すには、人材、プロセス、テクノロジーの整備が不可欠です。