人間参加型(Human in the Loop)のAIを実現：HITLの基本概念、メリット、および効果的なAIコラボレーションに関するガイド

AIシステムがネコとイヌをなぜ正確に区別できるのか、あるいは不適切なコンテンツがオンラインでどのようにフィルタリングされているのか、不思議に思ったことはないでしょうか。多くの場合、その背後には「人間参加型」(HITL：Human-in-the-Loop)という仕組みが存在します。

HITLとは？

簡単に言えば、自動化されたプロセスやAIドリブンなプロセスに人間が介在し、重要な役割を担えるようにする仕組みのことです。人間の関与は、次のような目的で行われます。

• 結果を制御、改善する。
• 精度を維持する。
• 複雑な状況を管理する。
• 必要不可欠な監督作業を行う。

機械の知能が人間の能力を凌駕するのも時間の問題かもしれない。汎用人工知能(AGI：Artificial General Intelligence)については、そのような可能性がさかんに議論されていますが、現時点で最先端のAI製品、とりわけ消費者向けの製品は、もっぱらHITLの仕組みに基づいて開発されています。情報の品質を管理するデータエンジニアから、新しいアルゴリズムを設計する機械学習(ML)研究者に至るまで、人間によるフィードバックは、機械の知能を向上させ、高い品質と信頼性を実現するために欠かせない要素なのです。

HITLが必要とされる理由

AIにおいてHITLが必要とされる理由は、データやモデルの挙動にまつわるいくつかの根本的な課題にあります。

• データの品質と構造：データは豊富に存在しますが、そのすべてがAIのトレーニングに役立つわけではありません。データはたいてい、構造化されていない形式で収集されますが、AIモデルは通常、構造化および標準化されたデータを必要とします。人間は、このようなデータのクリーニング、構造化、準備において重要な役割を果たします。
• データの量と多様性：AIモデルが適切に汎用化され、今まで見たことのないデータに対しても的確に機能するようにするには、トレーニングデータが十分に存在しているだけでなく、幅広いシナリオを反映している必要があります。しかし、アクセス制限やプライバシー規制、その他の現実的な制約のために、このような包括的なデータの入手や生成は難しいのが実情です。HITLは、データに関わるこれらの問題を特定し、ギャップを埋めるのに役立ちます。
• 安全性、倫理、コンプライアンス：たとえ完璧なデータが揃っていても、一般向けのAIモデルは安全でセキュリティが確保され、社会規範に従い、規制に準拠した形で使用される必要があります。モデルの挙動を制御し、バイアスを軽減し、有害な出力を阻止し、常に適切なエクスペリエンスをエンドユーザーに提供するには、人間による監督が不可欠です。

つまり、データエンジニアリング、モデルトレーニング、AIアプリケーションのデプロイといったプロセスのすべてを、人間の判断と介在を通じて慎重に管理する必要があるわけです。これにより、データの処理方法、モデルの学習方法、およびAIアプリケーションの最終的な動作を制御できるようになります。

HITL型AIの主なアプローチ

人間がAIシステムに介在するにあたっては、いくつかの一般的なアプローチがあります。

アプローチ1：アクティブラーニング

アクティブラーニングでは、人間は主に、データのラベル付けと注釈付けを中心としたデータ処理タスクに関与します。学習プロセスの大部分は機械が実行しますが、最も有用な情報や、人間が介在して明確化する必要がある曖昧なデータを機械が戦略的に選び出します。

機械はモデルをトレーニングするだけでなく、そのモデルの学習にとって重要な(または重要でない)特徴量の見極めについて人間の判断を仰ぐことができます。膨大なデータセット全体に手作業で注釈を付けるのは時間とコストがかかるうえに、これをリアルタイムで行うのは事実上不可能です。アクティブラーニングでは、学習アルゴリズムがモデルの改善に最も欠かせないデータポイントや特徴量を特定することで、この作業を効率化します。これにより、トレーニングデータの品質と多様性が向上し、モデルの汎用化が適切に行われるようになります。

人間の介在を伴うアクティブラーニングは半教師あり学習の一種で、ラベルはすべてのデータに最初から付けられるのではなく、学習の過程で必要に応じて付与されます。これは、教師あり学習(すべてのデータにラベルが付与される)や教師なし学習(どのデータにもラベルが付与されない)とは対照的なアプローチです。

アクティブラーニングの例

医療画像解析に用いられるAIが、スキャン画像の中で確信を持って分類できない曖昧な箇所にフラグを立てたとします。その後、放射線科医(学習に介在する人間の専門家)がこの特定の箇所を確認し、正しいラベル(「良性」や「悪性」など)を付与すると、このフィードバックがAIの学習に反映され、以降の同じようなスキャン画像での分類精度を高めることができます。

アプローチ2：インタラクティブ機械学習(IML：Interactive Machine Learning)

インタラクティブ機械学習(IML)では、人間がAIモデルのトレーニング、改善、指導に直接かつ繰り返し関与することで、分類精度の向上を図ります。初期のIMLは、決定木のような従来型AI手法の分類精度を改善することに重点が置かれていました。しかしその後は、AIモデルの分類境界の決定を支援することに焦点が移っています。

たとえば、複数のAI分類器によって生成された混同行列(正しい分類と誤った分類を表示してモデルの予測精度を可視化した表)を人間の作業者が分析し、それらの分類器を効果的に組み合わせる戦略を立てるといったようなシナリオが考えられます。この場合、複数のモデルが連動する分類器の「アンサンブル」モデルが、人間の知見に基づいて再トレーニングおよび最適化されることになります。

現代のIMLでは、人間と機械がさまざまな役割を担えるようになっています。人間は、トレーニング中にモデルの予測を検証したり、モデルの学習を支援したり、データのラベル付けに専念したりすることが可能です。つまり、IMLは、人間の介在によって有用な成果物を生成し、モデルのトレーニングとパフォーマンスを改善するプロセスなのです。これを実現するには、人間と機械がやり取りできるインターフェイスと反復的な学習手法が必要になります。

インタラクティブ機械学習の例

あるストリーミングサービスのコンテンツ推奨システムが、IMLを利用しているとします。この場合、ユーザーが映画のおすすめに対して「高評価」や「低評価」を付けたり、無視したりするといった行動が、直接的なフィードバックとなります。AIはこのフィードバックを利用することで、ユーザーとやり取りしながらユーザーの好みに対する理解度を高め、さらに適切なおすすめを提示できるようになります。

アプローチ3：マシンティーチング(MT：Machine Teaching)

マシンティーチングは、人間の「教師」がAIモデルの学習プロセスを制御、支援するAIの手法です。教師はたいてい特定分野の専門家で、機械学習に関する高度な知識がないことも少なくありません。この手法の核心にあるのは転移学習というアプローチです。これによって人間の専門家が自分の知識を機械に伝えます。ラベル付きデータが不足している場合や入手できない場合は特に、このアプローチが有効となります。

実際には、このプロセスは次のように進められます。

1. 専門家がデータセットを分析し、必要なデータ前処理を行います。具体的には、データの注釈付け、データの構造化、データの正規化、あるいは専門知識に基づいた特徴量の設計などです。
2. 次に、機械がこの厳選されたデータから学習して、結果を生成します。
3. 人間の教師は、モデルの「カリキュラム」(トレーニングデータやタスク)の更新を通じて、このプロセスを何度も改善します。

人間のフィードバックによる強化学習

この分野の重要なカテゴリの1つに、人間のフィードバックによる強化学習(RLHF：Reinforcement Learning from Human Feedback)があります。RLHFは、人間がモデルに影響を与える方法が、従来のマシンティーチングと異なっています。RLHFでは一般に、人間がモデルの挙動に対してフィードバックを与えたり、報酬システムを構築したりすることでモデルの振る舞いを教化し、この作業を繰り返すことで学習プロセスを調整していきます。この手法がよく用いられるのは、エージェンティックAIのユースケースと大規模言語モデル(LLM)のユースケースです。

• 標準的なマシンティーチングでは、(モデルの学習中ではなく)オフラインで介在が行われることが多く、極めて少ない例を使ってトレーニングを行うフューショット学習のような手法が用いられることもあります。
• RLHFでは、モデルが環境内でエージェントの行動に対応する際に、状況に応じて人間の専門家が継続的または繰り返し関与することによって、エージェントの行動の質を評価していきます。

マシンティーチングの例

あるサイバーセキュリティの専門家が、新たなタイプの巧妙なフィッシングメールの識別についてAIを指導するとします。専門家は、最近のフィッシングメールの例と無害なメールを厳選し、新たな脅威を特徴付ける微妙な言語的手がかり、疑わしいリンク構造、送信者のなりすましの手法をわかりやすく示します。こうした専門家によるカリキュラムを通じて、AIは特定の攻撃を、生データだけで学習した場合より効果的に検出できるようになります。

HITLアプローチの組み合わせ

実際には、最新のHITL手法の多くは、マシンティーチングの要素(IMLはたいていその一部と見なされます)とRLHFを組み合わせたもので、特に高度なAIアプリケーションで利用されます。

HITLのメリットと課題

HITLは大きなメリットを提供しますが、課題ももたらします。

メリット：

• 精度の向上：人間による監督を通じて、エラーを修正し、モデルのパフォーマンスを改善できる。
• エッジケースへの対応：AIがトレーニングを受けていない可能性がある新たな状況や曖昧な状況を人間が管理できる。
• 安全性の向上とバイアスの低減：人間の判断によって、有害な出力を防ぎ、データやモデルの挙動におけるバイアスの特定や修正を行うことができる。
• データ品質の向上：データのラベル付け、注釈付け、整理を人間が効果的に行えるようになる。

課題：

• 拡張性：データセットやプロセスが極めて大規模である場合、人間の関与がボトルネックとなる可能性がある。
• コスト：人間の専門家や注釈担当者を雇用すると、コストがかかる可能性がある。
• 一貫性と主観性：人間の判断にばらつきが発生し、矛盾が生じる可能性がある。
• 時間：人間による確認と介入により、本来は自動であるはずのプロセスが遅くなる可能性がある。

AIにおいても変わらぬ人間の役割

HITLは一時的な対策ではなく、堅牢で信頼性が高く、責任あるAIシステムを構築する上で欠かせない要素です。AIテクノロジーが進歩を続ける中でも、以下のような取り組みにおいては、依然として人間による洞察、判断、監督が重要になります。

• 現実世界の複雑なデータを処理する。
• 倫理的な配慮を確実に行う。
• 最終的に、人間の目標達成を効果的に支援するAIを構築する。

人間の知性と機械の能力を連携させることが、安全かつ効果的な形でAIの潜在能力を最大限に引き出すための鍵なのです。

このブログはこちらの英語ブログの翻訳、大久保 かがりによるレビューです。