Human-in-the-loop (HITL と略され、「人間とマシンのコラボレーション」、「人間参加者」、「人間参加者」、または「人間とコンピュータの相互作用」などとも訳されます) .)、これは人間と機械の知能を使用して機械学習モデルを作成する人工知能の部門です。
HITL は、人々 (またはチーム) がアルゴリズムによって生成されたシステム (コンピューター ビジョン、機械学習、人工知能など) と対話するための反復的なフィードバック プロセスです。
人間がフィードバックを提供するたびに、コンピューター ビジョン モデルが更新され、その世界観が調整されます。フィードバックがより協力的で効果的であればあるほど、モデルの更新が速くなり、トレーニング中に提供されたデータセットからより正確な結果が生成されます。親が猫と犬の違いを理解するまで、猫は「鳴く」ことができ、犬は「吠える」ことができると説明しながら、子供の成長を指導するのと同じです。
HITL は、アルゴリズムや人間だけでは管理できない目標を達成することを目指しています。特にアルゴリズム (コンピューター ビジョン モデルなど) をトレーニングする場合、モデルが何を示しているかをより明確に理解できるように、ヒューマン アノテーターやデータ サイエンティストがフィードバックを提供すると役立つことがよくあります。
ほとんどの場合、HITL プロセスは教師あり学習または教師なし学習で導入できます。
教師あり学習 HITL モデル開発では、アノテーターまたはデータ サイエンティストは、ラベルと注釈が付けられたデータセットをコンピューター ビジョン モデルに提供します。 HITL 入力により、モデルはラベルのないデータの新しい分類をマッピングし、人間のチームよりも高い精度でギャップを埋めることができます。 HITL はこのプロセスの精度と出力を向上させ、人間の介入がない場合よりもコンピューター ビジョン モデルの学習をより速く、より成功させることができます。
教師なし学習では、コンピューター ビジョン モデルにラベルのない大規模なデータ セットが与えられ、それに応じて画像やビデオを構造化し、ラベルを付ける方法を学習する必要があります。 HITL 入力は一般的により幅広く、深層学習演習のカテゴリに分類されます。
HITL の入力とフィードバックの全体的な目標は、機械学習の結果を改善することです。 人間による継続的なフィードバックと入力により、機械学習またはコンピューター ビジョン モデルをよりスマートにします。人間の継続的な支援により、モデルはより良い結果を生成し、精度を向上させ、画像やビデオ内のオブジェクトをより確実に識別できるようになります。
時間の経過とともに、モデルはより効率的にトレーニングされ、人間と機械のフィードバックを通じて、プロジェクト リーダーが必要とする結果が得られます。このようにして、機械学習アルゴリズムをより効率的にトレーニング、テスト、調整、検証できます。
人間とコンピュータの対話システムには多くの利点がありますが、欠点もあります。
HITL プロセスの使用は遅くて面倒な場合があり、人間と同様に AI ベースのシステムでも間違いを犯す可能性があります。このプロセス中に、人的エラーが気付かれずにモデルのパフォーマンスと出力に悪影響を与える可能性があります。
したがって、データセットにラベルを付けるにはマシンが必要です。ただし、人間が機械学習モデルのトレーニング プロセスに深く関与すると、人間が関与しない場合よりも時間がかかる可能性があります。
医療分野では、ヘルスケアベースの画像とビデオのデータセットを使用した例があります。 2018 年のスタンフォード大学の研究では、AI モデルは、監視なしで作業する場合、または AI ベースの自動化のサポートなしで人間のデータ サイエンティストが同じデータ セットで作業する場合よりも、HITL でのパフォーマンスが向上することがわかりました。
人間と機械は連携してより効果的に働き、より良い結果を生み出すことができます。医療分野は、人間とコンピューターの対話に機械学習モデルを使用する多くの例のうちの 1 つにすぎません。
自動化された AI ベースのシステムは、重要な車両や航空機のコンポーネントの品質管理と保証検査を行う場合に役立ちますが、安心のためには人間による監視が不可欠です。
HITL 入力は、データ セットが小さく、モデルにフィードが与えられている場合に役立ちます。たとえば、希少な言語やアーティファクトを含むデータセットの場合、機械学習モデルには抽出できる十分なデータがない可能性があり、アルゴリズムによって生成されたモデルをトレーニングする際に人間の入力が非常に貴重になります。
【1】https://encord.com/glossary/what-is-human-in-the-loop-ai/