バイアス分散のトレードオフ バイアス分散のトレードオフ

統計と機械学習では、バイアスと分散のトレードオフは、モデルの複雑さ、予測の精度、およびモデルの関係をトレーニングするために使用されなかった以前に確認されていないデータを予測する能力の間の関係を表します。一般に、モデル内の調整可能なパラメーターの数を増やすと、モデルの柔軟性が高まり、トレーニング データ セットによりよく適合できるようになります。ただし、より柔軟なモデルの場合、1 種類のサンプルを使用して新しいトレーニング データ セットが作成されるたびに、モデルの適合の分散が大きくなる傾向があります。

バイアス分散のジレンマまたはバイアス分散問題は、これら 2 つの誤差要因の矛盾を同時に最小化しようとする試みです。これら 2 つのエラー ソースにより、教師あり学習アルゴリズムがトレーニング セットを超えて一般化することが妨げられます。

• バイアス誤差は、学習アルゴリズムにおける誤った仮定によって引き起こされる誤差です。バイアスが高いと、アルゴリズムが特徴とターゲット出力の間の相関関係を見逃す (アンダーフィッティング) 可能性があります。
• 分散は、トレーニング セット内の小さな変動に対する感度によって生じる誤差です。トレーニング データ内のランダム ノイズをモデル化するアルゴリズムは、大きな分散 (過学習) を引き起こす可能性があります。

バイアスと分散のトレードオフは、教師あり学習における中心的な問題です。理想的な状況は、トレーニング データのパターンを正確に捕捉し、目に見えないデータまで十分に一般化するモデルを選択することです。残念ながら、多くの場合、両方を同時に行うことは不可能です。高分散学習方法は、トレーニング セットを適切に表現できる可能性がありますが、ノイズが多い、または代表性のないトレーニング データに過剰適合するリスクがあります。対照的に、バイアスの高いアルゴリズムは、通常、データ内の重要な規則性を捕捉できない (つまり、アンダーフィット) 可能性がある単純なモデルを生成します。

参考文献

【1】https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff