ハイパーパラメータハイパーパラメータ

機械学習において、ハイパーパラメータ（英語: Hyperparameters ）とは、学習過程を制御するためにあらかじめ与えられるパラメータのこと。他のパラメータ (ノードの重みなど) の値はトレーニングを通じて導出されます。ハイパーパラメータは、機械学習アルゴリズムがデータから学習する方法を決定する構成の選択肢であり、ユーザーによって設定され、トレーニング プロセス中には学習されません。ハイパーパラメータの例には、学習率、ニューラル ネットワークの隠れ層の数、ランダム フォレストの決定木の数、線形回帰の正則化パラメータなどがあります。

ハイパーパラメータは、モデル ハイパーパラメータとアルゴリズム ハイパーパラメータに分類できます。モデルのハイパーパラメータは主にモデルの選択に使用され、トレーニング セットの特徴の学習には役立ちません。一方、アルゴリズムのハイパーパラメータは理論的にはモデルのパフォーマンスに影響を与えませんが、学習の速度と品質には影響します。典型的なモデルのハイパーパラメータはニューラル ネットワークのトポロジとサイズであり、学習率、バッチ サイズ (Batch size)、およびミニバッチ サイズ (Mini-Batch size) は典型的なアルゴリズムのハイパーパラメータです。

モデル トレーニング アルゴリズムが異なれば、必要なハイパーパラメーターも異なりますが、一部の単純なアルゴリズム (通常の最小二乗回帰など) はハイパーパラメーターを必要としません。適切なハイパーパラメータの選択は、機械学習モデルのパフォーマンスと動作に直接影響するため、非常に重要です。ハイパーパラメータの設定が低すぎると、モデルがデータ内の基礎となるパターンを捕捉できなくなるアンダーフィッティングが発生する可能性があります。逆に、値を高く設定しすぎると、モデルが複雑になりすぎて、目に見えないデータを一般化する代わりにトレーニング データを記憶する過学習につながる可能性があります。ハイパーパラメータ調整は、特定の機械学習タスクに最適なハイパーパラメータの組み合わせを見つけるプロセスです。これは通常、グリッド検索、ランダム検索、またはベイジアン最適化などのより高度な技術を通じて行われます。研究者は、ハイパーパラメータのさまざまな組み合わせを体系的に調査することで、検証セットでモデルのパフォーマンスを最大化する構成を特定できます。

参考文献

【1】https://zh.wikipedia.org/wiki/1T P3TB0_()

【2】https://encord.com/glossary/hyper-parameters-definition/