百科事典

ブートストラップ法は、特定のトレーニング セットからの置き換えを伴う均一なサンプリングです。つまり、サンプルが選択されるたびに、そのサンプルが再度選択され、トレーニング セットに再度追加される可能性があります。 自助法は、1979 年にブラッドリー・エフロンによって『統計年報』で紹介されました。

サンプルの場合、m 個のサンプルを含むトレーニング セットのランダム サンプリングで毎回収集される確率は 1m です。収集されない確率は 1−1m です。 m 個のサンプルが収集されない確率が (1−1m)m である場合、m→∞ のとき、(1−1m)m→1/e≃0 […]

ボルツマン マシンは、1985 年にジェフリー ヒントンとテリー セジナウスキーによって発明された、確率的ニューラル ネットワークおよびリカレント ニューラル ネットワークの一種です。 ボルツマン マシンは、確率過程の生成応答として見ることができます […]

定義 二分法は、要素の順序付きリストを入力とするアルゴリズムです。 検索対象の要素がリストに含まれている場合、二分検索はその位置を返し、それ以外の場合は null を返します。 基本的な考え方は、この方法はデータ量が大きい場合に適しているということです。 二分検索を使用する場合、データが昇順であることを前提として、データを並べ替える必要があります […]

二項検定は、二分変数の 2 つのカテゴリの観測頻度を、指定された確率パラメーターを使用した二項分布での期待頻度と比較するために定義されます。デフォルトでは、両方のグループの確率パラメーターは 0.5 です。 例: コインを投げると表が出る確率は 1/2 です。 この仮定によれば、コインは 40 回投げられます […]

たとえば、画像が猫であるかどうかを識別したい場合、分類タスクには 2 つのカテゴリしかないことを示します。 つまり、分類器をトレーニングし、特徴ベクトル x で表される画像を入力し、出力が y = 0 または 1 で表される猫かどうかを判断します。2 つのカテゴリー分類では、各サンプルが 1 つだけ設定されていると想定します。ラベル0 […]

定義: ディープ ニューラル ネットワークは、音声認識、画像処理、自然言語処理など、さまざまな方向で優れた結果を示しています。RNN の一種である LSTM は、RNN と比較してデータの長期的な依存関係を学習できます。 2005 年に、Graves は LSTM と […] を組み合わせることを提案しました。

バイアスと分散のジレンマは、バイアスと分散を同時に削減することができず、この 2 つのバランスをとることしかできないことを指します。 モデルでバイアスを軽減したい場合は、過小適合を防ぐためにモデルの複雑性を高めますが、同時にモデルを複雑にしすぎてはなりません。これにより分散が増加し、過大な適合が発生します。フィッティング。したがって、モデルの複雑さのバランス ポイントを見つける必要があります。これにより、[…]

「偏差分散分解」は、学習アルゴリズムの汎化性能をバイアスと分散の観点から説明するツールです。具体的な定義は次のとおりです。 K 個のデータセットがあり、各データセットは分布 p から独立していると仮定します。 (t,x) を抽出します (t は予測対象の変数を表し、x は特性変数を表します)。 さまざまな […]

定義: 期待される出力と実際のマークの差はバイアスと呼ばれます。次の図は、バイアスと分散の関係をよく示しています。

クラス間分散行列は、平均の周囲の各サンプル点の広がりを表すために使用されます。 数学的定義

ベイジアン ネットワークを定義します。ベイジアン ネットワークは、現在、不確実な知識の表現と推論の分野で最も効果的な理論モデルの 1 つです。ベイジアン ネットワークは、変数を表すノードと、これらのノードを接続する有向辺で構成されます。 ノードは確率変数を表し、ノード間の有向エッジはノード間の関係の強さを表現するために使用されます。親ノードはありません。

基本概念 ベイズ決定理論手法は、統計モデルの意思決定における基本的な手法です。その基本的な考え方は、既知のクラスの条件付き確率密度パラメータ式と事前確率を、ベイズ公式を使用して事後確率に従って事後確率に変換するというものです。 -サイズに基づく作成と分類 D1、D2、...、Dn をサンプルとします [...]

全体的なリスクを最小限に抑えるために、クラス ラベルはサンプルのリスク R(c|x) を最小限に抑えることができます。つまり、h∗ はベイズ最適分類子です。

モデルの選択では、通常、一連の候補モデルから「最適な」モデルが選択され、この選択された「最適な」モデルが予測に使用されます。 単一の最適モデルとは異なり、ベイジアン モデルは各モデルに平均重みを割り当て、加重平均を実行して最終的な予測値を決定します。その中で、あるモデルに割り当てられた重みは […]

各サンプル x について、h が条件付きリスク R(h(x)|x) を最小化できる場合、全体のリスクも最小化されます。これにより、ベイズの決定ルールが生まれます。全体的なリスクを最小限に抑えるには、各サンプルのどれが条件付きリスク R(c|x […]

BN は、大規模な畳み込みネットワークのトレーニングを高速化し、収束後の分類精度を向上させる一連の正則化手法です。 BN がニューラル ネットワークの特定の層で使用される場合、各ミニバッチ データは出力を N(0,1) の正規分布に正規化するために内部で標準化され、[…]

アンサンブル学習では、グループによって生成される「個別の学習器」は同種であり、そのような学習器は基本学習器と呼ばれ、対応する学習アルゴリズムは基本学習アルゴリズムと呼ばれます。

長短期記憶 (LSTM) は時間的リカレント ニューラル ネットワーク (RNN) であり、この論文は 1997 年に初めて発表されました。 LSTM は、独自の設計構造により、非常に長い間隔と遅延を伴う時系列の重要なイベントの処理と予測に適しています […]

情報エントロピーは、1948 年にシャノンによって提案されました。情報の冗長性を排除した平均的な情報量を情報エントロピーと呼びます。表現。 情報エントロピーの 3 つの特性は単調性です。つまり、イベントが発生する確率が高くなるほど、イベントが運ぶ情報も多くなります。

知識表現とは、エージェントが関連する知識をどのように合理的に利用するかに関する知識の表現と記述を指し、これは思考を計算プロセスとして扱う研究です。 厳密に言えば、知識表現と知識推論は同じ研究分野の 2 つの密接に関連した概念ですが、実際には知識表現は推論を含む広い概念を指す場合にも使用されます。

指数損失関数は、AdaBoost アルゴリズムでよく使用される損失関数であり、その関数表現は指数形式であり、概略図は次のとおりです。 一般的な損失誤差 指数損失 指数損失: 主に Adaboost アンサンブル学習アルゴリズムで使用されます。

機械学習の分野において、真理とは教師あり学習における分類結果のトレーニングセットの正確な設定値を指し、一般的に誤差推定や効果評価に用いられます。 教師あり学習では、ラベル付きデータは通常 (x, t) の形式で表示されます。x は入力データを表し、t はラベルを表します。正しいラベルは Grou […]

誤差発散分解とは、積分汎化誤差を分解するプロセスを指し、次の式で表すことができます。 式の左側は積分誤差を表します。一般化エラー、右側 $latex {\over […]