볼츠만 머신은 1985년 제프리 힌튼과 테리 세즈노프스키가 발명한 무작위 신경망과 순환 신경망의 한 유형입니다. 볼츠만 머신은 해당 […]을 생성하는 무작위 프로세스로 볼 수 있습니다.

정의: 이분법은 순서가 있는 요소의 목록을 입력으로 사용하는 알고리즘입니다. 검색 중인 요소가 목록에 포함되어 있으면 이진 검색은 해당 요소의 위치를 반환합니다. 그렇지 않으면 null을 반환합니다. 기본 아이디어: 이 방법은 데이터 양이 많을 때 적합합니다. 이진 탐색을 사용할 때는 데이터를 정렬해야 합니다. 데이터가 오름차순으로 정렬되어 있다고 가정합니다.

정의 이항 검정은 이분형 변수의 두 범주의 관찰 빈도를 지정된 확률 매개변수가 있는 이항 분포에서의 기대 빈도와 비교합니다. 기본적으로 두 그룹 모두의 확률 매개변수는 0.5입니다. 예: 동전을 던졌는데 앞면이 나올 확률이 1/2입니다. 이 가정에 따르면 동전을 40번 던지면 […]

분류 작업에는 두 가지 범주만 있다는 것을 나타냅니다. 예를 들어, 사진이 고양이인지 아닌지 식별하고 싶습니다. 즉, 분류기를 훈련하고, 특징 벡터 x로 표현되는 그림을 입력하고, y = 0 또는 1로 표현되는 고양이인지 출력합니다. 2클래스 분류는 각 샘플이 단 하나의 레이블 0으로 설정된다고 가정합니다.

정의: 딥 신경망은 음성 인식, 이미지 처리, 자연어 처리 등 여러 분야에서 뛰어난 성과를 보였습니다. LSTM은 RNN의 변형으로, RNN에 비해 데이터의 장기 종속성을 학습할 수 있습니다. 2005년에 Graves는 LSTM을 […]와 결합하는 것을 제안했습니다.

편향-분산 딜레마는 편향과 분산을 동시에 줄이는 것이 불가능하며, 둘 사이의 균형을 이루는 것만이 가능하다는 것을 의미합니다. 모델에서 편차를 줄이려면 과소적합을 방지하기 위해 모델의 복잡성을 높여야 합니다. 하지만 동시에 모델을 너무 복잡하게 만들어 분산을 증가시키고 과적합을 일으킬 수는 없습니다. 그러므로 우리는 모델의 복잡성에서 균형점을 찾아야 합니다.

"편향-분산 분해"는 학습 알고리즘의 일반화 성능을 편향과 분산의 관점에서 설명하는 도구입니다. 구체적인 정의는 다음과 같습니다. K개의 데이터 세트가 있고, 각각이 분포 p(t,x)에서 독립적으로 추출되었다고 가정합니다. (t는 예측할 변수를 나타내고 x는 특성 변수를 나타냅니다.) 무관심한 […]

정의: 예상 출력과 실제 레이블의 차이를 편향이라고 합니다. 다음 그림은 편향과 분산 사이의 관계를 잘 보여줍니다.

클래스 간 산점 행렬은 각 샘플 포인트의 평균 주위 분산을 나타내는 데 사용됩니다. 수학적 정의

정의 베이지안 네트워크는 불확실한 지식 표현 및 추론 분야에서 가장 효과적인 이론적 모델 중 하나입니다. 베이지안 네트워크는 변수를 나타내는 노드와 이 노드를 연결하는 방향성 모서리로 구성됩니다. 노드는 확률 변수를 나타냅니다. 노드 사이의 방향성 모서리는 노드 간의 관계를 나타냅니다. 관계의 강도는 조건부 확률을 사용하여 표현됩니다. 부모 노드가 없습니다 […]

기본 개념 베이지안 의사결정 이론은 통계적 모형 의사결정의 기본적인 방법입니다. 기본적인 아이디어는 다음과 같습니다. 알려진 클래스 조건부 확률 밀도 매개변수 표현식과 사전 확률을 베이지안 공식을 사용하여 사후 확률로 변환합니다. 결정 분류는 사후 확률의 크기에 따라 결정됩니다. 관련 공식 D1, D2, ..., Dn을 샘플이라고 하자 […]

전반적인 위험을 최소화하기 위해 샘플에 대한 위험 R(c|x)를 최소화할 수 있는 클래스 레이블이 선택됩니다. 즉, h∗는 베이지안 최적 분류기입니다.

모델 선택에서는 일반적으로 후보 모델 집합에서 "최상의" 모델을 선택한 다음, 선택된 "최상의" 모델을 예측에 사용합니다. 단일 최적 모델과 달리 베이지안 모델 평균화는 각 모델에 가중치를 할당하고 가중 평균화를 수행하여 최종 예측 값을 결정합니다. 그 중 모델에 부여되는 가중치는 […]

각 샘플 x에 대해 h가 조건부 위험 R(h(x)|x)을 최소화할 수 있다면 전체 위험도 최소화됩니다. 이는 베이즈 결정 규칙으로 이어집니다. 전반적인 위험을 최소화하려면 조건부 위험 R(c|x […])을 만드는 위험만 선택하면 됩니다.

BN은 대규모 합성곱 신경망의 학습 속도를 높이고 수렴 후 분류 정확도를 개선할 수 있는 일련의 정규화 방법입니다. BN이 신경망의 특정 계층에서 사용될 경우, 각 미니 배치의 내부 데이터를 표준화하고, 출력을 N(0,1)의 정규 분포로 정규화하고, […]

앙상블 학습에서는 그룹이 생성한 "개별 학습자"는 동질적입니다. 이러한 학습기를 기본 학습기라고 하며, 해당 학습 알고리즘을 기본 학습 알고리즘이라고 합니다.

장단기 메모리(LSTM)는 1997년에 처음 발표된 시간 재귀 신경망(RNN)입니다. 고유한 설계 구조로 인해 LSTM은 매우 긴 간격과 지연을 갖는 시계열의 중요한 이벤트를 처리하고 예측하는 데 적합합니다.

정보 엔트로피는 정보의 양을 측정하는 데 적합한 양입니다. 1948년 섀넌이 제안했습니다. 열역학의 엔트로피 개념을 빌려와 정보의 중복을 제외한 평균 정보량을 정보 엔트로피라고 부르고, 이에 대한 수학적 표현을 제시했습니다. 정보 엔트로피의 세 가지 속성은 단조성입니다. 즉, 사건의 확률이 높을수록 더 많은 정보를 담고 있다는 것입니다.

지식 표현이란 지식의 표현과 설명을 말합니다. 이는 에이전트가 관련 지식을 합리적으로 어떻게 활용할 수 있는지에 관한 것입니다. 이것은 계산적 과정으로서의 사고에 대한 연구입니다. 엄밀히 말하면, 지식 표현과 지식 추론은 같은 연구 분야에서 서로 밀접하게 연관된 두 가지 개념이지만, 사실 지식 표현은 추론을 포함하는 광범위한 개념을 지칭하는 데에도 사용됩니다.

지수 손실 함수는 AdaBoost 알고리즘에서 일반적으로 사용되는 손실 함수입니다. 그 함수 표현은 다음 그림에서 보듯이 지수 형태입니다. 일반적인 손실 오류 지수 손실 지수 손실: 주로 Adaboost 앙상블 학습 알고리즘에서 사용됨; 힌지 손실 H […]

머신러닝 분야에서 진실이란 지도학습에서 분류 결과에 대한 학습 세트의 정확한 설정값을 의미하며, 일반적으로 오차 추정 및 효과 평가에 사용됩니다. 지도 학습에서 레이블이 지정된 데이터는 일반적으로 (x, t)의 형태로 나타납니다. 여기서 x는 입력 데이터를 나타내고 t는 레이블을 나타냅니다. 올바른 라벨은 Grou […]입니다.

오류-발산 분해는 통합 일반화 오류를 분해하는 과정을 말하며, 다음과 같이 표현할 수 있습니다. 여기서 왼쪽 E는 통합 일반화 오류를 나타내고 오른쪽 $latex {\over […]

MCMC는 마르코프 체인을 기반으로 한 무작위 분포에서 샘플링을 위한 알고리즘으로, 확률 공간에서 무작위로 샘플링하여 관심 매개변수의 사후 분포를 근사합니다. MCMC의 기본 이론은 마르코프 과정입니다. 관련 알고리즘에서, 지정된 분포를 샘플링하기 위해 마르코프 과정에 따라 모든 상태에서 시뮬레이션할 수 있습니다.

진화 알고리즘은 생물학적 세계의 자연선택과 자연적 유전 메커니즘을 활용한 일반적인 문제 해결 방법입니다. 기본 방법: 간단한 코딩 기술을 사용하여 다양한 복잡한 구조를 표현하고, 간단한 유전 연산과 적자생존의 자연선택을 사용하여 학습을 안내하고 탐색 방향을 결정합니다. 인구를 사용하여 검색을 구성하면 […]

볼츠만 머신은 1985년 제프리 힌튼과 테리 세즈노프스키가 발명한 무작위 신경망과 순환 신경망의 한 유형입니다. 볼츠만 머신은 해당 […]을 생성하는 무작위 프로세스로 볼 수 있습니다.

정의: 이분법은 순서가 있는 요소의 목록을 입력으로 사용하는 알고리즘입니다. 검색 중인 요소가 목록에 포함되어 있으면 이진 검색은 해당 요소의 위치를 반환합니다. 그렇지 않으면 null을 반환합니다. 기본 아이디어: 이 방법은 데이터 양이 많을 때 적합합니다. 이진 탐색을 사용할 때는 데이터를 정렬해야 합니다. 데이터가 오름차순으로 정렬되어 있다고 가정합니다.

정의 이항 검정은 이분형 변수의 두 범주의 관찰 빈도를 지정된 확률 매개변수가 있는 이항 분포에서의 기대 빈도와 비교합니다. 기본적으로 두 그룹 모두의 확률 매개변수는 0.5입니다. 예: 동전을 던졌는데 앞면이 나올 확률이 1/2입니다. 이 가정에 따르면 동전을 40번 던지면 […]

분류 작업에는 두 가지 범주만 있다는 것을 나타냅니다. 예를 들어, 사진이 고양이인지 아닌지 식별하고 싶습니다. 즉, 분류기를 훈련하고, 특징 벡터 x로 표현되는 그림을 입력하고, y = 0 또는 1로 표현되는 고양이인지 출력합니다. 2클래스 분류는 각 샘플이 단 하나의 레이블 0으로 설정된다고 가정합니다.

정의: 딥 신경망은 음성 인식, 이미지 처리, 자연어 처리 등 여러 분야에서 뛰어난 성과를 보였습니다. LSTM은 RNN의 변형으로, RNN에 비해 데이터의 장기 종속성을 학습할 수 있습니다. 2005년에 Graves는 LSTM을 […]와 결합하는 것을 제안했습니다.

편향-분산 딜레마는 편향과 분산을 동시에 줄이는 것이 불가능하며, 둘 사이의 균형을 이루는 것만이 가능하다는 것을 의미합니다. 모델에서 편차를 줄이려면 과소적합을 방지하기 위해 모델의 복잡성을 높여야 합니다. 하지만 동시에 모델을 너무 복잡하게 만들어 분산을 증가시키고 과적합을 일으킬 수는 없습니다. 그러므로 우리는 모델의 복잡성에서 균형점을 찾아야 합니다.

"편향-분산 분해"는 학습 알고리즘의 일반화 성능을 편향과 분산의 관점에서 설명하는 도구입니다. 구체적인 정의는 다음과 같습니다. K개의 데이터 세트가 있고, 각각이 분포 p(t,x)에서 독립적으로 추출되었다고 가정합니다. (t는 예측할 변수를 나타내고 x는 특성 변수를 나타냅니다.) 무관심한 […]

정의: 예상 출력과 실제 레이블의 차이를 편향이라고 합니다. 다음 그림은 편향과 분산 사이의 관계를 잘 보여줍니다.

클래스 간 산점 행렬은 각 샘플 포인트의 평균 주위 분산을 나타내는 데 사용됩니다. 수학적 정의

정의 베이지안 네트워크는 불확실한 지식 표현 및 추론 분야에서 가장 효과적인 이론적 모델 중 하나입니다. 베이지안 네트워크는 변수를 나타내는 노드와 이 노드를 연결하는 방향성 모서리로 구성됩니다. 노드는 확률 변수를 나타냅니다. 노드 사이의 방향성 모서리는 노드 간의 관계를 나타냅니다. 관계의 강도는 조건부 확률을 사용하여 표현됩니다. 부모 노드가 없습니다 […]

기본 개념 베이지안 의사결정 이론은 통계적 모형 의사결정의 기본적인 방법입니다. 기본적인 아이디어는 다음과 같습니다. 알려진 클래스 조건부 확률 밀도 매개변수 표현식과 사전 확률을 베이지안 공식을 사용하여 사후 확률로 변환합니다. 결정 분류는 사후 확률의 크기에 따라 결정됩니다. 관련 공식 D1, D2, ..., Dn을 샘플이라고 하자 […]

전반적인 위험을 최소화하기 위해 샘플에 대한 위험 R(c|x)를 최소화할 수 있는 클래스 레이블이 선택됩니다. 즉, h∗는 베이지안 최적 분류기입니다.

모델 선택에서는 일반적으로 후보 모델 집합에서 "최상의" 모델을 선택한 다음, 선택된 "최상의" 모델을 예측에 사용합니다. 단일 최적 모델과 달리 베이지안 모델 평균화는 각 모델에 가중치를 할당하고 가중 평균화를 수행하여 최종 예측 값을 결정합니다. 그 중 모델에 부여되는 가중치는 […]

각 샘플 x에 대해 h가 조건부 위험 R(h(x)|x)을 최소화할 수 있다면 전체 위험도 최소화됩니다. 이는 베이즈 결정 규칙으로 이어집니다. 전반적인 위험을 최소화하려면 조건부 위험 R(c|x […])을 만드는 위험만 선택하면 됩니다.

BN은 대규모 합성곱 신경망의 학습 속도를 높이고 수렴 후 분류 정확도를 개선할 수 있는 일련의 정규화 방법입니다. BN이 신경망의 특정 계층에서 사용될 경우, 각 미니 배치의 내부 데이터를 표준화하고, 출력을 N(0,1)의 정규 분포로 정규화하고, […]

앙상블 학습에서는 그룹이 생성한 "개별 학습자"는 동질적입니다. 이러한 학습기를 기본 학습기라고 하며, 해당 학습 알고리즘을 기본 학습 알고리즘이라고 합니다.

장단기 메모리(LSTM)는 1997년에 처음 발표된 시간 재귀 신경망(RNN)입니다. 고유한 설계 구조로 인해 LSTM은 매우 긴 간격과 지연을 갖는 시계열의 중요한 이벤트를 처리하고 예측하는 데 적합합니다.

정보 엔트로피는 정보의 양을 측정하는 데 적합한 양입니다. 1948년 섀넌이 제안했습니다. 열역학의 엔트로피 개념을 빌려와 정보의 중복을 제외한 평균 정보량을 정보 엔트로피라고 부르고, 이에 대한 수학적 표현을 제시했습니다. 정보 엔트로피의 세 가지 속성은 단조성입니다. 즉, 사건의 확률이 높을수록 더 많은 정보를 담고 있다는 것입니다.

지식 표현이란 지식의 표현과 설명을 말합니다. 이는 에이전트가 관련 지식을 합리적으로 어떻게 활용할 수 있는지에 관한 것입니다. 이것은 계산적 과정으로서의 사고에 대한 연구입니다. 엄밀히 말하면, 지식 표현과 지식 추론은 같은 연구 분야에서 서로 밀접하게 연관된 두 가지 개념이지만, 사실 지식 표현은 추론을 포함하는 광범위한 개념을 지칭하는 데에도 사용됩니다.

지수 손실 함수는 AdaBoost 알고리즘에서 일반적으로 사용되는 손실 함수입니다. 그 함수 표현은 다음 그림에서 보듯이 지수 형태입니다. 일반적인 손실 오류 지수 손실 지수 손실: 주로 Adaboost 앙상블 학습 알고리즘에서 사용됨; 힌지 손실 H […]

머신러닝 분야에서 진실이란 지도학습에서 분류 결과에 대한 학습 세트의 정확한 설정값을 의미하며, 일반적으로 오차 추정 및 효과 평가에 사용됩니다. 지도 학습에서 레이블이 지정된 데이터는 일반적으로 (x, t)의 형태로 나타납니다. 여기서 x는 입력 데이터를 나타내고 t는 레이블을 나타냅니다. 올바른 라벨은 Grou […]입니다.

오류-발산 분해는 통합 일반화 오류를 분해하는 과정을 말하며, 다음과 같이 표현할 수 있습니다. 여기서 왼쪽 E는 통합 일반화 오류를 나타내고 오른쪽 $latex {\over […]

MCMC는 마르코프 체인을 기반으로 한 무작위 분포에서 샘플링을 위한 알고리즘으로, 확률 공간에서 무작위로 샘플링하여 관심 매개변수의 사후 분포를 근사합니다. MCMC의 기본 이론은 마르코프 과정입니다. 관련 알고리즘에서, 지정된 분포를 샘플링하기 위해 마르코프 과정에 따라 모든 상태에서 시뮬레이션할 수 있습니다.

진화 알고리즘은 생물학적 세계의 자연선택과 자연적 유전 메커니즘을 활용한 일반적인 문제 해결 방법입니다. 기본 방법: 간단한 코딩 기술을 사용하여 다양한 복잡한 구조를 표현하고, 간단한 유전 연산과 적자생존의 자연선택을 사용하여 학습을 안내하고 탐색 방향을 결정합니다. 인구를 사용하여 검색을 구성하면 […]