주의 메커니즘

인간의 주의 메커니즘은 직관에 기초합니다. 이는 인간이 제한된 자원을 사용하여 방대한 양의 정보에서 가치 있는 정보를 빠르게 걸러내는 수단입니다. 딥러닝의 주의 메커니즘은 인간의 주의적 사고 모드를 활용하였으며, 자연어 처리, 이미지 분류, 음성 인식 등 다양한 시나리오에서 널리 사용되어 놀라운 성과를 거두었습니다.

 

인코더-디코더 액자

인코더-디코더 이는 딥러닝에서 매우 일반적인 모델 프레임워크입니다. 이미지 캡션 신청서에서 인코더-디코더 그것은 CNN-RNN 부호화– 디코딩 프레임워크; 신경망 기계 번역 모델에서 인코더-디코더 종종 그렇습니다 LSTM-LSTM 부호화– 프레임을 디코딩합니다.

 

인코딩은 입력 시퀀스를 고정된 길이의 벡터로 인코딩하는 것입니다. 디코딩은 이전에 생성된 고정 벡터를 출력 시퀀스로 디코딩하는 것입니다.

주의 모델

어텐션 모델은 주로 딥러닝에 사용되는데, 딥러닝은 크게 자연어 이해, 이미지 인식, 음성 인식의 세 가지 주요 분야로 나뉜다.

• 자연어 이해

주의 모델은 자연어 이해에 중요한 역할을 합니다. Google은 최신 기계 번역에 Attention 모델을 채택했습니다. Attention 모델은 주로 긴 문장이나 단락에서 키워드를 추출하는 데 사용됩니다. 아래 그림과 같습니다.

• 이미지 인식

이미지 인식에서 주의 모델은 이미지 분류 및 이미지 생성에 사용됩니다. 다음 그림은 이미지 캡션 생성의 응용 프로그램입니다.

이 연구에서는 주의 모델의 가중치를 원본 이미지, 즉 이미지의 흰색 영역에 시각화하여 표시합니다. 그림에서 볼 수 있듯이 프리즈비와 개는 각각 문장 속의 프리즈비와 개에 대응됩니다.

• 음성 인식

주의 모델을 기반으로 한 인코더-디코더 프레임워크는 좋은 성과를 거두었으며, 음성과 단어 간의 대응관계도 확립했습니다.