초록
주의 네트워크(attention networks)는 다양한 시각 문제에서 성능을 크게 향상시키는 데 성공했습니다. 이전 연구들은 새로운 주의 모듈(attention module)을 설계하고 이를 개별적으로 네트워크에 통합하는 데 중점을 두었습니다. 본 논문에서는 층별 정보의 통합을 촉진하기 위해 여러 네트워크 층에서 주의 모듈을 공유하는 혁신적이고 간단한 프레임워크를 제안합니다. 이 파라미터 공유 모듈은 밀도 있는 암시적 주의(Dense-and-Implicit-Attention, DIA) 유닛으로 지칭됩니다. DIA 유닛에는 여러 가지 모듈 선택이 가능합니다. 장기 단기 메모리(Long Short-Term Memory, LSTM)가 장거리 의존성을 포착할 수 있는 능력을 갖추고 있으므로, 본 연구에서는 DIA 유닛이 수정된 LSTM(DIA-LSTM로 지칭)인 경우에 집중하였습니다.베ン치마크 데이터셋에서 수행한 실험 결과, DIA-LSTM 유닛은 층별 특성 상호 관계를 강조하며 이미지 분류 정확도를 크게 향상시키는 것으로 나타났습니다. 또한, 전체 잔차 네트워크(residual network)에서 스킵 연결(skip connections)이나 배치 정규화(Batch Normalization)를 제거한 실험을 통해 DIA-LSTM이 깊은 네트워크의 학습 안정화에 강력한 규제 능력을 가짐을 경험적으로 보여주었습니다. 코드는 https://github.com/gbup-group/DIANet 에서 제공됩니다.