2달 전

MRL: 주의력과 합성곱을 활용한 혼합 학습

Mohta, Shlok ; Suganuma, Hisahiro ; Tanaka, Yoshiki
MRL: 주의력과 합성곱을 활용한 혼합 학습
초록

본 논문에서는 비전 분야를 위한 새로운 신경망 구조 블록인 지역적 및 국소적 혼합(Mixing Regionally and Locally, MRL)을 소개합니다. 이 블록은 제공된 입력 특성을 효과적이고 효율적으로 혼합하는 것을 목표로 개발되었습니다. 우리는 입력 특성 혼합 작업을 지역적 규모와 국소적 규모에서의 혼합으로 나누었습니다. 효율적인 혼합을 달성하기 위해, 자기 주의(self-attention)가 제공하는 도메인 전반에 걸친 수용 필드를 이용하여 지역적 규모에서의 혼합을 수행하고, 국소적 규모에 제한된 합성곱 커널(convolutional kernels)을 사용하여 국소적 규모에서의 혼합을 수행합니다. 더욱 구체적으로, 제안된 방법은 정의된 영역 내에서 국소적 특성과 관련된 지역적 특성을 먼저 혼합한 후, 이를 통해 강화된 국소적 특성의 혼합을 수행합니다. 실험 결과, 자기 주의와 합성곱의 이러한 하이브리드 접근 방식이 성능 향상, 일반화(올바른 귀납 편향), 그리고 효율성을 가져오는 것으로 나타났습니다. 유사한 네트워크 설정 하에서 MRL은 분류, 객체 검출, 세그멘테이션 작업에서 기존 방법론보다 우수하거나 최소한 동등한 성능을 보였습니다. 또한 본 연구에서는 H&E 조직학 데이터셋에 대해 MRL 기반 네트워크 구조가 최고 수준의 성능을 달성함을 보여주었습니다. Kumar, CoNSep, CPM-17 데이터셋에 대한 DICE 점수는 각각 0.843, 0.855, 0.892를 기록하였으며, 그룹 합성곱(group convolutions) 등의 계층을 통합하여 데이터셋별 일반화를 개선할 수 있는 MRL 프레임워크의 유연성을 강조하였습니다.

MRL: 주의력과 합성곱을 활용한 혼합 학습 | 최신 연구 논문 | HyperAI초신경