RF-Next: 합성곱 신경망을 위한 효율적인 수용장역학 탐색

모델의 시간적/공간적 수용 필드는 순차적/공간적 작업에서 중요한 역할을 한다. 큰 수용 필드는 장기적 관계를 파악하는 데 유리하고, 작은 수용 필드는 국소적인 세부 정보를 포착하는 데 유리하다. 기존 방법들은 계층적으로 수작업으로 설계된 수용 필드를 기반으로 모델을 구성한다. 수작업으로 설계된 패턴을 대체할 수 있는 효과적인 수용 필드 조합을 탐색할 수 있을까? 이 질문에 답하기 위해 우리는 전역적에서 국소적 방향으로의 탐색 기반의 전략을 제안한다. 본 탐색 전략은 전역적 탐색을 통해 인간이 설계한 패턴 외의 가능한 대규모 조합을 탐색하고, 이를 바탕으로 개선된 국소적 탐색을 통해 정밀한 수용 필드 조합을 도출한다. 전역적 탐색은 인간이 설계한 패턴을 넘어서는 가능성을 탐색한다. 전역적 탐색의 결과를 기반으로, 기대값을 기반으로 하는 반복적 국소 탐색 기법을 제안하여 조합을 효과적으로 개선한다. 수용 필드 탐색을 다양한 모델에 적용한 RF-Next 모델은 시간적 행동 분할, 객체 탐지, 인스턴스 분할, 음성 합성 등 다양한 작업에서 성능을 향상시켰다. 관련 소스 코드는 http://mmcheng.net/rfnext에서 공개되어 있다.