17일 전

퍼서버 IO: 구조화된 입력 및 출력을 위한 일반적인 아키텍처

Andrew Jaegle, Sebastian Borgeaud, Jean-Baptiste Alayrac, Carl Doersch, Catalin Ionescu, David Ding, Skanda Koppula, Daniel Zoran, Andrew Brock, Evan Shelhamer, Olivier Hénaff, Matthew M. Botvinick, Andrew Zisserman, Oriol Vinyals, Joāo Carreira
퍼서버 IO: 구조화된 입력 및 출력을 위한 일반적인 아키텍처
초록

머신러닝의 핵심 목표 중 하나는 다양한 문제를 가능한 한 다양한 데이터 영역에서 해결할 수 있는 시스템을 개발하는 것이다. 그러나 현재의 아키텍처는 도메인 및 작업에 대한 사전 가정을 내재하거나 큰 입력 또는 출력에 대해 효율적으로 확장되지 못하기 때문에, 소수의 전형적인 환경을 넘어서는 데 한계가 있다. 본 연구에서는 입력 및 출력 크기에 대해 선형적으로 확장되면서도 임의의 설정에서 데이터를 처리할 수 있는 일반적인 아키텍처인 Perceiver IO를 제안한다. 본 모델은 Perceiver에 유연한 쿼리 메커니즘을 추가하여 다양한 크기와 의미를 가진 출력을 가능하게 하며, 작업별 특화된 아키텍처 설계의 필요성을 제거한다. 동일한 아키텍처는 자연어 및 시각 이해, 다중 작업 및 다중 모달 추론, 그리고 StarCraft II에 이르기까지 다양한 작업에서 뛰어난 성능을 달성한다. 주목할 만한 성과로는, 입력 토큰화를 제거한 상황에서도 Transformer 기반의 BERT 베이스라인을 GLUE 언어 벤치마크에서 능가하며, 다중 해상도 대응을 위한 명시적 메커니즘이 없음에도 불구하고 Sintel 광류 추정에서 최고 수준의 성능을 기록했다.

퍼서버 IO: 구조화된 입력 및 출력을 위한 일반적인 아키텍처 | 최신 연구 논문 | HyperAI초신경