월드 모델은 컴퓨팅 인텔리전스의 초점을 언어 작업에서 시각 및 공간 추론으로 전환시키는 데 중요한 역할을 하고 있습니다. 이러한 모델은 동적인 3D 환경 시뮬레이션을 구축하여 에이전트가 복잡한 장면을 인지하고 상호 작용할 수 있도록 함으로써, 체화된 지능 및 게임 개발과 같은 분야에 새로운 연구 및 응용 가능성을 열어줍니다. 현재 월드 모델 연구의 최전선은 실시간 인터랙티브 비디오 생성에 집중되어 있으며, 상당한 진전이 이루어졌습니다.하지만 실시간 생성에서 낮은 지연 시간을 달성하는 동시에 장기적인 기하학적 일관성을 높이는 방법은 이 분야에서 여전히 해결되지 않은 핵심 과제입니다.

이를 바탕으로,텐센트의 훈위안 팀은 장기적인 기하학적 일관성을 유지하면서 실시간으로 상호작용하는 세계 모델링을 가능하게 하는 플랫폼인 월드플레이(WorldPlay)를 출시했습니다.이는 기존 방식에서 발생하는 생성 속도와 메모리 사용량 간의 상충 관계를 효과적으로 해결합니다. 이 시스템의 구현에는 세 가지 핵심 기술 혁신이 포함됩니다.

*이중 동작 표현:이 시스템은 이중 동작 표현 방식을 사용하여 사용자 키보드 및 마우스 입력에 대한 강력한 동작 제어를 구현함으로써 상호 작용 응답의 정확성과 안정성을 보장합니다.

*컨텍스트 메모리 메커니즘 재구성:장기적인 일관성을 보장하기 위해, 본 모델은 동적 재구성 컨텍스트 메모리 모듈을 설계하여 과거 프레임의 컨텍스트 정보를 재구성하고 시간 재구성 전략을 통해 기하학적으로 중요하지만 오래전 프레임에 대한 접근성을 유지함으로써 메모리 감쇠 문제를 크게 완화합니다.

*맥락 강제 증류법:연구팀은 기억 지각 모델에 특화된 "맥락 강제(contextual forcing)"라는 새로운 증류 방법을 제안했습니다. 이 방법은 교사 모델과 학생 모델 간의 기억 맥락을 일치시켜 학생 모델이 원격 정보를 활용하는 능력을 유지하면서도 실시간 추론 속도를 유지할 수 있도록 함으로써 오류 편향을 효과적으로 억제합니다.

WorldPlay는 720p 고화질 스트리밍 비디오를 초당 24프레임으로 안정적으로 장시간 재생할 수 있습니다.WorldPlay는 여러 지표에서 기존 기술을 능가하고 다양한 시나리오에서 탁월한 일반화 능력을 입증함으로써 제어, 메모리 및 개선을 위한 체계적인 프레임워크를 제공하여 실시간으로 일관된 세계 모델을 구축하는 데 중요한 진전을 이루었습니다.

HyperAI 웹사이트에서 "HY-World 1.5: 대화형 세계 모델링 시스템 프레임워크"를 만나보실 수 있습니다. 한번 사용해 보세요!

온라인 사용:https://go.hyper.ai/Dgd3Z

12월 29일부터 1월 2일까지 hyper.ai 공식 웹사이트의 주요 업데이트 사항을 간략하게 살펴보겠습니다.

* 고품질 튜토리얼 선택: 3개

* 인기 백과사전 항목: 5개

1월 마감인 주요 학술대회: 10개

공식 웹사이트를 방문하세요:하이퍼.AI

선택된 공개 튜토리얼

1. HY-World 1.5: 상호작용형 세계 모델링 시스템을 위한 프레임워크

HY-World 1.5(WorldPlay)는 텐센트의 훈위안 팀에서 출시한 최초의 오픈 소스 실시간 인터랙티브 월드 모델로, 장기적인 기하학적 일관성을 제공합니다. 이 모델은 스트리밍 비디오 확산 기술을 통해 실시간 인터랙티브 월드 모델링을 구현하며, 기존 방식의 속도와 메모리 사용량 간의 상충 관계를 해결합니다.

온라인에서 실행: https://go.hyper.ai/Dgd3Z

2. Maya1: 매우 사실적이고 감성적인 음성 생성 서비스

Maya Research에서 출시한 Maya1은 고품질 음성 합성 작업을 위해 설계된 고충실도 감정 텍스트 음성 변환(TTS) 모델입니다. 풍부한 감정 표현과 사용자 지정 가능한 음성 스타일을 특징으로 합니다. 이 모델은 자연어 설명을 통해 화자의 감정 상태, 말하는 속도, 어조, 음색 및 표현력을 정확하게 모델링하는 데 중점을 두어 사람의 표현과 매우 유사한 사실적인 음성 출력을 생성합니다.

온라인에서 실행: https://go.hyper.ai/RmmI3

3. RFdiffusion3: 단백질 설계 모델

RFdiffusion3(RFD3)는 워싱턴 대학교 단백질 설계 연구소에서 개발한 모델입니다. 이 최첨단 바이오디자인 AI 모델은 살아있는 세포 내의 거의 모든 분자와 상호작용하는 새로운 단백질을 생성할 수 있어, 단백질 공학자들을 오랫동안 괴롭혀 온 연구 과제를 해결합니다.

온라인에서 실행: https://go.hyper.ai/gv4Rz

인기 백과사전 기사

1. 초당 프레임 수(FPS)

2. 양방향 장단기 메모리(Bi-LSTM)

3. 제한된 관심

4. 구현된 내비게이션

5. 게이트 순환 장치

다음은 "인공지능"을 이해하는 데 도움이 되는 수백 가지 AI 관련 용어입니다.

https://go.hyper.ai/wiki

최고 AI 학술 컨퍼런스에 대한 원스톱 추적:https://go.hyper.ai/event

위에 적힌 내용은 이번 주 편집자 추천 기사의 전체 내용입니다. hyper.ai 공식 웹사이트에 포함시키고 싶은 리소스가 있다면, 메시지를 남기거나 기사를 제출해 알려주세요!

다음주에 뵙겠습니다!