6월 11일, 구글은 이산 확산(Discrete Diffusion) 기술을 기반으로 구축된 텍스트 생성 모델인 DiffusionGemma를 공식 오픈소스로 공개했습니다. 이 모델은 업계 최고 수준의 Gemma 4 시리즈의 파라미터별 인텔리전스 기능과 최첨단 Gemini 확산 연구를 활용하고, 새로운 확산 헤드를 통합하여 생성 속도를 극대화합니다. 기존의 대규모 모델들이 텍스트 토큰 단위로 출력하는 방식과 달리, DiffusionGemma는 전체 텍스트 블록을 동시에 생성하고 여러 차례의 병렬 노이즈 제거를 통해 결과를 지속적으로 최적화합니다.이로 인해 생성 속도가 최대 4배까지 향상됩니다.

공식 데이터에 따르면 DiffusionGemma는 단일 NVIDIA H100 GPU에서 초당 1100개 이상의 토큰 생성 속도를, GeForce RTX 5090에서는 초당 700개 이상의 토큰 생성 속도를 달성할 수 있으며, 이는 동일 수준의 자기회귀 모델을 훨씬 능가합니다.

건축의 관점에서 보면,DiffusionGemma는 26B 파라미터 레벨의 하이브리드 전문가(MoE) 설계를 사용합니다.전체 파라미터 수는 약 252억 개에 달하지만, 추론 과정에서는 38억 개의 파라미터만 활성화되어 계산 오버헤드를 크게 줄이면서도 강력한 추론 성능을 유지합니다. 이 모델은 인코더-디코더 구조를 기반으로 하며 양방향 어텐션 메커니즘을 통합하여 최대 256개의 토큰을 동시에 병렬 처리할 수 있습니다. 또한 인라인 텍스트 편집, 코드 자동 완성, 수학적 구조 생성과 같이 전역 컨텍스트에 크게 의존하는 작업도 지원합니다.

또한 DiffusionGemma는 최대 256,000개의 토큰으로 구성된 긴 컨텍스트, 멀티모달 그래프 및 텍스트 입력, 그리고 <|think|>로 활성화되는 추론 모드를 지원하여 개발자에게 차세대 고효율 AI 애플리케이션을 탐색할 수 있는 새로운 기술 옵션을 제공합니다.

구글은 여전히 표준 Gemma 4가 생성 품질 측면에서 프로덕션 환경에 더 적합하다고 강조하지만, DiffusionGemma에서 보여준 확산 기반 텍스트 생성 기능은 대규모 언어 모델 개발을 위한 또 다른 주목할 만한 새로운 길을 열어줄 수 있습니다.

개발자들이 최소한의 노력으로 DiffusionGemma를 경험할 수 있도록 HyperAI는 모델이 오픈소스로 공개된 직후 신속하게 대응하여 NVIDIA RTX Pro 6000 그래픽 카드 하나만으로 모델의 강력한 기능을 검증할 수 있는 배포하기 쉬운 노트북을 출시했습니다.

온라인으로 실행:https://go.hyper.ai/879dB

더 많은 온라인 튜토리얼:

https://hyper.ai/notebooks

데모 실행

1. hyper.ai 홈페이지에 접속한 후, "튜토리얼" 페이지를 선택하거나 "더 많은 튜토리얼 보기"를 클릭하고, "DiffusionGemma: 이산 확산 기반 고속 텍스트 생성 모델"을 선택한 다음, "이 튜토리얼 실행"을 클릭합니다.

2. 페이지가 리디렉션된 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.

참고: 페이지 오른쪽 상단에서 언어를 변경할 수 있습니다. 현재 중국어와 영어로만 제공됩니다. 이 튜토리얼에서는 영어로 된 단계를 안내합니다.

3. "NVIDIA RTX Pro 6000" 및 "vLLM" 이미지를 선택하고 "작업 실행 계속"을 클릭합니다.

4. 리소스 할당이 완료될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "워크스페이스 열기"를 클릭하여 Jupyter 워크스페이스에 들어갑니다.

효과 표시

1. 페이지가 리디렉션된 후 왼쪽에 있는 README 파일을 클릭하고 상단의 실행을 클릭합니다.

2. 프로세스가 완료되면 오른쪽에 있는 API 주소를 클릭하여 데모 인터페이스를 엽니다.