MultiPL-MoE는 2025년 8월 중국 모바일 연구소에서 제안되었으며 관련 연구 결과는 논문 "MultiPL-MoE: 하이브리드 전문가 혼합을 통한 대규모 언어 모델의 다중 프로그래밍 언어 확장이 연구는 EMNLP 2025에 승인되었습니다.

MultiPL-MoE는 하이브리드 전문가 하이브리드(MoE)를 통해 구현된 다중 프로그래밍 언어(MultiPL) 확장 LLM입니다. 다중 자연어 확장을 위한 기존의 MoE 방식들은 후속 태그를 예측하여 내부 언어 일관성에 초점을 맞추지만 프로그래밍 언어의 내부 구문 구조는 무시합니다. 하지만 MultiPL-MoE는 태그 수준의 의미적 특징과 프래그먼트 수준의 구문적 특징에 대한 세밀한 학습을 위해 새로운 하이브리드 MoE 아키텍처를 사용합니다. 이를 통해 모델은 다양한 구문적 요소를 인식하고 분류하여 코드 구조를 추론할 수 있습니다.