MedGen: 의학 비디오 생성을 위한 세부 주석이 달린 의학 비디오의 확장

최근 비디오 생성 분야에서 오픈 도메인 환경에서 놀라운 진전이 이루어졌지만, 의료 비디오 생성은 여전히 많이 탐구되지 않았습니다. 의료 비디오는 임상 교육, 교육, 시뮬레이션 등의 응용 분야에서 중요한 역할을 하며, 높은 시각적 품질뿐만 아니라 엄격한 의학적 정확성도 요구됩니다. 그러나 현재의 모델들은 의학적 프롬프트에 적용될 때 종종 비현실적이거나 오류가 있는 콘텐츠를 생성하는 경우가 많으며, 이는 주로 의료 도메인에 맞춤화된 대규모 고품질 데이터셋의 부족 때문입니다.이러한 간극을 메우기 위해, 우리는 MedVideoCap-55K라는 첫 번째 대규모, 다양하고 캡션 정보가 풍부한 의료 비디오 생성 데이터셋을 소개합니다. 이 데이터셋은 실제 의료 상황을 아우르는 55,000개 이상의 선별된 클립으로 구성되어 있으며, 일반적인 의료 비디오 생성 모델의 학습에 강력한 기반을 제공합니다. 이 데이터셋을 바탕으로 개발한 MedGen은 오픈 소스 모델 중 최고 성능을 달성하며, 여러 벤치마크에서 시각적 품질과 의학적 정확성 면에서 상업 시스템들과 견줄 만한 성능을 보입니다.우리는 우리의 데이터셋과 모델이 유용한 자원으로 활용되기를 바라며, 이를 통해 의료 비디오 생성 분야의 추가 연구가 촉진되길 기대합니다. 우리의 코드와 데이터는 https://github.com/FreedomIntelligence/MedGen 에서 확인할 수 있습니다.