HyperAIHyperAI

Command Palette

Search for a command to run...

Console
18 小时前

DentalGPT:激励牙科领域的多模态复杂推理

DentalGPT:激励牙科领域的多模态复杂推理

摘要

在牙科领域,对多模态数据进行可靠解读对于实现自动化口腔健康管理至关重要。然而,当前的多模态大语言模型(MLLMs)在捕捉精细的牙科视觉细节方面仍存在不足,且在精确诊断所需的推理能力方面表现有限。为解决上述问题,我们提出了DentalGPT——一种通过高质量领域知识注入与强化学习构建的专用牙科多模态大语言模型。具体而言,本研究整合了超过12万张牙科图像,并配以详尽的描述,重点突出具有诊断意义的视觉特征,构建了迄今规模最大的牙科标注多模态数据集,成为目前收录牙科图像最为丰富的多模态数据集。基于该数据集进行训练,显著提升了模型对牙科病理状况的视觉理解能力;随后的强化学习阶段进一步增强了模型在多模态复杂推理任务中的表现。在口内镜与全景影像基准测试,以及医学视觉问答(VQA)基准中牙科子集上的综合评估表明,尽管DentalGPT仅包含70亿参数,其在疾病分类与牙科视觉问答任务中仍展现出优于众多先进多模态大语言模型的性能。实验结果表明,高质量牙科数据与分阶段适应策略相结合,为构建具备强大能力且高度领域专精的牙科多模态大语言模型提供了一条高效可行的技术路径。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DentalGPT:激励牙科领域的多模态复杂推理 | 论文 | HyperAI超神经