DentalGPT: Anreizschaffung für multimodales komplexes Schlussfolgern in der Zahnmedizin
DentalGPT: Anreizschaffung für multimodales komplexes Schlussfolgern in der Zahnmedizin

Abstract
Die zuverlässige Interpretation multimodaler Daten in der Zahnmedizin ist entscheidend für die automatisierte Mundgesundheitsversorgung. Aktuelle multimodale große Sprachmodelle (MLLMs) stoßen jedoch an ihre Grenzen, wenn es darum geht, fein abgestimmte zahnmedizinische visuelle Details zu erfassen und präzise Diagnosen auf der Grundlage ausreichender Schlussfolgerungskapazität zu stellen. Um diese Einschränkungen zu überwinden, präsentieren wir DentalGPT, ein spezialisiertes zahnmedizinisches MLLM, das durch die Einbindung hochwertigen fachlichen Wissens und Verstärkungslernen (reinforcement learning) entwickelt wurde. Insbesondere wurde bislang der umfangreichste annotierte multimodale Datensatz für die Zahnmedizin aufgebaut, indem über 120.000 zahnmedizinische Bilder mit detaillierten Beschreibungen kombiniert wurden, die diagnostisch relevante visuelle Merkmale hervorheben. Damit stellt er den multimodalen Datensatz mit der umfangreichsten Sammlung zahnmedizinischer Bilder dar. Die Ausbildung auf diesem Datensatz verbessert signifikant die visuelle Wahrnehmung des MLLM für zahnmedizinische Zustände, während die anschließende Phase des Verstärkungslernens dessen Fähigkeit zur multimodalen komplexen Schlussfolgerung weiter stärkt. Umfassende Evaluationen an intraoralen und panoramischen Benchmark-Datensätzen sowie an zahnmedizinischen Untergruppen medizinischer VQA-Benchmarks zeigen, dass DentalGPT bei der Krankheitsklassifikation und zahnmedizinischen VQA-Aufgaben überlegene Leistung erzielt und trotz nur 7B Parametern viele state-of-the-art-MLLMs schlägt. Diese Ergebnisse belegen, dass hochwertige zahnmedizinische Daten in Kombination mit einer stufenweisen Anpassung einen effektiven Ansatz für die Entwicklung leistungsfähiger, fachspezialisierter zahnmedizinischer MLLMs darstellen.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.