Frontiers in Intelligenter Koloskopie

Die Koloskopie ist derzeit eine der empfindlichsten Screening-Methoden für Darmkrebs. Diese Studie untersucht die Grenzen intelligenter Koloskopietechniken und ihre zukünftigen Implikationen für multimodale medizinische Anwendungen. Hierzu bewerten wir zunächst die aktuellen datenzentrierten und modellzentrierten Ansätze anhand von vier Aufgaben zur koloskopischen Szenerkennung, einschließlich Klassifizierung, Detektion, Segmentierung und visueller Sprachverarbeitung (vision-language understanding). Diese Bewertung ermöglicht es uns, domänenspezifische Herausforderungen zu identifizieren und zeigt, dass die multimodale Forschung in der Koloskopie weiterhin Raum für weitere Erkundungen bietet. Um die kommende Ära multimodaler Technologien zu begrüßen, haben wir drei grundlegende Initiativen etabliert: einen groß angelegten multimodal ausgerichteten Datensatz zur Anpassung von Instruktionen (ColonINST), ein auf die Koloskopie abgestimmtes multimodales Sprachmodell (ColonGPT) und eine multimodale Benchmark-Studie. Um den kontinuierlichen Überblick über dieses schnell sich entwickelnde Feld zu gewährleisten, stellen wir eine öffentliche Website für aktuelle Updates bereit: https://github.com/ai4colonoscopy/IntelliScope.