HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 6 jours

Segmentation de lésions guidée par instruction pour les radiographies thoraciques à l'aide d'un jeu de données à grande échelle généré automatiquement

Geon Choi Hangyul Yoon Hyunju Shin Hyunki Park Sang Hoon Seo Eunho Yang Edward Choi

Segmentation de lésions guidée par instruction pour les radiographies thoraciques à l'aide d'un jeu de données à grande échelle généré automatiquement

Résumé

L'applicabilité des modèles actuels de segmentation des lésions sur les radiographies thoraciques (CXR) est restreinte à la fois par un nombre limité d'étiquettes cibles et par la dépendance à des entrées textuelles détaillées et de niveau expert, ce qui constitue un obstacle à leur utilisation pratique. Pour surmonter ces limitations, nous introduisons un nouveau paradigme : la segmentation guidée par instruction (ILS), conçu pour segmenter divers types de lésions à partir d'instructions simples et conviviales. Dans ce cadre, nous avons construit MIMIC-ILS, le premier jeu de données à grande échelle de paires instruction-réponse dédié à la segmentation des lésions sur les CXR, à l'aide de notre pipeline multimodal entièrement automatisé, capable de générer des annotations à partir d'images de radiographies thoraciques et de leurs rapports correspondants. MIMIC-ILS comprend 1,1 million de paires instruction-réponse issues de 192 000 images et de 91 000 masques de segmentation uniques, couvrant sept types majeurs de lésions. Pour démontrer empiriquement son utilité, nous proposons ROSALIA, un modèle vision-langage fine-tuné sur MIMIC-ILS. ROSALIA est capable de segmenter divers types de lésions et de fournir des explications textuelles en réponse aux instructions utilisateur. Le modèle atteint une précision élevée en segmentation et en génération de texte sur notre nouvelle tâche, mettant en évidence l'efficacité de notre pipeline et la valeur de MIMIC-ILS en tant que ressource fondamentale pour l'alignement au niveau pixel des lésions sur les CXR.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Segmentation de lésions guidée par instruction pour les radiographies thoraciques à l'aide d'un jeu de données à grande échelle généré automatiquement | Articles de recherche | HyperAI