Image Captioning
تهدف تسمية الصور إلى وصف محتوى الصور الإدخال بدقة باستخدام تقنيات توليد اللغة الطبيعية. يدمج هذا المهمة تقنيات من مجال الرؤية الحاسوبية ومعالجة اللغة الطبيعية، ويستخدم عادة إطارًا مشفرًا-مفككًا لتحويل معلومات الصورة إلى تمثيلات الوسيط التي يتم ترجمتها بعد ذلك إلى نصوص وصفية. تشمل المقاييس التقييمية الرئيسية BLEU و CIDER، بينما تعتبر nocaps و COCO من أشهر المجموعات المستخدمة لهذا الغرض. تحمل تسمية الصور قيمة تطبيقية كبيرة في مجالات مثل مساعدة الأشخاص ذوي الإعاقة البصرية على فهم الصور، والتصنيف الآلي للمحتوى، والبحث الذكي عن الصور.
AIC-ICC
BanglaLekhaImageCaptions
CNN + 1D CNN
ChEBI-20
GIT-Mol
MS COCO
ExpansionNet v2
COCO Captions
VAST
COCO Captions test
From Captions to Visual Concepts and Back
Conceptual Captions
ClipCap (MLP + GPT2 tuning)
Flickr30k Captions test
Unified VLP
FlickrStyle10K
CapDec
foundation-multimodal-models/DetailCaps-4870
IU X-Ray
Localized Narratives
MS-COCO
NeuSyRE
MSCOCO
CapDec
nocaps entire
nocaps in-domain
VinVL (Microsoft Cognitive Services + MSR)
nocaps near-domain
GIT2, Single Model
nocaps out-of-domain
PaLI
nocaps val
Prismer
nocaps-val-in-domain
nocaps-val-near-domain
nocaps-val-out-domain
nocaps-val-overall
nocaps-XD entire
GIT2
nocaps-XD in-domain
GIT2
nocaps-XD near-domain
GIT2
nocaps-XD out-of-domain
GIT2
Object HalBench
Peir Gross
BiomedGPT
SCICAP
CNN+LSTM (Vision only, First sentence)
TextCaps 2020
VizWiz 2020 test
VizWiz 2020 test-dev
WHOOPS!