HyperAIHyperAI

Command Palette

Search for a command to run...

MMPR マルチモーダル推論設定データ セット

日付

2年前

サイズ

29.29 GB

データセット構成

Nanjing University
Fudan University
The Shanghai AI Laboratory

公開URL

github.com

Paper URL

arxiv.org

MMPR(Multimodal Preference Dataset)は、上海人工知能研究所、復旦大学、南京大学、香港中文大学、清華大学、SenseTime Technologyの研究チームが2024年に共同でリリースした大規模なマルチモーダル嗜好データセットの関連論文。結果は「混合優先最適化によるマルチモーダル大規模言語モデルの推論能力の強化”。このデータ セットには、明確な正解がない 750,000 サンプルと、明確な正解がある 250 万サンプルが含まれています。サンプルは、多様性を確保するために、VQA、科学、チャート、数学、OCR、ドキュメントなどの複数の分野をカバーしています。データセットを構築する際、研究者らは、特に一般的な VQA およびドキュメント ドメインにおけるヒューリスティック ルールの制限により、偽陽性の陰性応答を避けるために特別な注意を払いました。このデータセットは、トレーニング中の潜在的な悪影響を回避しながら、マルチモーダル推論タスクにおけるモデルのパフォーマンスを向上させるように設計されています。

MMPR のデータ例。研究チームは、明確な正解がある指示については、複数の解決策をサンプリングし、正解があるものを選択応答として扱い、不正確な答えがあるものを拒否応答として扱う、正しさベースのプロセスを提案しました。研究チームは、明確な正解がない命令については、DropoutNTP を使用して拒否応答を生成することを提案しました。選択応答と拒否応答の違いは斜体で強調されています。赤いハイライトは、間違った応答を示します。
MMPR のデータ例。研究チームは、明確な正解がある指示については、複数の解決策をサンプリングし、正解があるものを選択応答として扱い、不正確な答えがあるものを拒否応答として扱う、正しさベースのプロセスを提案しました。研究チームは、明確な正解がない命令については、DropoutNTP を使用して拒否応答を生成することを提案しました。選択応答と拒否応答の違いは斜体で強調されています。赤いハイライトは、間違った応答を示します。

引用

このプロジェクトがあなたの研究に役立つと感じられた場合は、以下の文献を引用することを検討してください。 「`BibTeX @article{wang2024mpo, タイトル={混合選好最適化によるマルチモーダル大規模言語モデルの推論能力の向上} author={王、維雲と陳、浙と王、文海と曹、岳と劉、揚州と高、張偉と朱、金国と朱、西州と陸、楽偉と喬、ユウとダイ、ジフェン} ジャーナル={arXivプレプリント arXiv:2411.10442}、 年={2024} } @article{chen2023internvl, title={InternVL: 視覚基盤モデルのスケーリングと汎用的な視覚言語タスクへの整合}, author={陳、浙と呉、建南と王、文海と蘇、衛傑と陳、郭と興、仙と忠、木燕と張、青龍と朱、西州と陸、楽偉と李、斌と羅、平と陸、通と喬、ユウとダイ、ジフェン} ジャーナル={arXivプレプリント arXiv:2312.14238}、 年={2023} } @article{chen2024far、 title={GPT-4Vまであとどれくらい?オープンソーススイートで商用マルチモーダルモデルへのギャップを埋める}, 著者: {Chen、Zhe と Wang、Weiyun と Tian、Hao と Ye、Shenglong と Gao、Zhangwei と Cui、Erfei と Tong、Wenwen と Hu、Kongzhi と Luo、Jiapeng と Ma、Zheng など} ジャーナル={arXivプレプリント arXiv:2404.16821}、 年={2024} }

MMPR-OpenGVLab.torrent
シード中 1ダウンロード中 0完了 200総ダウンロード数 264
  • MMPR-OpenGVLab/
    • README.md
      2.12 KB
    • README.txt
      4.25 KB
      • data/
        • MMPR.zip
          14.63 GB
          • MMPR/
            • README.md
              14.63 GB
            • meta.json
              29.29 GB
            • images.zip
              29.29 GB
            • annotations.zip
              16.03 GB

AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています