チュートリアルの紹介

このチュートリアルのデモでは、与えられた生物学的画像を科、属、種などによって分類できます。これは CVPR2024 の最高の学生論文です。」BioCLIP: Tree of Life のビジョン基盤モデル「グラディオバージョンデモ」。

BioCLIP 研究の背景

一般的なタスクと比較して、生物学的コンピューター ビジョンのラベル空間は、分類ラベルの数が膨大であるだけでなく、階層的な分類システムで相互に接続されています。これは間違いなく、高い種の範囲をトレーニングするのに良い方法です。基本モデルには大きな課題があります。

研究者らは、数百年にわたる生物学の研究で蓄積された経験をもとに、基本モデルが注釈空間の構造をうまくエンコードできれば、たとえ特定の生物種が見えていなくても、モデルが対応する属を識別できる可能性があると考えている。この階層表現は、新しい分類群の少数ショットまたはゼロショット学習を達成するのに役立ちます。これに基づいて、研究者らは OpenAI が開発したマルチモーダル モデル アーキテクチャ CLIP を選択し、CLIP のマルチモーダル対比学習目標を使用して TREEOFLIFE-10M での事前トレーニングを継続しました。

エフェクトのプレビュー

ステップの実行

1. チュートリアルをクローンして開始した後、API アドレスを直接コピーして任意の URL に貼り付けます (実名認証が完了している必要があります。この手順でワークスペースを開く必要はありません)。

2. Gradio インターフェイスに入り、認識される画像をアップロードします。

このデモでは、「オープンエンド」と「ゼロショット」の 2 つのモードから選択できます。

• 「オープンエンド」モードでは、界、門、綱、目、科、属、種の 7 つの分類レベルが提供され、ユーザーは画像をアップロードし、分類するレベルを選択して分類タスクを実行できます。必要な分類レベルが細かくなるほど、分類は難しくなります。
• 「ゼロショット」モードでは、ユーザーが個別に分類するカテゴリを提供できるようになり、画像をアップロードした後、モデルは画像がこれらのカテゴリに属するかどうかを判断できます。

オープンエンド型

分類するレベルを選択し、「送信」ボタンをクリックすると分類結果が生成されます。

ゼロショット

分類する可能性のあるいくつかのカテゴリを入力し、「送信」ボタンをクリックして分類結果を生成します。

話し合ってコミュニケーションする

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しましたので、お友達がコードをスキャンしてメモを作成し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりするためにグループに参加することを歓迎します↓。