2ヶ月前
データの氾濫からデータのキュレーションへ:効率的なテキストベースの人検索のためのフィルタリング-WoRAパラダイム
Sun, Jintao ; Fei, Hao ; Zheng, Zhedong ; Ding, Gangyi

要約
テキストベースの人物検索において、データ生成はプライバシー保護と手動アノテーションの困難さに対する有効な手段として広く採用されるようになりました。理論上、合成データの数は無限に増やせますが、生成されたデータがモデル訓練を最適に促進する量に関する科学的な課題が依然として存在しています。私たちは、これらの構築されたデータセットの中で、一部のデータのみが決定的な役割を果たすことを観察しました。これに基づき、新しいフィルタリング-WoRA(Filtering-WoRA)パラダイムを導入します。このパラダイムには、重要なデータサブセットを特定するためのフィルタリングアルゴリズムと、軽微なファインチューニングを行うためのWoRA(Weighted Low-Rank Adaptation)学習戦略が含まれています。フィルタリングアルゴリズムはクロスモダリティ関連性に基づいており、多くの粗いマッチング合成ペアを除去します。データの数が減少すると、全体のモデルをファインチューニングする必要がなくなります。したがって、最小限のモデルパラメータを効率的に更新するWoRA学習戦略を提案します。WoRAは学習プロセスを簡素化し、少ないながらも強力なデータインスタンスから知識を抽出する効率性を高めます。広範な実験により、事前学習の有効性が確認されました。私たちのモデルは挑戦的な実世界ベンチマークで先進的かつ効率的な検索性能を達成しています。特にCUHK-PEDESデータセットでは、競争力のあるmAP(67.02%)を達成しながら、モデル訓練時間を19.82%削減することに成功しました。