
最近の研究では、合成データセットで学習したモデルが公開された実世界データセットで学習したモデルよりも、より優れた汎化可能な人物再識別(GPReID)性能を達成できることが示されています。一方、実世界の人物再識別データセットの制限から、大規模な合成データセットをテストセットとして使用して人物再識別アルゴリズムのベンチマークを行うことも重要かつ興味深い課題となっています。しかし、この方法には重要な疑問が生じます:合成データセットは汎化可能な人物再識別のベンチマークに信頼性があるのでしょうか?文献にはこれに関する証拠が見られません。これを解決するために、我々はペアワイズランキング分析(Pairwise Ranking Analysis, PRA)と呼ばれる手法を設計しました。この手法により、ランキングの類似性を定量的に測定し、同一分布の統計的検定を行います。具体的には、ケンドール順位相関係数を使用して異なるデータセット間でのアルゴリズムランキングのペアワイズ類似度値を評価します。その後、ノンパラメトリックな二標本コルモゴロフ・スミルノフ(Kolmogorov-Smirnov, KS)検定を行い、合成データセットと実世界データセット間でのアルゴリズムランキング相関と実世界データセット間のみでの相関が同一分布に属しているかどうかを判断します。我々は10種類の代表的なアルゴリズム、3つの人気のある実世界人物再識別データセット、および3つの最近発表された大規模な合成データセットを使用して包括的な実験を行いました。設計されたペアワイズランキング分析と包括的な評価を通じて、最近発表された大規模な合成データセット「ClonedPerson」がGPReIDのベンチマークに信頼性を持って使用できることを結論付けました。統計的には実世界のデータセットと同じであることが確認されました。したがって、本研究は合成データセットをソーストレーニングセットおよびターゲットテストセットとして使用することを保証し、実世界監視データからのプライバシー問題を完全に回避できます。さらに、本論文での研究は将来の合成データセット設計にも影響を与える可能性があります。