Bukva: ロシア手話アルファベット

本論文では、ロシアの指文字アルファベット、すなわちロシア手話（RSL）のダクチルの認識について調査しています。ダクチルは、手話の一部であり、特定の手の動きが書かれた言語の各文字を表現します。この方法は、固有名詞や技術用語などの特定のサインがない単語を綴るために使用されます。アルファベット学習シミュレータは、孤立したダクチル認識アプリケーションの中でも重要なものです。孤立したダクチル認識において顕著な問題としてデータ不足があります：既存のロシアダクチルデータセットは被験者の多様性に欠け、サンプル数が不足しているか、または静的なサインのみをカバーしているという点です。私たちはBukva（『文字』の意味）を提供します。これはRSLダクチル認識用に初めて完全に整備されたオープンソースビデオデータセットです。このデータセットには3,757本のビデオが含まれており、RSLアルファベットの各サイン（動的なものも含む）に対して101以上のサンプルがあります。私たちはクラウドソーシングプラットフォームを利用して被験者の多様性を高めました。その結果、データセット作成に155人の聴覚障害者専門家が参加しました。私たちはTSM（Temporal Shift Module）ブロックを使用して静的および動的サインを効果的に処理し、CPUのみを使用したリアルタイム推論でトップ1精度83.6%を達成しました。データセット、デモコード、および事前学習済みモデルは公開されています。