刺繍模様を賢く生成できる！武漢紡織大学のビジュアルコンピューティングとデジタルテキスタイルチームが初のマルチステッチ刺繍生成敵対的ネットワークモデルを発表、トップジャーナルTVCGに受理された

安祥の春の庭園に刺繍されており、コウライウグイスが柳の枝の下を飛ぶよう引き寄せられています。無形文化遺産の重要な代表として、我が国の刺繍芸術には長い歴史があり、職人はさまざまなステッチとさまざまな色の絹糸を使用して、豊かなテーマの模様を刺繍布に鮮やかに表現しています。従来、刺繍の工程は複雑で敷居が非常に高く、専門的な知識と実務経験を持った職人が必要でした。近年、畳み込みニューラル ネットワーク (CNN) は、画像分類、ターゲット検出、画像生成、スタイル転送などのタスクにおいて強力な機能を実証しており、研究者は画像内の刺繍特徴を合成するために CNN を使用することも検討し始めています。

しかし、刺繍は縫い目や質感、立体感が複雑で、細かなディテールや不規則な模様が含まれるため、したがって、CNN は合成刺繍特徴の適用に制限があり、たとえば、さまざまなステッチの種類を予測できないため、ステッチ特徴を効果的に抽出することが難しく、一貫した自然な刺繍パターンを効果的に生成できません。したがって、デザイナーは依然としてステッチの種類とそれに対応する色を手動で選択して調整する必要があり、このプロセスでは理想的な効果を達成するまでに多くの時間がかかります。

これを考慮して、武漢紡織大学コンピュータ人工知能学部のビジュアルコンピューティングおよびデジタルテキスタイルチームは、マルチステッチ刺繍敵対的生成ネットワークモデルMSEmbGANを提案した。 MSEmbGAN は、刺繍におけるテクスチャのリアリズムや色の忠実度などの重要な側面の精度を向上させ、刺繍の予測機能を完成させることに成功した最初の CNN ベースの敵対的生成ネットワーク モデルになります。

関連する研究のタイトルは「MSEmbGAN: 領域を意識したテクスチャ生成によるマルチステッチ刺繍合成」です。IEEE Transactions on Visualization and Computer Graphics (TVCG) に承認されました。上海交通大学コンピューター理工学部の Sheng Bin 教授が責任著者です。 TVCG は、コンピューター ビジュアライゼーションの分野のトップ ジャーナルであり、中国コンピューター連盟 (CCF) によってクラス A ジャーナルとしてリストされています。

研究のハイライト:

* MSEmbGAN は、さまざまなステッチ テクスチャと色を含む複数針刺繍画像の合成に成功した最初の学習ベースのモデルです。

* 2 つの協力的なサブネットワークを提案します。1 つは刺繍テクスチャの多様性とステッチ特徴の精度を保証するための領域認識テクスチャ生成ネットワークで、もう 1 つは入力画像と出力画像の色の一貫性を保証するためのカラーリング ネットワークです。

* 現在最大の多針刺繍データセットを確立し、単針および多針ラベルを通じて詳細な注釈が付けられた初の刺繍データセットでもあります。

用紙のアドレス:
https://csai.wtu.edu.cn/TVCG01/index.html

データセットのダウンロードアドレス:
https://go.hyper.ai/Jmj9k

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、大規模なデータ セットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

データセット: 現在知られている最大の刺繍データセットである 30,000 以上の画像が含まれています

研究者らは、プロ仕様の刺繍ソフトウェア (Wilcom 9.0) を使用して、刺繍画像と対応するコンテンツ画像を含む 30,000 枚以上の画像を作成しました。すべての画像は 256 × 256 の解像度にリサイズされます。多針刺繍データセットはオープンソースとなり、この研究分野の他の研究者に提供されます。

言及する価値があるのは、多針刺繍データセット内の画像には4種類のラベルがあり、単針タイプ3本と多針タイプ1本（マルチステッチ、単針タイプ3本を混合したものを指します）に対応。シングルステッチの種類はサテンステッチ、タタミステッチ、フラットステッチの3種類です。

これは、単一針および複数針ラベルで詳細に注釈が付けられた最初の刺繍データセットであり、位置合わせされたコンテンツを含む 13,000 枚以上の刺繍画像と、位置合わせされていない画像 17,000 枚以上を含む、現在知られている最大の刺繍データセットです。

マルチステッチ刺繍データの作成手順は以下のとおりです。

※内容画像の描画：刺繍プレートを作成する前に、刺繍者は刺繍の色情報をテンプレートとして含む内容画像を描画する必要があります。ほとんどのコンテンツ画像はシンプルな色と明確な形状をしているため、ネットワーク接続を高速化できます。

* ステッチデザイン: さまざまな形状のコンテンツ画像の場合、各領域を埋めるようにステッチを選択する必要があります。刺繍デザイナーは、各領域の形状に基づいて適切なステッチの種類をマッチングします。さらに、後続の刺繍レンダリング作業を容易にするために、各ステッチの関連パラメータ (間隔や方向など) を適切に設定する必要があります。

* 刺繍データセットの作成: 刺繍デザイナーは、プロ仕様の刺繍ソフトウェア (Wilcom 9.0) を使用して刺繍パターンをデザインおよび作成し、対応する刺繍画像をレンダリングします。

モデル アーキテクチャ: 2 つのサブネットワーク: エリア認識テクスチャ生成ネットワークとシェーディング ネットワークが含まれます。

MSEmbGAN モデルは、まず入力画像領域内の縫合糸の種類を識別し、識別された縫合糸の種類に基づいて対応する刺繍テクスチャを生成し、最後に結果の全体的な色を最適化します。

上記の機能を実現するために、研究者らは 2 つのサブネットワークを提案しました。つまり、領域認識テクスチャ生成ネットワーク (下図のオレンジ色のボックスを参照) とカラー化ネットワーク (カラー化ネットワーク、下図の黄色のボックスを参照) です。

領域認識テクスチャ生成ネットワークは、ステッチ分類モジュール (ステッチ分類子、上の青いボックスを参照) とステッチ潜在コード ジェネレーター モジュール (ステッチ潜在コード ジェネレーター、上の緑色のボックスを参照) で構成されます。領域認識テクスチャ生成ネットワークは、入力画像 C の複数の色領域を検出し、各局所的な色領域の形状特徴に基づいてグレースケールの 1 針刺繍画像を生成します。カラーリング ネットワーク サブネットワークは、生成されたマルチニット布の画像の色が入力画像の色と一致するように、画像全体をさらに調整します。

領域認識テクスチャ生成ネットワークは複雑であるため、研究者らは 2 つのステップでネットワークをトレーニングしました。最初のステップは、元の画像の特徴をできるだけ多く保持する再構成ネットワークを使用して刺繍テクスチャを生成することです。2 番目のステップは、アプリオリ ガウス分布を使用して色情報を再構成し、データセットなしで刺繍画像を生成することです。

研究結果: MSEmbGAN は現在の最先端の刺繍合成およびスタイル転送方法を上回ります。

MSEmbGAN モデルのパフォーマンスを評価するために、研究者らは定量的および定性的、ユーザー フィードバック調査、アブレーション実験の 4 つの側面で評価を実施しました。

定量的評価

定量的な評価では、構築された多針刺繍データセットに基づいて、Pix2Pix、CycleGAN、MUNIT、DRIT++などのスタイル転送手法を比較しました。以下の表に示すように、研究者らは比較結果を定量化し、学習知覚画像パッチ類似性 (LPIPS) とフレシェ開始距離 (FID) を計算しました。

結果は、他の方法と比較して、 MSEmbGAN の LPIPS 距離は低いため、MSEmbGAN によって生成された刺繍画像は知覚的には実際の刺繍画像に近いことになります。。さらに、研究者らは、FID を使用して、生成された刺繍画像と実際の画像の特徴分布を測定し、FID スコアを評価しました。結果は、MSEmbGAN によって生成された刺繍画像がグラウンド トゥルースに最も近いことを示しています。

定性的評価

定性的評価では、研究者らは領域を認識したテクスチャ生成ネットワークを使用して刺繍テクスチャの信頼性と色の忠実性を維持し、MSEmbGAN が非常に多様な刺繍テクスチャの結果を生成できるようにしました。結果は、MSEmbGAN がテクスチャと色の両方で既存の方法よりも優れていること、つまり MSEmbGAN を使用して生成されたテクスチャが実際の刺繍テクスチャに近く、色が入力画像のテクスチャに近いことを示しています。

ユーザーフィードバックアンケート

ユーザーから主観的なフィードバックを得るために、研究者らは MSEmbGAN モデルと 4 つの追加手法を使用して処理された 14 枚の画像を用意し、25 人の候補者に次の基準に基づいて生成された各画像を 1 から 5 で評価してもらいました。

※刺繍品質：生成された画像が刺繍特有の特徴や鮮やかな質感を備えているかどうか

* 色の品質: 入力画像と生成された画像の色の類似性

* 画質: テクスチャの歪み、カラーシフト、高周波ノイズ、その他のアーティファクトの程度

研究者らは 5,250 件の評価を収集し、各基準の平均誤差と標準誤差を計算しました。スコアが高いほど、生成された刺繍画像の品質が高くなります。詳細は下表のとおりです。

結果は次のことを示していますMSEmbGAN は 3 つの基準すべてにおいて優れており、全体的なパフォーマンスは他の方法よりも安定しています。

アブレーション実験

さらに、研究者らは 2 つのアブレーション実験も実施しました。まず、縫合糸分類器と縫合糸潜在コード ジェネレーターの役割を検証し、次に着色ネットワークと色の一貫性制約の役割を検証しました。

下図に示すように、(a) は入力画像、(b) はステッチ分類器 C(reg) と潜在コード生成器 G(slc) を除去して生成された刺繍画像を示します。 CN) と一貫性制約 (CC) によって生成されたカラー刺繍画像。(d) フル MSEmbGAN を使用して生成された刺繍画像を表します。

アブレーションの結果は次のことを示しました。縫合糸分類器と縫合糸コードジェネレーターが存在しない場合、ネットワークによって合成された刺繍画像は単一のテクスチャスタイルを持ち、複数針スタイルの特徴を保持しません。第 2 に、テクスチャ生成プロセスは不安定で不安定です。

同様に、カラーリング ネットワークと色の一貫性の制約が削除されると、MSEmbGAN によって合成された刺繍結果は色の特性を維持できなくなり、明らかな色のずれが生じます。つまり、生成された画像と入力画像の色分布には大きな違いがあります。

コンピューター技術と繊維・アパレル産業の深い統合を堅持し、多くの分野で目覚ましい成果を達成

武漢紡織大学コンピューター人工知能学部のビジュアル コンピューティングおよびデジタル テキスタイル チームは、コンピューター ビジョン、仮想現実、マルチモーダル学習、インテリジェント コンピューティングの分野の研究に長年取り組んできました。コンピューター関連テクノロジーと繊維およびアパレル業界の統合を堅持し、スマート ウェアラブル、スマート ファッション デザインと推奨、ファブリック デジタル ツインとスマート コンピューティング、バーチャル フィッティングで一連の成果を達成しました。TVCG、IOT、TCE、KBS、WWW などのハイレベルなジャーナルや、CCF が推奨する国際会議で 100 以上の学術論文を発表しています。近年の研究チームの研究結果の一部は次のとおりです。

既存の仮想試着手法では人体と衣服の関係が考慮されておらず、試着した衣服の質感が歪んでしまうという問題を踏まえ、研究チームは臨場感の高い3D仮想試着ネットワーク「H3DVT+」を提案した。このネットワークは人と衣類のグローバルな関係を確立し、自然な試着状態で衣類を空間分布に変形させ、衣類の3D形状の事前情報をより正確に推測し、衣類の詳細な3D人体モデルを作成することができます。

用紙のアドレス:
https://ieeexplore.ieee.org/document/9716786
https://ieeexplore.ieee.org/document/10609455

人間の生理学的信号を感知する既存のスマート衣類に関する関連研究において、研究チームは、柔軟な感知装置に基づく全天候型の人間の呼吸信号検出方法を提案した。抽出された呼吸信号は喘息をリアルタイムで検出するために使用され、スマート医療の応用に対する理論的なサポートを提供します。
用紙のアドレス:
https://ieeexplore.ieee.org/abstract/document/10040599

同時に、大学のチームは、複数のセンサーで構成されるスマート衣類システムを構築しました。人体の状態情報と人体3Dモデルをリアルタイムにマッピングし、現実世界の人体の状態と仮想三次元空間の人体モデルの状態の同期表示を実現します。

用紙のアドレス:
https://ieeexplore.ieee.org/document/9964338/

チームは国内外の高レベルの大学や研究機関と協力してきました。具体的には、ビジュアル コンピューティングとデジタル テキスタイルのチームは、スマート テキスタイルとビッグヘルスに関する複数のプロジェクトに関して、上海交通大学の Sheng Bin 教授のチームと長期的に協力しており、10 本を超えるハイレベルな論文を発表しています。過去 5 年間で、Sheng 教授は、筆頭著者/責任著者として、Nature Medicine、Nature Communications、Science Bulletin、IJCV、IEEE TPAMI などに 69 件の SCI 論文を発表しました。

また、チームは、自然言語処理、インテリジェントファッションの分野で、香港理工大学、オーストラリアのウロンゴン大学、シンガポール科学技術庁、中国人民大学などの大学や研究機関と緊密な協力を行っています。レコメンデーション、マルチモーダル学習、大規模モデル。