未来の身体化知性の触覚革命！ TactEdgeセンサーによりロボットの微細な触覚認識が可能となり、生地の欠陥検出や機敏な動作制御が可能になります
私たちの想像では、完璧なロボットは人間と同じ視覚、触覚、聴覚、嗅覚、味覚を備えている必要があります。
上記の「五感」を通じて物理世界を認識して理解し、強力な AI 頭脳の助けを借りて環境への正確な応答を実現することが、インテリジェント ロボットの構築の中核となります。テクノロジー大手のテスラもこれに同意しています。
例えば、同社が発売した第2世代の人型ロボット「オプティマス」は触覚知覚能力が強化され、卵をつまむという器用な操作を2本の指で完了できるようになった。この物体の正確な認識と力の正確な制御は、10本の指の先端に取り付けられた触覚センサーによるものです。
人間は触覚を使って物体の大きさや形などを評価しますが、ロボットも同様です。触覚センサーの助けを借りて、ロボットは現実世界の物体の相互作用動作をより深く理解し、対象物体の質感、温度、硬さ、変形などの触覚情報を取得し、それによって物体の正確な位置決めを実現して、さまざまな操作（たとえば、把握）タスク。つまり、操作はタッチと切り離すことができず、触覚センシングはロボット工学の分野で大きな応用可能性を秘めています。
12月13日、Embodied Touch Communityが主催し、HyperAIが共催する「New Cutting Edge」の第3回オンライン共有イベントが正式に開幕した。このイベントには、中国地質大学（北京）から博士課程4年生のZhang Shixin氏が招待され、「TactEdgeセンサーの設計、準備、およびロボット認識操作」というテーマで講演しました。視覚・触覚センサーTactEdgeの反復履歴、ハードウェア最適化、視覚・触覚シミュレーション、ロボット認識動作などを詳しく紹介しました。
HyperAI Super Neural は、Zhang Shixin 博士の詳細な共有を、当初の意図に違反することなく編集し、要約しました。
視覚触覚センサーTactEdgeのバージョンアップ履歴
従来、触覚情報のカウントには電子触覚センサーが使用されていましたが、この種の触覚センサーのセンシングユニットはまばらに分散されており、触覚情報をマッピングする際の解像度は比較的低くなります。触覚情報の質を向上させるため、研究者らは新たなセンシング機構を導入した——視覚認識の原理に基づく触覚センサー（視覚触覚センサーとも呼ばれる）は、画像を感知媒体として使用し、特に空間解像度の点で触感の品質を大幅に向上させます。視覚センサーと触覚センサーの進化の過程を以下の図に示します。
20 世紀以降、研究者たちは新しい視覚および触覚センシング方法を提案しました。その研究は、接触モジュール、カメラモジュール、照明モジュールの 3 つの主要なモジュールに要約され、これを視覚および触覚センシング機構の標準化に使用しました。このうち接触モジュールは、マーキング層、コーティング、触覚情報を伝達する機能層（感温層など）を備え、逆イメージング技術により触覚情報を可視化する。
私たちのチームは 2014 年に視覚および触覚センサーの研究を開始し、すでに 10 年が経過しました。この期間中、私たちは何世代にもわたるセンサー技術を研究し、開発してきました。それを最先端の触覚技術である TactEdge と呼びます。以下に示すように:
※初代TactEdgeはコーティング設計を採用しており、金属スパッタリングおよびマスキングプロセスを通じて、デュアルモード触覚センシング機能を備えた薄い金属コーティングと標準マークアレイが準備されます。
* 第 2 世代の TactEdge では、コーティングまたはマーキング材料にサーモトロピック材料が追加されます。各素材には異なる温度閾値があるため、温度の上昇または下降に応じて色が明るい色から暗い色に変化するのがわかり、局所的な温度認識が得られます。
* 第 3 世代の TactEdge は、視覚と触覚センシングを統合したソフトウェアハンドです。エンベデッドビジョンを使用して内腔の変形状態を監視し、屈曲姿勢を追跡します。
※第4世代TactEdge：コーティングはテクスチャマッピングに使用され、マーキング層は力の追跡を可能にし、温度感知層は温度感知を担当します。マルチモーダルセンシングを実現するために、第 4 世代 TactEdge は、サーモトロピック層とコーティングを組み合わせて、質感と温度のマルチモーダルセンシングを実現します。
* 第 5 世代 TactEdge では、センサーの半径サイズの最適化と触覚イメージングの堅牢性が大幅に向上しました。さらに、マーキング層をコーティングと組み合わせることで、力と質感のデュアルモーダルセンシングを同時に実現します。
※第6世代TactEdgeは、新たな視覚・触覚センシング機構TIRgelを採用し、エラストマー内部に全反射を実装することで、触覚情報を表す測光情報が作成され、内部視覚と外部視覚を変換するために調整可能な焦点カメラが導入されています。
ハードウェアの最適化
近年のセンサー開発プロセスでは、ハードウェアの最適化に注力してきました。例えば、2021年には現在主流のセンサー作製技術（エラストマー作製プロセス、マーキング層作製プロセス、コーティング作製プロセス、支持構造形態など）をまとめ、これをもとにプロセスコーディングを行って7つをまとめました。設計目標は、以下の図に示すように、視覚センサーと触覚センサーのアプリケーション要件によって異なります。
これらのセンシング要件に基づいて、さまざまな制約を追加し、プロセスと設計目標の間の内部関係と論理フレームワークを構築しました。これに基づいて、プロセス定式化システム全体を確立し、QT に基づいたプロセス定式化システムのビジュアル インターフェイスを開発しました。以下の図に示すように、ユーザーは緑色のボックスに設計目標を入力できます。システムの背景は、これらの目標に基づいた合理的な準備プロセスと一致し、チームのセンサー開発を支援します。ただし、ここでは推奨される準備プロセスの支援のみが提供されます。特殊なシナリオの一部の要件では、プロセスの特定のローカル最適化が依然として必要です。
エラストマープロセスの最適化: 準備プロセスの簡素化 + コストの削減
たとえば、エラストマーの一般的に使用される準備プロセスには、型の設定、シリコーンの準備、注入、真空引き、加熱および離型、その後のさまざまなコーティングプロセスが含まれます。これは普遍的なエラストマーの準備プロセスです。大量生産では、長い加熱時間を考慮して、硬化および真空引き後の追加の加熱を必要としない自己硬化型の特殊シリコーン材料を使用できます。さらに、センサーエラストマーの準備コストを削減するために、私たちのチームはラミネートプロセスも提案しました。
コーティングプロセスの最適化: 耐摩耗性と延性
現在、センサーコーティングの準備スキームは主にスプレープロセスと金属スパッタリングプロセスに分かれています。金属コーティングは頻繁に接触すると完全に剥がれ、摩耗します。スプレーコーティングは耐摩耗性が若干優れていますが、鋭利な物体に接触すると部分的に損傷を受けます。したがって、コーティングの品質と耐摩耗性は無視できない問題です。過去には、コーティングの調製では機械的接着が好まれていました。ここ数年、化学的接着の概念を提案する人もいます。つまり、硬化前にコーティング材料を未硬化エラストマーの表面に付着させて化学結合を形成し、耐摩耗性と接着性を向上させるというものです。
ゴールドペースト加工：耐摩耗性向上
この点に関して、当社は新しいコーティング最適化ソリューション、つまり耐摩耗性を向上させる金貼り付けプロセスを提案しました。このソリューションは主に金属箔をエラストマーに付着させて薄いコーティングを形成し、金属箔表面の過酸化物とアクリルテープ（メタクリル酸メチル）が連鎖重合反応を開始することで接着強度の二重最適化を実現します。さらに、エラストマーと金属箔はファンデルワールス力を形成します。
従来のスプレーや金属スパッタリングプロセスと比較して、金ペーストプロセスは、ハードウェアコスト、準備コスト、時間ロスの点で大きな利点があります。例えば、スプレー工程やスプレーガンの洗浄の手間が大幅に簡略化され、センサーの準備サイクルが短縮されます。さらに、新しいプロセスは機能層の耐摩耗性を向上させるだけでなく、熟練した操作により、コンタクトモジュール全体の準備時間を 5 ～ 10 分に短縮できる可能性があります。金メッキプロセスのもう 1 つの重要な利点は、コーティング表面に布や医療用テープなどの保護層が貼り付けられることです。これらの保護層の厚さは、触感の感度や微細な質感のマッピングに影響します。ただし、金メッキ処理により、損傷した部分の修復が可能になり、メンテナンスが容易になります。
伸線加工：延性向上
しかし、実用化してみると、金属箔自体が連続皮膜であるため、プレス加工時にクラックが発生しやすいことが分かりました。私たちは、金属箔粒子を継続的に蓄積させることでマクロスケールで連続的な皮膜を形成し、皮膜の延性を向上させることができると考え、金箔プロセスを改良し、伸線プロセスを提案しました。
金属箔を引き伸ばします。その豊富な滑りシステムにより、引張強度が高いほど粒子が細かくなります。金属が異なれば滑りシステムや粒子サイズも異なるため、銅箔、アルミニウム箔、銀箔を使用して実験を行いました。電子顕微鏡で観察した微細構造は次のとおりです。
* 銅箔: アルミニウム箔や銀箔ほど滑り系が豊富ではないため、延伸プロセス中に粒子が比較的粗くなり、触覚イメージングの連続性に影響を与えます。
※アルミ箔・銀箔：延伸粒子が非常に細かく、ナノスケールの粒子分布を持っているため、触覚イメージングの空間分解能が大幅に向上します。
下図に示すように、ブラッシュドコーティングと現在主流の溶射プロセスおよび金属スパッタリングプロセスを比較すると、テクスチャマッピング効果の点で当社のプロセスが最も優れています。
下図に示すように、薄い塗膜はプレス時に破壊されやすく、鋭利な物体で押されると破壊の速度と程度が速くなります。しかし、造粒されたブラシコーティングは、不規則な変形に対してより大きな耐性を示し、造粒処理が薄いコーティングの延性を改善したことを示しています。
二重接着強化後のコーティングの耐摩耗性を評価するために、耐摩耗性試験を実施し、コーティングの微細構造の変化を記録しました。その結果、ブラシ塗装は摩耗過程で粒子が細かくなり、全体の摩耗が均一になるのに対し、スプレー塗装は付着力が弱く、摩耗過程で部分的に剥がれ、周囲に堆積してピットが形成されることがわかりました。
視覚および触覚イメージングの最適化: 視覚および触覚イメージングの堅牢性の向上
さらに、コーティングの改良により、視覚および触覚イメージングの堅牢性もある程度向上しました。
視覚や触覚センシングでは撮像距離が非常に短く、マクロ撮像が多いため、押すたびに撮像距離が変化し、撮像ずれが発生します。また、センサー設計時に設定した撮像距離と実際の使用時の撮像距離に差が生じる場合があり、鮮明な撮像が得られない場合があります。これらの問題を解決するために、私たちはキャリブレーションモジュールとフォーカスモジュールを含む画像調整システムを開発しました。
画像調整システムでは、画像調整モジュールはグローバル検索戦略を使用して調整間隔を進め、焦点距離を短縮すると同時に、ラベルとして適切な調整値を決定するのに役立ちます。フォーカシングモジュールは 2 つの方法を使用します。3 点フィッティングに基づくフォーカス深度方法と、深層学習に基づくデフォーカス深度方法です。前者は精度は高いですが速度が遅く、後者は高速ですが精度がわずかに低くなります。エンドツーエンドの調整方法。
視覚と触覚のセンシングは画像メカニズムに依存しているため、主に画像の鮮明さに基づいて焦点を調整します。以下の図に示すように、理想的な画像鮮明度評価曲線は、偏りがなく単峰性である必要があります (赤い曲線)。ただし、実際のフォーカシング環境では、光は不均一であることが多く (青い曲線)、局所的なフォーカシング ピークに陥ります。
閉鎖環境で使用される視覚および触覚センシングは、外部干渉要因を軽減し、イメージング曲線を理想的な状態に近づけることができます。この目的を達成するために、キャリブレーション プラットフォームを構築し、視覚および触覚センシングのイメージング曲線をテストし、このセンサーに適した画像勾配計算方法を検討しました。結果は、Tenengrad 勾配計算方法がセンサーのマッチングにより適していること、およびフィッティング曲線が提案された 5 つの主要な特性、特に不偏性と単峰性を備えていることを示しており、これらはその後の焦点合わせの評価に重要です。
通常の状況では、初期フォーカス値をランダムに設定し、それを少し押した後、鮮明な画像が得られるように画像を調整します。画像は依然として許容範囲内にあります。
さらに、特定のシナリオに従って撮像距離を拡大または縮小するには、センサーの設計段階で動的に変化するセンシング領域を考慮する必要があります。撮像距離が増加するにつれて、センシングエリアも拡大し、撮像焦点への動的応答を使用して全体の設計が簡素化されます。以下に示すように:
焦点精度をテストするために、異なる密度テクスチャを持つ 3 つのオブジェクトを使用して実験を行った結果、両方のキャリブレーション方法が期待される結果に近く、焦点を調整できることがわかりました。動的認識タスクでリアルタイムに。
温度検知層の最適化: 分散モーダル設計の実行
感温層の最適設計については、現在、サーモトロピックパウダーやサーモトロピックオイルを添加するなど、センサーの機能層に感温材料を添加する方法が主流です。予備的なイメージング結果から判断すると、この方法の色情報とテクスチャ情報は統合されています。ただし、温度とテクスチャの間に直接の相関関係はありません。これらの無関係な特徴を適切な特徴抽出または分離せずに画像内で融合し、認識用のモデルに一緒に入力することは不合理です。
この問題を解決するために、特徴抽出メカニズムに一致する 2 つの領域の寸法を使用して、感温層とコーティングに分散モーダル設計を実行しました。詳しくは後ほど説明します。
内部構造の最適化: 小型化によりセンサーの統合が向上
視覚センサーや触覚センサーの小型化の需要を考慮すると、センサーの集積度を向上させるために、それらのサイズを縮小したいと考えています。顕微鏡イメージング技術の発展により、ミラーのサイズを効果的に縮小し、センサーの内部構造をモジュール化することで、通常装備されていないコンポーネントを統合することで、組み立てと分解を容易にし、スペースを最大限に活用することができます。 。さまざまなコネクタと組み合わせることで、小型視覚センサーと触覚センサーをさまざまなマニピュレーターに統合して、高い統合性と互換性を実現できます。
視覚と触覚のシミュレーション
私たちの方法は視覚および触覚センサーのコーティングの耐摩耗性を向上させますが、この場合、大規模なデータ収集を行う必要があり、手作業のみに頼るのは現実的ではありません。そこで、Taichi言語と弾性体の変形をシミュレーションするMLS-MPM法を中心とした視覚・触覚シミュレーションの研究を実施しました。
弾性シミュレーションは主に粒状粒子を介して弾性体と圧力ヘッドを表し、シミュレーション プロセスの各ステップで粒子の物理的特性 (運動量や質量など) をグリッドに転送し、グリッド ノードと以前の状態を使用します。ステータスが更新され、シミュレーションが完了すると、深さ情報を取得できます。 Tacchi はジョイント シミュレーションのために他のロボットに接続することもできます。プレス プロセス中にパーティクルはフレームごとに変化し、最終的にパーティクル深度マップが形成されてレンダリングされます。さらに、Touch 2.0では、パーティクルとグリッド間の相互情報伝達機構の追加、スライドオブジェクトのシミュレーション効果の向上、レイトレーシングを使用したレンダリングのリアルさの向上など、新バージョンはTouch 1.0よりもより詳細に洗練されました。
ロボットの知覚動作
ハードウェアとシミュレーションに基づいて、視覚および触覚センサーはさまざまな分野の認識問題を解決するために使用されています。また、ロボットの操作においてもいくつかの興味深い試みが行われています。
ファブリックの識別: ファブリックの欠陥検出に使用できます。
この布地は細かい質感と独特の幾何学的特徴を備えているため、初期には視覚センサーや触覚センサーのテクスチャ マッピング効果を検証するために使用されました。ただし、コーティングされた視覚センサーと触覚センサーは、布地をプレスするときに色情報を除外しますが、幾何学的な情報は間接的に抽出されますが、布地にとって色も同様に重要です。この目的のために、同じ質感で色が異なるサンプルでコーティングされたセンサーと第 6 世代の視覚および触覚センサーの性能を比較しました。下の図に示すように、視覚センサーと触覚センサーを統合した後のコーティングされたセンシングの精度は大幅に向上しました。 、視覚情報と触覚情報の両方が得られます。
欠陥があると 45% ～ 65% の価値が低下する可能性があるため、ファブリックの欠陥の検出は非常に重要です。布の染色パターンは、人間の重要な知覚能力の 1 つとして、物体の表面の色に影響されず、視覚を助けて物体を認識するのに役立ちます。したがって、生地の欠陥検出に触覚を導入し、9 つの生地サンプルを相互検証に使用しました。結果は、特に特定の特殊なテクスチャの認識において、触覚モードの認識精度が視覚モードの認識精度よりも高いことを示しています。
生地の風合い情報は不良箇所の判定に大きな影響を与えるため、重要な欠陥箇所に注目するアテンション機構を導入し、不良箇所の特定精度を高めます。
透明物体認識：ガラス認識精度は99%以上に達します
布地に限らず、透明な物体の質感認識はその透明性や反射光の影響により非常に困難であり、視覚条件下では誤認が生じる可能性があるため、触覚機構を導入し、触覚データを収集し、触覚プラットフォームを構築した。収集したガラスに、自身の温度特性の影響を考慮して、熱湯や氷を加えて温度を調整し、触覚画像を収集し、必要な触覚形状に加工します。
前述したように、触覚認識には通常、温度と質感の情報が含まれます。 2 つを個別に識別し、異なる単一モデルを融合して 2 つの特徴の抽出と分離を強化するのは一般的な識別方法ですが、不規則な融合が発生する可能性があります。
そこで、階層的領域特徴抽出機構を提案した。このメカニズムにより、温度感知層と温度層の領域分布が特定のサイズに従って分布することが保証され、この特定のサイズが畳み込みサイズと一致し、それぞれの領域での独立した特徴抽出が畳み込みスリッププロセス中に達成されます。 、混合抽出を回避できます。また、地域特徴を抽出しながら、後続特徴マップの各モーダル領域と初期領域とでモーダルマッピングを形成し、ベクトル化処理と組み合わせることで、無関係なモーダル特徴の分散並列処理を実現できます。
テクスチャの特徴と温度の特徴は学習の困難さが異なることを考慮して、階層的な認識メカニズムを統合し、さまざまなディープネットワークモジュールを割り当てて、この階層的なメカニズムにより複雑な特徴を効果的に学習できます。
下図に示すように、従来の単一モデルではテクスチャと温度の情報を効果的に処理することができません。そのため、画像のテクスチャ認識が優先され、全体の認識では温度認識の精度が低くなります。強制結合とマッピングにより、温度認識が向上します。そして、私たちの仕組み（LRFE-Net）は、全体認識と個別認識において一貫した精度を維持します。さらに、私たちの方法は、マルチモデル認識と比較して時間効率も改善されます。
要約すると、視覚モードで透明オブジェクトの外観属性を取得し、触覚モードでそのテクスチャまたは温度属性を取得します。次に、意思決定融合を使用して、これら 2 つのモードから取得した属性を融合して、透明オブジェクトに共同して作用させることができます。たとえば、私たちの方法では、ガラスの視覚および触覚の認識精度が 99% 以上を達成しています。
農業分野での応用: 果物の品質検出
農業分野では、視覚・触覚センシングを果実の品質検査に拡張し、変形の違いを利用して果実の柔らかさや硬さ、局部的な腐敗の程度を評価しています。
硬度の異なる物体は、圧力が加えられたときの変形の仕方が異なり、同様に、痕跡と力との間には関係があります。この触覚接触メカニズムを完全に表現するには、非常に大規模なデータセットと複雑なモデルが必要になります。しかし、実際の作業では、必ずしも正確に力の値を測定する必要はなく、接触点の変形傾向を把握できれば十分対応できます。したがって、次の図に示すように、2 段階の適応クローリング戦略を提案しました。この戦略は主に 2 つの段階に分かれています。
* 把握前段階: 触覚探査を使用して視覚センサーと触覚センサーを促進し、物体との安定した微接触状態に到達します。これにより、物体の属性の予備的な理解を構築できます。
* 安定性調整段階: この段階は、微小変形の動的検出に基づいて把握の安定性を判断し、視覚および触覚センサーと物体が動的で比較的安定した状態に到達するように促し、物体の属性の理解を強化します。 。
この戦略は、リンゴ、卵、スポンジ、缶などをつかむなど、さまざまなつかみのニーズに適応できます。下の図に示すように、卵を掴む前の段階では、マニピュレータはゆっくりと移動してオブジェクトの属性を事前に認識します。その後、卵の重量が軽いため、システムは安定性調整段階で必要とするだけです。あまり介入せずに、わずかな調整で掴み操作を完了します。
スポンジなどの材質の場合は、掴む前の段階で比較的安定した接触状態を形成できるため、システムの調整を行う必要がありません。対照的に、缶は重い物体であるため、最初の把握中に完全に安定した状態に達することができず、安定性の調整段階で缶は滑る傾向があり、安定性の要件を満たすまで缶は微調整されます。すべての調整プロセスが完了します。
以下の図に示すように、さまざまな物体の把握テストにより、提案した 2 段階の適応的把握戦略が非常に堅牢であり、さまざまな多属性の物体に対して安定した信頼性の高い把握操作を実現できることがわかります。
今後も触覚と器用な操作の融合を追求し、ロボットの擬人化された正確な操作の実現を目指します。
将来的には、HyperAI は身体化された触覚コミュニティが引き続きオンライン共有活動を開催できるよう支援し、国内外の専門家や学者を招待して最先端の結果や洞察を共有する予定ですので、ご期待ください。