HyperAI超神经

触覚知覚は、インテリジェントロボットおよび人間とコンピューターのインタラクションの重要な機能の 1 つですが、高精度で高速応答の触覚センシングを実現する方法には依然として多くの課題があります。従来の触覚センサーは、力の測定における信号結合によって制限されることが多く、垂直力と接線力を正確に区別することが困難でした。同時に、センシングユニットの解像度の制限により、触覚の空間解像度も制限されます。柔軟な磁性フィルムに基づく自己デカップリングおよび超解像度の触覚センシング技術は、これらの問題の解決策を提供します。

この技術は、直交磁化ハルバッハ配列を介して柔軟な磁性膜触覚センサーを設計します。センサ表面に外力が作用すると、可撓性磁性膜が変形し、磁界分布が変化します。。統合されたホールセンサーは、磁場の変化を捕捉し、信号処理を通じて 3 次元の力の自己分離を実現できます。さらに、超解像アルゴリズムを使用することで、センサーは物理解像度を超える位置精度を達成でき、触覚の空間解像度が大幅に向上します。

12 月 26 日、Embodied Touch Community が主催し、HyperAI が共催した「New Frontiers」の第 5 回オンライン共有イベントで、フランス国立科学研究センターの博士研究員であるヤン・ユーカン博士は、「柔軟な磁気フィルムに基づく自己デカップリングと超解像触覚センシング」について講演しました。私たちは、柔軟な磁性フィルムに基づく触覚センサーの設計と応用について共有し、直交磁化ハルバッハアレイを使用して三次元の力の自己減結合を実現する方法に焦点を当てました。

HyperAI Super Neural は、Yan Youcan 博士の詳細な共有を、当初の意図に違反することなく編集し、要約しました。

触覚センサーの設計と応用の探求

ロボットの触覚の現状と課題

誰もが知っているように、人間の手は、ジャガイモを切ったり、水を注いだりするなど、多くの複雑な操作を実行できます。これは主に、手の豊かな触覚感知能力によるものです。この触覚認識はロボットにとっても重要であり、ロボットが外部環境を認識するだけでなく、環境と対話するのにも役立ちます。ロボットの指先に触覚センサーを取り付けると、視覚的なフィードバックがなくても、ロボットは特定の繊細な操作を完了できます。

しかし、人間の触覚システムと比較すると、人間の触覚受容器は全身に分布しているのに対し、現在のロボットの触覚認識は依然として主に指先に限定されています。ロボットに触覚センシング機能を与えるために、研究者は光学式、ピエゾ抵抗式、静電容量式などのさまざまなタイプの触覚センサーを開発しました。これらのセンサーにはそれぞれ長所と短所がありますが、共通の課題は、単純なセンサー構造と校正プロセスを通じて垂直力と接線力をどのように分離するかということです。

フレキシブル磁性膜をベースとした触覚センサーの設計

この問題に対処するために、私たちは柔軟な磁性フィルムをベースにした触覚センサーを設計しました (下図に示すように)。その構造は 3 層で構成されています。最上層はポリジメチルシロキサン (PDMS) を混合した正弦波状に磁化された柔軟な磁性フィルムです。 NdFeB 磁性粉末、中間層は柔軟な弾性層、最下層はホールセンサーを備えた回路基板 (PCB) です。センサ表面に外力が作用すると、可撓性磁性膜が変形し、磁界に変化が生じます。この磁場の変化がホールセンサーによって捕捉された後、信号処理によって外力が切り離されます。

外力の大きさを切り離す必要があるのは、特定のシナリオやアプリケーションでは、単純な物理原理を使用して力のフィードバックを通じて効率的な制御を実現できるためです。下図に示すように、実験では触覚フィードバックに基づいた適応的な卵の掴みを実証しました。センサーが接線方向に沿った下向きの引っ張り力を検出すると、制御システムはそれに応じて支持力を増加させ、合成力が常にフリクションコーン内に位置するようにし、それによって把握の安定性を維持します。触覚フィードバックがないと、適時に調整できずに卵が滑ってしまう可能性があります。したがって、正確な制御を達成するには、力の切り離しが非常に重要です。

直交磁化ハルバッハ配列

この研究では、一方の側の磁場を強化し、もう一方の側の磁場を弱めることができるという点でユニークなハルバッハ配列磁石を使用しました。以下の図に示すように、磁性材料が磁化され、x および z 方向に沿って正弦波モードで重ね合わされると、磁場は一方の側で大幅に強化され、もう一方の側ではゼロに近くなります。この機能は、モーター、磁気浮上軌道、冷蔵庫の磁石などの分野で広く使用されています。

さらに、ハルバッハ配列の下の磁束 B により、_× Bと_z x および z 座標と結合すると、元の磁束を力の減結合に使用することはできません。しかし、計算の結果、磁場の強さ B (つまり B_× そしてB_z ) の平方根の二乗和は z 方向にのみ関係し、量 R は磁場の方向に関係します。_B(つまり、B_×/B_z) は x 方向のみに関係します (下の図に示すように)。この結果は実際の測定でも検証されています。磁場強度 B の値は z 方向のみに影響されますが、R は z 方向の影響を受けません。_B の値は x 方向の影響のみを受けます。

この特性に基づいて、垂直抗力 F_z 磁場の強さ B と接線力 F で表すことができます。_× 次に磁場方向 R を通過します。_B これにより、x 方向と z 方向の自然な分離が実現します。このデカップリング機能により、センサーの校正プロセスが大幅に簡素化されます。ただし、この磁化方法の限界は、y 方向に沿った磁場強度分布が一定であり、y 方向の力を感知できないことです。

この問題を解決するために、正弦波状に磁化された磁性膜を 2 枚重ね合わせました。磁場は重ね合わせの原理に従うため、重畳された磁場はx、y、zの3方向に沿って変化します。下図に示すように、微小変形条件下では、重畳磁場強度 B と磁場方向パラメータ R が変化することが導出により証明されています。_xz とR_yz また、自然なデカップリング特性もあります。したがって、これら 3 つのパラメーターを使用して x、y、z 方向の力の大きさを推定することができ、それによってキャリブレーションの複雑さが軽減され、より迅速なキャリブレーションが実現します。

3次元の力の減結合に基づいた触覚センサーの応用

上記の検出原理と力の分離方法に基づいて、分散力の測定を実現できます。下の図は、膝関節の断面の輪郭を模した 24 個のセンシングユニットから構成される触覚センサーを示しています。弾性層の剛性係数を事前に校正し、各センシングユニットのx、y、z方向の変位を測定することで、リアルタイムの分布力を取得できます。

下の図は、膝関節が回転するときにセンサーによって測定された力の分布を示しています。このうち、ｘ方向は左右方向、ｙ方向は前後方向、ｚ方向は上下方向を表す。センサーの読み取り値と ATI センサーの測定値を比較すると、2 つの合力は非常に一貫しています。

さらに、センサーの物理モデルに基づいて、その感度と範囲の式を導き出すことができます。下図に示すように、z 方向に沿った感度 S_z 単位入力（または単位圧力）に対するセンサーの応答変化の度合いを示します。応答の変化が大きいほど感度が高くなります。 x、y、z 方向の感度は、弾性層の厚さ、弾性層のヤング率、磁化周期に関係します。同時に、測定範囲も上記 3 つのパラメータに関連しますが、感度と測定範囲はこれらのパラメータによって逆の影響を受けます。したがって、特定のニーズに応じて、より高い感度とより広い範囲の間でバランスを取る必要があります。

この目的を達成するために、さまざまなアプリケーションシナリオに合わせて 3 つの異なるセンサーを設計しました。各センサーには感度と範囲の点で異なるパラメーターがあります。以下の図に示すように、最初のセンサーのアプリケーションが実証されたばかりで、残りの 2 つのセンサーの実際のアプリケーションは次の 2 つのシナリオです。

最初のアプリケーションシナリオは、触覚ベースのロボットアームの教育です。下図のように、ロボットアームの先端に3×3アレイ構造のセンサーを設置し、タスク（コーヒーの淹れ方など）を教えることができます。センサーに外力が作用すると、センサーは x、y、z 方向の力とモーメントをリアルタイムで計算できます。センサーの読み取り値にゲイン行列を乗算し、ロボットアームの現在の姿勢を加算することで、ロボットアームの最新の姿勢が得られ、コーヒー作りの教示操作が完了します。

2 番目のアプリケーションシナリオは、膝パッドの触覚センシングです。下図に示すように、センサーはフレキシブル基板を使用し、膝パッドの内側に設置され、歩行時の膝パッドと皮膚との三次元接触力を監視します。実験結果は、異なる運動状態 (歩く、しゃがむ、走るなど) の下でセンサーの応答に大きな違いがあることを示しています。膝装具の支持力が増加すると、センサーによって測定される力の値も増加します。これは、膝装具によって提供される支持力に打ち勝つために、脚を曲げるときにさらに多くの力を加える必要があるためです。

触覚超解像の研究と応用

触覚超解像とは、複数のセンシングユニット間または隣接するセンシングユニット間で信号を重ね合わせて補間することで実現される高精度な触感情報復元手法です。外力の作用によりセンシングユニットが全体的に変形した場合、上記のフォースデカップリングアルゴリズムにより3次元の力計測を実現します。しかし、2 つのセンシングユニット間に物体が当てられ、センサー表面が連続している場合、加えられた力の位置と大きさをどのように正確に推定するかが重要な問題になります。この問題を解決するために、私たちは超解像モデルを提案します。目標は、センサー上の任意の場所に力が加えられたときに、超解像アルゴリズムを通じて接触力の位置と大きさを正確に推定することです。

超解像アルゴリズムの開発

超解像アルゴリズムの概念は、2015 年に Nathan によって初めて提案されました。同氏は、感知ユニットの受信領域（つまり感知フィールド）が重なる場合、物理解像度は 2 点を明確に区別できる最小距離として定義され、この解像度は超解像度アルゴリズムによってさらに向上できると指摘しました。以下の図は、2015 年から 2024 年の期間におけるいくつかの代表的な研究を示しています。

2021年の研究では、定性分析と定量分析を組み合わせた超解像アルゴリズムを提案しました。下図に示すように、3×3 のセンサーアレイ上で小さなボールがその表面を押すと、まず最大応答値に基づいて小さなボールの予備位置 (センシングユニット No.5 に位置) を特定します。次に、x 方向と y 方向の磁束の符号 (正または負) から、磁束が感知部の上側か下側、左か右かを推定します。センサーの空間解像度が 2 倍になります (物理解像度と比較して)。この方法は定性的な分析であるため、さまざまな形状の接触物体に使用できます。

位置決め精度をさらに向上させるために、多層パーセプトロン (MLP) モデルを使用して x 方向と y 方向の回帰分析を実行し、より正確な接触位置を取得します。接触位置と z 方向の磁束の読み取り値を組み合わせて、事前に校正されたルックアップテーブルを通じて押し込み深さを決定し、力を計算できます。ただし、この方法は一点接触のみに適しており、多点接触には対応できません。

多点接触の問題を解決するために、幾何学的モデルに基づく方法を提案します。下図のように、球体がセンサー面を押して位置 1 から位置 2 に移動すると、センサー S₁ 測定された磁場は水平位置 X に相当します。₁ Xに移動₂ 。 Rを分析すると_B 値と x 方向の関係は R から取得できます。_B この曲線から接触位置ｘを算出し、さらに力の大きさを算出する。

具体的なワークフローを次の図に示します。この方法では 15 倍の解像度の向上を実現できます。

以下の図は、接触位置を特定し、力の大きさをリアルタイムで測定する際の、幾何学モデルに基づく高解像度アルゴリズムのパフォーマンスを示しています。さらに、球面および非球面物体を含むさまざまな形状の物体をテストしました (非球面物体は特定の直径の球面物体と同等であると想定しています)。この方法は複数の接触点を同時に検出でき、複雑なシーンでの触覚超解像の応用を最初に実現します。しかし、力の分布を高分解能で測定することは現時点では不可能であり、将来的に克服する必要がある課題として残っています。

ベイズ最適化に基づくロボットの触覚診断

触覚センサーとベイジアン最適化アルゴリズムを組み合わせることで、迅速なロボット触診（体のさまざまな部分を押して病変を診断する医師の触診をシミュレート）を実現しました。

下の写真は実験セットアップを示しています。3D プリントされたハードブロックが腫瘍をシミュレートするために使用され、シリコンで覆われて人間の組織をシミュレートしています。右下隅の青い領域は、ハードブロックの硬度分布の正確な結果を表します。ここでは、摩擦を軽減し感度を向上させるために、触覚センサーを円弧状の構造に設計します。実験の目標は、最小限の押し込み回数で硬い塊の位置を見つけ、塊の正確なセグメント化を達成することです。

ベイズ最適化アルゴリズムにより、触覚センサーは 15 回の反復で最初のハードブロックの輪郭を、20 回の反復で 2 番目のハードブロックの輪郭を、30 回の反復で 3 番目のハードブロックの境界を見つけることができます。

次に、硬度分布の推定値をクラスタリングして、各質量の質量の中心を見つけます。質量の中心から開始して、センサーをさまざまな方向にスライドさせて、各方向の質量の境界点を見つけます (B を検出することによって)。_× 値）を取得し、三次スプライン補間によって見つかった境界点を当てはめて、質量の正確なセグメンテーション結果を取得します。

重心が本体の外側にある複雑な形状 (C 型または O 型のハードブロックなど) の場合、この方法で境界を正確に検出できることが実験で示されています。

点字認識と材料分類

触覚センサーは点字認識にも使用できます。センサーが点字上を滑ると、点字の突起に応じてx、y、zの3方向の磁束がそれぞれ変化します。この目的を達成するために、LSTM ニューラルネットワークをトレーニングしました。ネットワークの入力はセンサーの磁束変化であり、出力は対応する文字または記号であり、97% の認識成功率を達成できます。

さらに、同じセンサーシステムと LSTM ニューラルネットワークを使用して、布地素材の分類も実現できます。この特性から、布の表面にセンサーを押し当てたり、滑らせたりすることで、センサーのx、y、z方向の応答が布の硬さ、摩擦、粗さの特性を反映していることがわかりました。、布認識成功率99%を達成しました。

概要と展望

私たちは、高感度の触覚センサーハードウェアを設計し、力の分離と超解像アルゴリズムを開発し、それらを触覚診断や材料分類などの実用的なシナリオに適用しました。しかし、この分野には、センサーシミュレーションの最適化と拡張、複雑な接触シーンに適した一般的な超解像アルゴリズムの開発、人間の皮膚と同様の全身触覚の実現など、まだ解決されていない多くの課題があります。

将来的には、触覚センサーの可能性を探求し、インテリジェントロボットや人間とコンピューターのインタラクションにおけるその広範な応用を促進していきます。