Taktiler Sensor Basierend Auf Flexiblem Magnetfilm

Die taktile Wahrnehmung ist eine der wichtigsten Fähigkeiten intelligenter Roboter und der Mensch-Computer-Interaktion. Doch die Erzielung einer hochpräzisen und schnell reagierenden taktilen Wahrnehmung ist noch mit zahlreichen Herausforderungen verbunden. Herkömmliche taktile Sensoren sind bei der Kraftmessung häufig durch die Signalkopplung eingeschränkt, was eine genaue Unterscheidung zwischen Normalkraft und Tangentialkraft erschwert. Gleichzeitig ist aufgrund der begrenzten Auflösung der Sensoreinheit auch die räumliche Auflösung der taktilen Wahrnehmung eingeschränkt.Eine Lösung für diese Probleme bietet die selbstentkoppelnde und hochauflösende taktile Sensortechnologie auf Basis flexibler Magnetfolien.

Diese Technologie entwickelt einen flexiblen taktilen Magnetfilmsensor durch ein orthogonal magnetisiertes Halbach-Array. Bei äußerer Krafteinwirkung auf die Sensoroberfläche verformt sich die flexible Magnetfolie, wodurch sich die Magnetfeldverteilung verändert.. Der integrierte Hall-Sensor ist in der Lage, magnetische Feldänderungen zu erfassen und durch Signalverarbeitung eine Selbstentkopplung dreidimensionaler Kräfte zu erreichen. Darüber hinaus kann der Sensor durch die Verwendung eines Superauflösungsalgorithmus eine Positionierungsgenauigkeit erreichen, die über der physikalischen Auflösung liegt, wodurch die räumliche Auflösung der taktilen Wahrnehmung erheblich verbessert wird.

Am 26. Dezember fand beim fünften Online-Sharing-Event „Newcomers on the Frontier“ der Embodied Touch Community statt, das von HyperAI mitorganisiert wurde.Dr. Yan Youcan, ein Postdoktorand am französischen Nationalen Zentrum für wissenschaftliche Forschung, sprach zum Thema „Selbstentkopplung und superauflösende taktile Sensorik auf der Basis flexibler magnetischer Filme“.Das Design und die Anwendung von taktilen Sensoren auf Basis flexibler Magnetfilme wurden allen vorgestellt, und der Schwerpunkt lag auf der Verwendung des Halbach-Arrays mit orthogonaler Magnetisierung zur Selbstentkopplung dreidimensionaler Kräfte.

HyperAI hat die ausführlichen Ausführungen von Dr. Yan Youcan zusammengestellt und zusammengefasst, ohne die ursprüngliche Absicht zu verletzen.

Design und Anwendungserkundung taktiler Sensoren

Aktueller Stand und Herausforderungen der taktilen Wahrnehmung von Robotern

Wie wir alle wissen, können menschliche Hände viele komplexe Vorgänge ausführen, wie etwa Kartoffeln schneiden, Wasser einschenken usw., was hauptsächlich auf die ausgeprägte taktile Wahrnehmungsfähigkeit der Hände zurückzuführen ist. Auch für Roboter ist diese taktile Wahrnehmung entscheidend. Es hilft Robotern nicht nur, die äußere Umgebung wahrzunehmen, sondern ermöglicht ihnen auch, mit der Umgebung zu interagieren. Wenn an den Fingerspitzen eines Roboters taktile Sensoren angebracht sind, kann der Roboter bestimmte heikle Vorgänge auch ohne visuelles Feedback ausführen.

Allerdings ist die taktile Wahrnehmung heutiger Roboter im Vergleich zum menschlichen Tastsystem, bei dem die Tastrezeptoren über den ganzen Körper verteilt sind, noch immer hauptsächlich auf die Fingerspitzen beschränkt.Um Robotern die Fähigkeit zur taktilen Wahrnehmung zu verleihen, haben Forscher verschiedene Arten von taktilen Sensoren entwickelt, darunter optische, piezoresistive und kapazitive.Diese Sensoren haben ihre eigenen Vor- und Nachteile, die gemeinsame Herausforderung besteht jedoch darin, Normalkraft und Tangentialkraft durch eine einfache Sensorstruktur und einen Kalibrierungsprozess zu entkoppeln.

Design eines taktilen Sensors basierend auf flexiblem Magnetfilm

Um dieses Problem zu lösen, haben wir einen taktilen Sensor auf Basis eines flexiblen Magnetfilms entwickelt (siehe Abbildung unten). Seine Struktur besteht aus drei Schichten: Die oberste Schicht ist ein sinusförmig magnetisierter flexibler Magnetfilm, der aus einer Mischung aus Polydimethylsiloxan (PDMS) und Neodym-Eisen-Bor-Magnetpulver besteht; die mittlere Schicht ist eine flexible elastische Schicht; und die unterste Schicht ist eine Leiterplatte (PCB) mit einem Hall-Sensor.Wirkt eine äußere Kraft auf die Sensoroberfläche, verformt sich die flexible Magnetfolie, wodurch sich das Magnetfeld verändert. Nachdem diese Magnetfeldänderung vom Hall-Sensor erfasst wurde, wird durch Signalverarbeitung eine Entkopplung von äußeren Kräften erreicht.

Die Notwendigkeit, die Stärke der externen Kraft zu entkoppeln, liegt darin begründet, dass in bestimmten Szenarien oder Anwendungen eine effiziente Steuerung durch Kraftrückkopplung unter Verwendung einfacher physikalischer Prinzipien erreicht werden kann.Wie in der Abbildung unten gezeigt, haben wir im Experiment das adaptive Greifen von Eiern auf der Grundlage taktiler Rückmeldung demonstriert. Wenn der Sensor eine nach unten gerichtete Zugkraft in tangentialer Richtung erkennt, erhöht das Steuerungssystem die Haltekraft entsprechend, sodass die resultierende Kraft immer innerhalb des Reibungskegels liegt und so die Stabilität des Greifens gewährleistet bleibt. Ohne taktiles Feedback kann das Ei aufgrund fehlender rechtzeitiger Anpassung verrutschen. Daher ist die Kraftentkopplung für eine präzise Steuerung von großer Bedeutung.

Halbach-Array mit orthogonaler Magnetisierung

Der in dieser Studie verwendete Halbach-Array-Magnet ist insofern einzigartig, als er das Magnetfeld auf der einen Seite verstärken und auf der anderen Seite abschwächen kann.Wie in der Abbildung unten gezeigt, kann das Magnetfeld auf der einen Seite deutlich verstärkt werden, während es auf der anderen Seite nahe Null liegt, wenn das magnetische Material in sinusförmigen Modi entlang der x-Richtung bzw. der z-Richtung magnetisiert und überlagert wird. Diese Funktion wird häufig in Motoren, Magnetschwebebahnen, Kühlschrankmagneten und anderen Bereichen verwendet.

Darüber hinaus aufgrund des magnetischen Flusses B unterhalb des Halbach-Arrays_X und B_z Der rohe magnetische Fluss kann nicht zum Entkoppeln der Kräfte verwendet werden, da er an die x- und z-Koordinaten gekoppelt ist. Aber nach der Berechnung stellten wir fest, dass die magnetische Feldstärke B (d. h. B_X und B_z Die Quadratwurzel der Summe der Quadrate bezieht sich nur auf die z-Richtung, während die Größe R auf die Magnetfeldrichtung bezogen ist_B(d. h. B_X/B_z) ist nur in x-Richtung relevant (wie in der Abbildung unten gezeigt). Dieses Ergebnis wird auch durch tatsächliche Messungen bestätigt: Der Wert der magnetischen Feldstärke B wird nur durch die z-Richtung beeinflusst, während R_B Der Wert wird nur von der x-Richtung beeinflusst.

Basierend auf dieser Eigenschaft ist die Normalkraft F_z Sie kann durch die magnetische Feldstärke B, die Tangentialkraft F ausgedrückt werden_X Die magnetische Feldrichtung R_B Dies stellt die natürliche Entkopplung der x-Richtung und der z-Richtung dar.Diese Entkopplungsfunktion vereinfacht den Sensorkalibrierungsprozess erheblich. Die Einschränkung dieser Magnetisierungsmethode besteht jedoch darin, dass die Verteilung der magnetischen Feldstärke entlang der y-Richtung gleichmäßig ist und die Kraft in der y-Richtung nicht erfasst werden kann.

Um dieses Problem zu lösen, haben wir zwei Schichten sinusförmig magnetisierter Magnetfilme übereinandergelegt.Da das Magnetfeld dem Superpositionsprinzip folgt, ändert sich das überlagerte Magnetfeld entlang der x-, y- und z-Richtung. Wie in der Abbildung unten gezeigt, wird durch Deduktion bewiesen, dass unter geringen Verformungsbedingungen die überlagerte magnetische Feldstärke B und der magnetische Feldrichtungsparameter R_xz und R_yz Es weist außerdem die Eigenschaften einer natürlichen Entkopplung auf. Daher können wir diese drei Parameter verwenden, um die Stärke der Kraft in x-, y- und z-Richtung abzuleiten, wodurch die Kalibrierungskomplexität reduziert und eine schnellere Kalibrierung erreicht wird.

Anwendung taktiler Sensoren basierend auf dreidimensionaler Kraftentkopplung

Basierend auf dem oben beschriebenen Sensorprinzip und der Kraftentkopplungsmethode können wir die Messung verteilter Kräfte realisieren.Die folgende Abbildung zeigt einen taktilen Sensor, der aus 24 Sensoreinheiten in Form eines Querschnitts eines Kniegelenks besteht. Indem wir den Steifigkeitskoeffizienten der elastischen Schicht im Voraus kalibrieren und die Verschiebung jeder Sensoreinheit entlang der x-, y- und z-Richtung messen, können wir die verteilte Kraft in Echtzeit ermitteln.

Die folgende Abbildung zeigt die vom Sensor gemessene Kraftverteilung bei Rotation des Kniegelenks. Dabei stellt die x-Richtung die Links-Rechts-Richtung dar, die y-Richtung die Vorwärts-Rückwärts-Richtung und die z-Richtung die vertikale Richtung. Vergleicht man die Sensorwerte mit den Messwerten des ATI-Sensors, so ist die kombinierte Kraft der beiden sehr konsistent.

Darüber hinaus können basierend auf dem physikalischen Modell des Sensors Ausdrücke für seine Empfindlichkeit und Reichweite abgeleitet werden.Wie in der Abbildung unten gezeigt, ist die Empfindlichkeit S entlang der z-Richtung_z Es gibt den Grad der Änderung der Sensorreaktion unter der Einwirkung einer Einheitseingabe (oder eines Einheitsdrucks) an. Je größer die Antwortänderung, desto höher die Empfindlichkeit. Die Empfindlichkeit in x-, y- und z-Richtung hängt von der Dicke der elastischen Schicht, dem Elastizitätsmodul der elastischen Schicht und der Magnetisierungsperiode ab. Gleichzeitig hängt die Reichweite auch mit den drei oben genannten Parametern zusammen, aber die Empfindlichkeit und Reichweite werden von diesen Parametern auf entgegengesetzte Weise beeinflusst. Daher muss je nach Bedarf ein Gleichgewicht zwischen höherer Empfindlichkeit und größerer Reichweite gefunden werden.

Zu diesem Zweck haben wir drei verschiedene Sensoren für unterschiedliche Anwendungsszenarien mit jeweils unterschiedlichen Parametern hinsichtlich Empfindlichkeit und Reichweite konzipiert.Wie in der folgenden Abbildung gezeigt, wurde gerade die Anwendung des ersten Sensors demonstriert. Die tatsächlichen Anwendungen der verbleibenden zwei Sensoren sind wie folgt:

Das erste Anwendungsszenario ist das taktil basierte Unterrichten von Roboterarmen.Wie in der Abbildung unten gezeigt, haben wir am Ende des Roboterarms eine 3×3-Array-Struktur aus Sensoren für Lehraufgaben (wie etwa Kaffeekochen) installiert. Wenn eine externe Kraft auf den Sensor einwirkt, kann der Sensor die Kraft und das Drehmoment in x-, y- und z-Richtung in Echtzeit berechnen. Die aktuelle Position des Roboterarms kann ermittelt werden, indem der Sensorwert mit der Verstärkungsmatrix multipliziert und zur aktuellen Position des Roboterarms addiert wird. Damit ist der Lernvorgang für die Kaffeezubereitung abgeschlossen.

Das zweite Anwendungsszenario ist die taktile Erfassung von Knieschützern.Wie in der Abbildung unten gezeigt, verwendet der Sensor eine flexible Leiterplatte und ist im Kniepolster installiert, um die dreidimensionale Kontaktkraft zwischen dem Kniepolster und der Haut beim Gehen einer Person zu überwachen. Die experimentellen Ergebnisse zeigen, dass es deutliche Unterschiede in den Sensorreaktionen bei unterschiedlichen Bewegungszuständen (wie Gehen, Hocken und Laufen) gibt. Steigt die Stützkraft der Knieorthese, erhöht sich auch der vom Sensor gemessene Kraftwert. Dies liegt daran, dass mehr Kraft erforderlich ist, um die Stützkraft der Knieorthese beim Beugen des Beins zu überwinden.

Forschung und Anwendung taktiler Superauflösung

Taktile Superauflösung ist eine Methode zur hochpräzisen Wiederherstellung taktiler Informationen durch Überlagerung und Interpolation von Signalen mehrerer Sensoreinheiten oder zwischen benachbarten Sensoreinheiten.Wenn die Sensoreinheit unter Einwirkung einer äußeren Kraft eine Gesamtverformung erfährt, können wir durch den oben genannten Kraftentkopplungsalgorithmus eine dreidimensionale Kraftmessung erreichen. Wenn jedoch ein Objekt zwischen zwei Sensoreinheiten platziert wird und die Sensoroberfläche durchgehend ist, ist die genaue Berechnung der Position und Größe der ausgeübten Kraft ein zentrales Problem. Um dieses Problem zu lösen, schlagen wir ein Superauflösungsmodell vor. Das Ziel besteht darin, den Ort und die Stärke der Kontaktkraft durch einen Superauflösungsalgorithmus genau zu schätzen, wenn an einer beliebigen Stelle des Sensors eine Kraft ausgeübt wird.

Entwicklung von Super-Resolution-Algorithmen

Das Konzept des Superauflösungsalgorithmus wurde erstmals 2015 von Nathan vorgeschlagen.Er wies darauf hin, dass die physikalische Auflösung der Sensoreinheiten bei einer Überlappung ihrer Empfangsbereiche (d. h. Wahrnehmungsfelder) als Mindestabstand definiert ist, der eine klare Unterscheidung zweier Punkte ermöglicht. Diese Auflösung kann durch Super-Resolution-Algorithmen noch weiter verbessert werden. Die folgende Abbildung zeigt einige repräsentative Studien für den Zeitraum 2015–2024.

In unserer Forschung aus dem Jahr 2021 haben wir einen Superauflösungsalgorithmus vorgeschlagen, der qualitative und quantitative Analysen kombiniert.Wie in der folgenden Abbildung gezeigt, ermitteln wir auf einem 3×3-Sensorarray, wenn ein kleiner Ball auf die Oberfläche gedrückt wird, zunächst die Anfangsposition des Balls (an Sensoreinheit Nr. 5) basierend auf dem maximalen Antwortwert. Aus dem Vorzeichen des magnetischen Flusses in x- und y-Richtung (positiv oder negativ) lässt sich dann weiter ableiten, ob er sich oberhalb oder unterhalb bzw. links oder rechts von der Sensoreinheit befindet, wodurch sich die räumliche Auflösung des Sensors (im Vergleich zur physikalischen Auflösung) verdoppelt. Da es sich bei dieser Methode um eine qualitative Analyse handelt, kann sie für Kontaktobjekte unterschiedlicher Form verwendet werden.

Um die Positionierungsgenauigkeit weiter zu verbessern, verwenden wir ein mehrschichtiges Perzeptron-Modell (MLP), um eine Regressionsanalyse in x- und y-Richtung durchzuführen und so eine genauere Kontaktposition zu erhalten. Mithilfe der Kontaktposition können wir diese mit der Messung des magnetischen Flusses in Z-Richtung kombinieren, um die Einpresstiefe über eine vorkalibrierte Nachschlagetabelle zu bestimmen und dann auf die Stärke der Kraft zu schließen. Diese Methode ist jedoch nur auf Einzelpunktkontakte anwendbar und kann keine Mehrpunktkontaktsituationen bewältigen.

Um das Problem des Mehrpunktkontakts zu lösen, schlagen wir eine Methode auf Basis eines geometrischen Modells vor.Wie in der Abbildung unten gezeigt, wenn ein kugelförmiger Gegenstand auf die Sensoroberfläche gedrückt wird und sich von Position 1 zu Position 2 bewegt, Sensor S₁ Das gemessene Magnetfeld entspricht dem Magnetfeld an der horizontalen Position X₁ Nach X verschieben₂ . Durch die Analyse von R_B Die Beziehung zwischen dem Wert und der x-Richtung kann aus R abgeleitet werden._B Aus der Kurve wird die Kontaktposition x berechnet und weiter auf die Kraft geschlossen.

Der konkrete Arbeitsablauf ist in der folgenden Abbildung dargestellt. Mit dieser Methode lässt sich eine 15-fache Steigerung der Auflösung erreichen.

Die folgende Abbildung zeigt, wie ein hochauflösender Algorithmus basierend auf einem geometrischen Modell verwendet werden kann, um Kontaktpositionen zu lokalisieren und die Kraft in Echtzeit zu messen. Wir haben außerdem Objekte unterschiedlicher Formen getestet, darunter kugelförmige und nicht-kugelförmige Objekte (unter der Annahme, dass nicht-kugelförmige Objekte kugelförmigen Objekten eines bestimmten Durchmessers gleichwertig sein können).Mit dieser Methode können mehrere Kontaktpunkte gleichzeitig erkannt werden, und die Anwendung der taktilen Superauflösung in komplexen Szenen ist vorläufig realisiert worden. Eine hochauflösende Messung der Kraftverteilung ist derzeit jedoch nicht möglich und stellt auch in Zukunft eine Herausforderung dar.

Taktile Roboterdiagnose basierend auf Bayesscher Optimierung

Durch die Kombination von taktilen Sensoren und Bayes'schen Optimierungsalgorithmen haben wir eine schnelle robotergestützte Palpation erreicht (Simulation der Palpation eines Arztes, d. h. Drücken auf verschiedene Körperteile zur Diagnose von Läsionen).

Das Bild unten zeigt den Versuchsaufbau, bei dem ein 3D-gedruckter Hartblock zur Simulation eines Tumors verwendet wird und das ihn bedeckende Silikon menschliches Gewebe simuliert. Der blaue Bereich in der unteren rechten Ecke stellt die Grundwahrheit der Härteverteilung des harten Blocks dar. Hier haben wir den Tastsensor in einer bogenförmigen Struktur gestaltet, um die Reibung zu verringern und die Empfindlichkeit zu verbessern. Das experimentelle Ziel besteht darin, die Position des Knotens mit der geringsten Anzahl von Drücken zu finden und eine genaue Segmentierung des Knotens zu erreichen.

Mithilfe des Bayes'schen Optimierungsalgorithmus kann der Tastsensor den Umriss des ersten harten Blocks innerhalb von 15 Iterationen, den des zweiten harten Blocks innerhalb von 20 Iterationen und die Grenze des dritten harten Blocks innerhalb von 30 Iterationen finden.

Als nächstes gruppieren wir die Schätzungen der Härteverteilung, um den Schwerpunkt jeder Masse zu finden, und verschieben den Sensor in verschiedene Richtungen vom Schwerpunkt aus, um die Grenzpunkte der Masse in jeder Richtung zu finden (durch Erkennen von B_X Die gefundenen Randpunkte werden dann mit kubischer Spline-Interpolation angepasst, um das genaue Segmentierungsergebnis der Masse zu erhalten.

Bei komplexen Formen, deren Schwerpunkt außerhalb des Körpers liegt (wie etwa C-förmige oder O-förmige Massen), zeigen Experimente, dass sich mit dieser Methode auch deren Grenzen genau ermitteln lassen.

Braille-Erkennung und Materialklassifizierung

Taktile Sensoren können auch zur Braille-Erkennung verwendet werden.Wenn der Sensor über die Brailleschrift gleitet, ändert sich der magnetische Fluss in x-, y- und z-Richtung je nach den Vorsprüngen der Brailleschrift unterschiedlich. Zu diesem Zweck haben wir ein LSTM-Neuralnetzwerk trainiert, dessen Eingabe die Änderung des magnetischen Flusses des Sensors und dessen Ausgabe der entsprechende Buchstabe oder das entsprechende Symbol ist, wodurch eine Erkennungserfolgsrate von 97% erreicht werden kann.

Darüber hinaus kann mit demselben Sensorsystem und LSTM-Neuralnetzwerk auch eine Stoffmaterialklassifizierung durchgeführt werden.Indem wir den Sensor auf die Stoffoberfläche drückten und ihn gleiten ließen, stellten wir fest, dass die Reaktion des Sensors in x-, y- und z-Richtung die Eigenschaften der Härte, Reibung und Rauheit des Stoffes widerspiegelt. Basierend auf dieser Eigenschaft haben wir eine Erfolgsrate bei der Stofferkennung von 99% erreicht.

Zusammenfassung und Ausblick

Wir haben hochempfindliche taktile Sensorhardware entworfen und Algorithmen zur Kraftentkopplung und Superauflösung entwickelt, die wir auf praktische Szenarien wie taktile Diagnose und Materialklassifizierung angewendet haben.Allerdings gibt es in diesem Bereich noch viele ungelöste Probleme, darunter die Optimierung und Erweiterung der Sensorsimulation; die Entwicklung allgemeiner Superauflösungsalgorithmen, die für komplexe Kontaktszenarien geeignet sind; und die Realisierung einer Ganzkörper-Tastwahrnehmung ähnlich der menschlichen Haut.

Auch in Zukunft werden wir das Potenzial taktiler Sensoren weiter erforschen und ihre breite Anwendung in intelligenten Robotern und der Mensch-Computer-Interaktion fördern.