유연 자기 필름 기반 촉각 센서
촉각 인식은 지능형 로봇과 인간-컴퓨터 상호작용의 중요한 역량 중 하나이지만, 고정밀과 빠른 반응의 촉각 감지를 달성하는 방법은 여전히 많은 과제에 직면해 있습니다. 기존의 촉각 센서는 힘 측정 시 신호 결합으로 인해 제한을 받는 경우가 많아 수직력과 접선력을 정확하게 구분하기 어렵습니다. 동시에 감지 장치의 해상도 한계로 인해 촉각 지각의 공간적 해상도도 제한됩니다.유연한 자기 필름을 기반으로 한 자가 분리 및 초고해상도 촉각 감지 기술은 이러한 문제에 대한 해결책을 제공합니다.
이 기술은 직교적으로 자화된 할바흐 배열을 통해 유연한 자기 필름 촉각 센서를 설계합니다. 센서 표면에 외부 힘이 작용하면 유연한 자기 필름이 변형되어 자기장 분포가 변합니다.. 통합 홀 센서는 자기장 변화를 포착하고 신호 처리를 통해 3차원 힘의 자체 분리를 달성할 수 있습니다. 또한 초고해상도 알고리즘을 사용하여 센서는 물리적 분해능보다 더 높은 위치 정확도를 달성하여 촉각 지각의 공간 분해능을 크게 향상시킬 수 있습니다.
12월 26일, Embodied Touch Community가 주최하고 HyperAI가 공동 주관한 "Newcomers on the Frontier"의 다섯 번째 온라인 공유 이벤트에서,프랑스 국립과학연구센터의 박사후연구원인 얀 유칸 박사는 "유연한 자기 필름을 기반으로 한 자가 분리 및 초고해상도 촉각 감지"라는 주제로 발표를 진행했습니다.유연한 자기 필름을 기반으로 한 촉각 센서의 설계와 응용이 모든 사람과 공유되었으며, 3차원 힘의 자체 분리를 달성하기 위해 직교 자화를 갖춘 할바흐 배열을 사용하는 방법에 초점이 맞춰졌습니다.
HyperAI는 얀유찬 박사의 심도 있는 공유 내용을 원래 의도를 훼손하지 않고 편집하고 요약했습니다.
촉각 센서의 설계 및 응용 탐색
로봇 촉각 인지의 현재 상태와 과제
우리 모두가 알다시피, 인간의 손은 감자 자르기, 물 붓기 등 여러 복잡한 작업을 수행할 수 있습니다. 이는 주로 손의 풍부한 촉각적 지각 능력 덕분입니다. 이러한 촉각적 인식은 로봇에게도 중요합니다. 이는 로봇이 외부 환경을 인식하는 데 도움이 될 뿐만 아니라, 로봇이 환경과 상호 작용할 수 있도록 해줍니다. 로봇의 손가락 끝에 촉각 센서를 설치하면, 로봇은 시각적 피드백 없이도 특정한 섬세한 작업을 수행할 수 있습니다.
그러나 현재 로봇의 촉각 인식은 인간의 촉각 시스템과 비교했을 때 여전히 주로 손가락 끝에 국한되어 있는데, 인간의 촉각 시스템은 몸 전체에 촉각 수용체가 분포되어 있습니다.로봇에 촉각적 지각 능력을 부여하기 위해 연구자들은 광학적, 압저항적, 정전용량적 등 다양한 유형의 촉각 센서를 개발했습니다.이러한 센서는 각자 장단점이 있지만, 일반적으로 직면하는 과제는 간단한 센서 구조와 보정 과정을 통해 수직력과 접선력을 분리하는 방법입니다.
유연 자기 필름 기반 촉각 센서 설계
이 문제를 해결하기 위해, 우리는 유연한 자기 필름을 기반으로 한 촉각 센서를 설계했습니다(아래 그림 참조). 그 구조는 3개의 층으로 구성되어 있습니다. 최상층은 사인파로 자화된 유연 자성 필름으로, 폴리디메틸실록산(PDMS)과 네오디뮴 철 붕소 자성 분말의 혼합물입니다. 중간층은 유연한 탄성층입니다. 그리고 가장 아랫층은 홀 센서가 내장된 회로기판(PCB)입니다.외부 힘이 센서 표면에 작용하면 유연한 자기 필름이 변형되어 자기장이 변합니다. 이러한 자기장 변화가 홀 센서에 의해 포착된 후, 신호 처리를 통해 외부 힘의 분리가 달성됩니다.
외부 힘의 크기를 분리해야 하는 필요성은 특정 시나리오나 응용 분야에서 간단한 물리적 원리를 사용하여 힘 피드백을 통해 효율적인 제어를 달성할 수 있다는 데 있습니다.아래 그림에서 보듯이, 실험을 통해 우리는 촉각적 피드백을 기반으로 계란을 적응적으로 잡는 것을 보여주었습니다. 센서가 접선 방향으로 아래로 당기는 힘을 감지하면 제어 시스템은 그에 따라 고정력을 증가시켜 합력이 항상 마찰 원뿔 내에 있도록 하여 그립의 안정성을 유지합니다. 촉각적 피드백이 없으면 적절한 조정이 부족하여 계란이 미끄러질 수 있습니다. 그러므로 정밀한 제어를 달성하는 데 있어서 힘의 분리는 매우 중요합니다.
직교 자화를 갖는 Halbach 배열
이 연구에서 사용된 할바흐 배열 자석은 한쪽에서는 자기장을 강화하고 다른 쪽에서는 자기장을 약화시킬 수 있다는 점에서 독특합니다.아래 그림에서 보듯이, 자성체가 각각 x 방향과 z 방향으로 사인파 모드로 자화되어 중첩되면, 한쪽에서는 자기장이 상당히 강화되는 반면 다른 쪽에서는 자기장이 거의 0에 가까워집니다. 이 기능은 모터, 자기부상 트랙, 냉장고 자석 및 기타 분야에서 널리 사용됩니다.
또한 Halbach 배열 아래의 자속 B로 인해엑스 그리고 B지 원시 자기 플럭스는 x 및 z 좌표에 결합되어 있기 때문에 힘을 분리하는 데 사용할 수 없습니다. 그러나 계산 후 우리는 자기장 세기 B(즉, B)를 발견했습니다.엑스 그리고 B지 제곱의 합의 제곱근은 z 방향에만 관련되고, R 양은 자기장 방향과 관련됩니다.비(즉, B엑스/비지)은 x 방향으로만 관련이 있습니다(아래 그림 참조). 이 결과는 실제 측정에서도 검증된다. 즉, 자기장 세기 B의 값은 z 방향에만 영향을 받는 반면, R은비 값은 x 방향의 영향을 받습니다.
이러한 성질을 바탕으로 수직력 F지 자기장 세기 B, 접선력 F로 표현할 수 있다.엑스 자기장 방향 R비 이는 x 방향과 z 방향의 자연스러운 분리를 나타냅니다.이러한 분리 기능은 센서 보정 과정을 상당히 단순화합니다. 그러나 이 자화 방법의 한계는 y 방향을 따라 자기장 세기 분포가 균일하고, y 방향의 힘을 감지할 수 없다는 것입니다.
이 문제를 해결하기 위해 우리는 사인파로 자화된 자기 필름 두 층을 중첩했습니다.자기장은 중첩 원리를 따르므로 중첩된 자기장은 x, y, z 방향으로 변합니다. 아래 그림과 같이 미소 변형 조건에서 중첩 자기장 세기 B와 자기장 방향 매개변수 R은 다음과 같음을 연역적으로 증명한다.엑스지 그리고 R와이즈 또한 자연적 분리의 특성도 가지고 있습니다. 따라서 이 세 가지 매개변수를 사용하여 x, y, z 방향의 힘의 크기를 추론할 수 있으며, 이를 통해 보정 복잡성을 줄이고 보정 속도를 높일 수 있습니다.
3차원 힘 분리 기반 촉각 센서의 응용
위의 감지 원리와 힘 분리 방법을 기반으로 분포된 힘의 측정이 실현될 수 있습니다.아래 그림은 무릎 관절의 단면 모양으로 24개의 감지 장치로 구성된 촉각 센서를 보여줍니다. 탄성층의 강성계수를 미리 보정하고 x, y, z 방향으로 각 감지 단위의 변위를 측정함으로써 실시간 분포력을 얻을 수 있습니다.
아래 그림은 무릎 관절이 회전할 때 센서가 측정하는 힘 분포를 보여줍니다. 이 중 x 방향은 좌우 방향을 나타내고, y 방향은 앞뒤 방향을 나타내고, z 방향은 수직 방향을 나타냅니다. 센서 판독값을 ATI 센서의 측정값과 비교해보면, 두 가지의 결합된 힘은 매우 일관적입니다.
더욱이 센서의 물리적 모델을 기반으로 감도와 범위에 대한 표현식을 도출할 수 있습니다.아래 그림과 같이 z방향의 감도 S는지 단위 입력(또는 단위 압력)의 작용에 따른 센서 반응의 변화 정도를 나타냅니다. 반응 변화가 클수록 민감도는 높아집니다. x, y, z 방향의 감도는 탄성층의 두께, 탄성층의 탄성계수, 자화 주기와 관련이 있습니다. 동시에 범위는 위의 세 가지 매개변수와도 관련이 있지만, 민감도와 범위는 이러한 매개변수에 의해 반대 방향으로 영향을 받습니다. 따라서 특정 요구 사항에 따라 높은 감도와 긴 범위 간의 균형을 맞춰야 합니다.
이를 위해 우리는 다양한 응용 시나리오에 맞춰 세 가지 센서를 설계했으며, 각 센서는 감도와 범위 측면에서 서로 다른 매개변수를 갖습니다.아래 그림에서 볼 수 있듯이, 첫 번째 센서의 적용이 방금 시연되었습니다. 나머지 두 센서의 실제 적용은 다음과 같습니다.
첫 번째 응용 시나리오는 촉각 기반 로봇 팔 교육입니다.아래 그림과 같이 로봇팔 끝에 3×3 배열 구조의 센서를 설치하여 학습 작업(커피 만들기 등)을 수행하도록 했습니다. 외부 힘이 센서에 작용하면 센서는 x, y, z 방향으로 힘과 토크를 실시간으로 계산할 수 있습니다. 로봇 팔의 최신 위치는 센서 판독값과 게인 행렬을 곱한 후 로봇 팔의 현재 위치에 더하여 얻을 수 있으며, 이를 통해 커피 만들기의 티칭 작업이 완료됩니다.
두 번째 응용 시나리오는 무릎 패드 촉각 감지입니다.아래 그림과 같이, 센서는 유연한 PCB를 사용하고 무릎 패드 내부에 설치되어 사람이 걸을 때 무릎 패드와 피부 사이의 3차원 접촉력을 모니터링합니다. 실험 결과는 다양한 동작 상태(예: 걷기, 쪼그리고 앉기, 달리기)에서 센서 반응에 확실한 차이가 있음을 보여줍니다. 무릎보호대의 지지력이 증가하면 센서가 측정하는 힘값도 증가합니다. 이는 다리를 구부릴 때 무릎 보호대가 제공하는 지지력을 극복하기 위해 더 많은 힘이 필요하기 때문입니다.
촉각 초고해상도 연구 및 응용
촉각 초고해상도는 여러 개의 감지 장치 또는 인접한 감지 장치 사이의 신호를 중첩하고 보간하여 촉각 정보를 고정밀로 복원하는 방법입니다.감지 유닛이 외부 힘의 작용으로 전체적으로 변형되면, 앞서 언급한 힘 분리 알고리즘을 통해 3차원 힘 측정이 가능합니다. 그러나 두 감지 장치 사이에 물체가 적용되고 센서 표면이 연속적인 경우, 적용된 힘의 위치와 크기를 정확하게 계산하는 방법은 핵심 문제입니다. 이 문제를 해결하기 위해 우리는 초고해상도 모델을 제안합니다. 목표는 센서의 어느 위치에든 힘이 가해질 때 초고해상도 알고리즘을 통해 접촉력의 위치와 크기를 정확하게 추정하는 것입니다.
초고해상도 알고리즘 개발
초고해상도 알고리즘이라는 개념은 2015년 네이선이 처음 제안했습니다.그는 센서 유닛의 수신 영역(즉, 지각 영역)이 겹칠 때, 물리적 해상도는 두 지점을 명확하게 구분할 수 있는 최소 거리로 정의된다고 지적했습니다. 이러한 해상도는 초고해상도 알고리즘을 통해 더욱 향상될 수 있습니다. 아래 그림은 2015년부터 2024년까지의 대표적인 연구를 보여줍니다.
2021년 연구에서 우리는 정성적 분석과 정량적 분석을 결합한 초고해상도 알고리즘을 제안했습니다.아래 그림과 같이 3×3 센서 어레이에서 작은 공이 표면에 눌리면, 가장 큰 반응값을 기준으로 먼저 공의 초기 위치(센서 유닛 No. 5에 위치)를 찾습니다. 그런 다음 x 및 y 방향(양수 또는 음수)의 자기 플럭스 부호를 사용하여 센서 장치의 위 또는 아래, 왼쪽 또는 오른쪽에 있는지 여부를 추가로 추론하여 센서의 공간 분해능(물리적 분해능과 비교)을 두 배로 높입니다. 이 방법은 정성적 분석이므로 다양한 모양의 접촉 객체에 사용할 수 있습니다.
위치 정확도를 더욱 개선하기 위해 다층 퍼셉트론(MLP) 모델을 사용하여 x 및 y 방향에 대한 회귀 분석을 수행하여 더욱 정확한 접촉 위치를 얻습니다. 접촉 위치를 z 방향의 자속 측정값과 결합하여 사전 교정된 조회 테이블을 통해 압착 깊이를 결정한 다음 힘의 크기를 추론할 수 있습니다. 그러나 이 방법은 단일 지점 접촉에만 적용할 수 있으며 다중 지점 접촉 상황을 처리할 수 없습니다.
다중점 접촉 문제를 해결하기 위해, 우리는 기하학적 모델에 기반한 방법을 제안합니다.아래 그림과 같이 구형 물체가 센서 표면에 눌려 위치 1에서 위치 2로 이동하면 센서 S1 측정된 자기장은 수평 위치 X에서의 자기장과 동일하다.1 X로 이동2 . R을 분석하여비 값과 x 방향의 관계는 R로부터 얻을 수 있습니다.비 접촉 위치 x는 곡선으로부터 계산되고 힘은 추가로 추론됩니다.
구체적인 작업 흐름은 아래 그림과 같습니다. 이 방법을 사용하면 해상도를 15배까지 높일 수 있습니다.
아래 그림은 기하학적 모델을 기반으로 한 고해상도 알고리즘을 사용하여 접촉 위치를 찾고 실시간으로 힘을 측정하는 방법을 보여줍니다. 우리는 구형 및 비구형 물체를 포함한 다양한 모양의 물체를 추가로 테스트했습니다(비구형 물체도 특정 직경의 구형 물체와 동일할 수 있다고 가정).이 방법은 여러 접촉점을 동시에 감지할 수 있으며, 복잡한 장면에서 촉각 초고해상도의 적용을 예비적으로 실현했습니다. 그러나 힘 분포를 고해상도로 측정하는 것은 현재 불가능하며, 앞으로 극복해야 할 과제로 남아 있습니다.
베이지안 최적화 기반 로봇 촉각 진단
촉각 센서와 베이지안 최적화 알고리즘을 결합하여 빠른 로봇 촉진(의사의 촉진을 시뮬레이션, 즉 신체의 여러 부분을 눌러 병변을 진단하는 것)을 달성했습니다.
아래 그림은 3D로 인쇄된 단단한 블록을 사용하여 종양을 시뮬레이션하고, 이를 덮고 있는 실리콘은 인체 조직을 시뮬레이션하는 실험적 설정을 보여줍니다. 오른쪽 하단 모서리의 파란색 영역은 단단한 블록의 경도 분포에 대한 기준 진실을 나타냅니다. 여기서는 마찰을 줄이고 감도를 향상시키기 위해 촉각 센서를 호 모양의 구조로 설계했습니다. 실험 목표는 가장 적은 횟수로 덩어리의 위치를 찾아 덩어리를 정확하게 분할하는 것입니다.
베이지안 최적화 알고리즘을 통해 촉각 센서는 15번의 반복 이내에 첫 번째 딱딱한 블록의 윤곽선을 찾을 수 있고, 20번의 반복 이내에 두 번째 딱딱한 블록의 윤곽선을 찾을 수 있으며, 30번의 반복 이내에 세 번째 딱딱한 블록의 경계를 찾을 수 있습니다.
다음으로, 우리는 각 질량의 질량 중심을 찾기 위해 경도 분포 추정치를 클러스터링하고, 각 방향의 질량 경계점을 찾기 위해 질량 중심에서 다른 방향으로 센서를 슬라이드합니다(B를 감지하여).엑스 발견된 경계점에 3차 스플라인 보간법을 적용하여 질량의 정확한 분할 결과를 얻습니다.
질량 중심이 물체 외부에 있는 복잡한 모양의 경우(예: C자 모양이나 O자 모양의 질량)에도 이 방법을 사용하면 경계를 정확하게 찾을 수 있다는 것이 실험을 통해 입증되었습니다.
점자 인식 및 재료 분류
촉각 센서는 점자 인식에도 사용될 수 있습니다.센서가 점자 위로 미끄러지면 점자의 돌출부에 따라 x, y, z 방향의 자기 플럭스가 다르게 변합니다. 이러한 목적을 위해 우리는 센서의 자기 플럭스 변화를 입력으로 하고 해당 문자나 기호를 출력하는 LSTM 신경망을 훈련시켰으며, 이를 통해 97%의 인식 성공률을 달성할 수 있었습니다.
또한, 동일한 센서 시스템과 LSTM 신경망을 사용하여 원단 소재 분류도 가능합니다.센서를 원단 표면에 대고 밀어보면, 센서가 x, y, z 방향으로 반응하는 모습이 원단의 경도, 마찰, 거칠기 특성을 반영한다는 것을 알 수 있습니다. 이러한 특성을 바탕으로 99% 원단 인식 성공률을 달성했습니다.
요약 및 전망
우리는 고감도 촉각 센서 하드웨어를 설계하고 힘 분리 및 초고해상도 알고리즘을 개발하여 촉각 진단 및 재료 분류와 같은 실제 시나리오에 적용했습니다.하지만 이 분야에는 여전히 센서 시뮬레이션의 최적화, 확장 등 해결되지 않은 이슈가 많이 남아있습니다. 복잡한 접촉 시나리오에 적합한 일반적인 초해상도 알고리즘 개발 그리고 인간의 피부와 유사한 전신 촉각 인식이 실현되었습니다.
앞으로도 우리는 촉각 센서의 잠재력을 계속 탐구하고 지능형 로봇과 인간-컴퓨터 상호작용 분야에서 촉각 센서의 광범위한 적용을 촉진할 것입니다.