미래의 구체화된 지능의 촉각 혁명! TactEdge 센서는 로봇에게 정밀한 촉각 인식 기능을 제공하여 원단 결함 감지 및 정교한 작업 제어를 가능하게 합니다.

우리의 상상 속에서 완벽한 로봇은 인간과 동일한 시각, 촉각, 청각, 후각, 미각을 가져야 합니다.

위의 "오감"을 통해 물리적 세계를 인지하고 이해하고 강력한 AI 두뇌를 사용하여 환경에 정확하게 대응하는 것이 지능형 로봇을 만드는 핵심이며, 기술 대기업 테슬라도 이에 동의합니다.

예를 들어, 2세대 인간형 로봇 옵티머스는 촉각 지각 능력이 강화되어 두 손가락으로 계란을 집는 정교한 작업을 수행할 수 있습니다.물체에 대한 정확한 인식과 힘의 정밀한 제어는 10개 손가락 끝에 있는 촉각 센서 덕분에 가능합니다.

예를 들어, 사람은 촉각을 이용해 물체의 크기와 모양을 평가하고, 로봇도 마찬가지입니다. 로봇은 촉각 센서의 도움으로 실제 세계에서 물체의 상호 작용 행동을 더 잘 이해하고 대상 물체의 질감, 온도, 경도 및 변형과 같은 촉각 정보를 얻어 물체의 정확한 위치를 파악하고 다양한 작업(예: 잡기)을 수행할 수 있습니다.간단히 말해, 작동은 촉각과 분리할 수 없으며, 촉각 감지는 로봇공학 분야에서 엄청난 응용 잠재력을 가지고 있습니다.

12월 13일, Embodied Haptic Community가 주최하고 HyperAI가 공동 주관한 세 번째 온라인 공유 이벤트 "Newcomers on the Frontier"가 공식적으로 시작되었습니다.이 행사에서는 중국 지질대학(베이징)에서 박사과정 4학년인 장시신을 초대하여 "TactEdge 센서의 설계, 준비 및 로봇 인지 작동"이라는 주제로 발표를 했습니다.우리는 시각 및 촉각 센서인 TactEdge의 반복 기록, 하드웨어 최적화, 시각 및 촉각 시뮬레이션, 로봇 인지 작업에 대해 자세히 소개했습니다.

HyperAI는 장시신 박사의 심도 있는 공유 내용을 원래 의도를 훼손하지 않고 편집하고 요약했습니다.

TactEdge 시각 촉각 센서 업그레이드 내역

과거에는 사람들이 전자 촉각 센서를 이용해 촉각 정보를 측정했습니다. 하지만 이러한 유형의 촉각 센서는 감지 장치가 희박하게 분포되어 있으며, 촉각 정보를 매핑할 때의 해상도가 상대적으로 낮습니다. 촉각 정보의 질을 개선하기 위해 연구원들은 새로운 감지 메커니즘을 도입했습니다.시각적 인식 원리를 기반으로 하는 촉각 센서(시각적 촉각 센서라고도 함)는 이미지를 감지 매체로 사용하여 특히 공간 해상도 측면에서 촉각 품질을 크게 향상시킵니다.시각 및 촉각 센서의 발전은 다음 그림과 같습니다.

20세기 이후, 연구자들은 새로운 시각-촉각 감지 방법을 제안했습니다. 이들의 작업은 시각-촉각 감지 메커니즘을 표준화하는 데 사용되는 접촉 모듈, 카메라 모듈, 조명 모듈의 세 가지 주요 모듈로 요약될 수 있습니다.이 중 접촉 모듈은 표시층, 코팅층, 촉각 정보를 전달하는 기능층(온도 감지층 등) 등으로 구성되며, 이후 역상 이미징 기술을 통해 촉각 정보가 시각화됩니다.

저희 팀은 2014년부터 시각-촉각 센서에 대한 연구를 시작해서 벌써 10년이 흘렀습니다. 이 기간 동안,우리는 여러 세대의 센서 기술을 탐구하고 개발했으며, 이를 최첨단 촉각 기술인 TactEdge라고 부릅니다.다음 그림과 같이:

* 1세대 TactEdge는 코팅 디자인을 채택했습니다.금속 스퍼터링과 마스킹 공정을 통해 얇은 금속 코팅과 표준 마킹 어레이가 준비되었으며, 이는 이중 모드의 촉각 감지 기능을 갖추고 있습니다.

* 2세대 TactEdge는 코팅이나 표시 소재에 열가소성 소재를 추가했습니다.각 재료마다 온도 한계가 다르므로 온도가 올라가거나 내려갈 때 색상이 밝은 것에서 어두운 것으로 바뀌는 것을 볼 수 있으며, 이를 통해 국소적인 온도 지각을 얻을 수 있습니다.

* 3세대 TactEdge는 시각 및 촉각 센서가 통합된 소프트웨어 핸드입니다.굽힘 자세는 내장된 비전을 사용하여 내부 공동의 변형 상태를 모니터링하여 추적됩니다.

* 4세대 TactEdge:코팅 층은 텍스처 매핑에 사용되고, 마커 층은 힘 추적을 구현하며, 열 감지 층은 온도 감지를 담당합니다. 다중 모드 인식을 달성하기 위해 우리는 이러한 기능적 계층을 결합했습니다. 4세대 TactEdge는 열전도성 층과 코팅을 결합하여 질감과 온도에 대한 다중 모드적 인식을 구현합니다.

* 5세대 TactEdge는 센서의 반경 방향 치수 최적화와 촉각 이미징의 견고성 측면에서 큰 개선을 이루었습니다.또한, 표시 층은 코팅과 결합되어 힘과 질감의 이중 모드 인식을 달성합니다.

* 6세대 TactEdge는 새로운 시각적 촉각 감지 메커니즘 TIRgel을 사용합니다.엘라스토머 내부에 전반사를 구현함으로써 촉각 정보를 나타내는 광도 정보가 생성되고, 초점 조절이 가능한 카메라가 도입되어 내부 및 외부 시야를 변환합니다.

하드웨어 최적화

최근 몇 년간의 센서 개발 과정에서 우리는 하드웨어 최적화에 집중해 왔습니다.예를 들어, 2021년에는 현재 주류를 이루는 센서 제조 기술(예: 엘라스토머 제조 공정, 마킹층 제조 공정, 코팅 제조 공정, 지지 구조 형태)을 정리하고, 이를 기반으로 공정 코딩을 진행하여 아래 그림과 같이 7가지 설계 목표를 정리했습니다. 이러한 목표는 시각 및 촉각 센서의 적용 요구 사항에 따라 달라집니다.

이러한 감지 요구 사항을 바탕으로 다양한 제약 조건을 추가하고 프로세스와 설계 목표 간의 본질적인 관계와 논리적 프레임워크를 구축했습니다. 이를 바탕으로 전체 프로세스 수립 시스템을 구축하고, QT 기반의 프로세스 수립 시스템을 위한 시각적 인터페이스를 개발하였습니다. 아래 그림과 같이, 사용자는 녹색 상자에 디자인 목표를 입력할 수 있습니다. 이러한 목표에 따른 합리적인 준비 과정은 팀의 센서 개발을 지원하기 위한 시스템 배경을 제공합니다. 그러나 여기서는 권장되는 준비 과정 지원만 제공됩니다. 특수한 시나리오의 일부 요구 사항은 여전히 프로세스의 특정 로컬 최적화를 요구합니다.

엘라스토머 공정 최적화: 간소화된 제조 공정 + 낮은 비용

예를 들어, 일반적으로 사용되는 엘라스토머 제조 공정에는 성형, 실리콘 혼합, 주입, 진공 처리, 가열 및 탈형이 포함되며, 이어서 다양한 코팅 공정이 이어집니다. 이것은 일반적인 엘라스토머 제조 공정입니다. 대량 생산 시에는 가열 시간이 길어지는 점을 고려하여 자체 경화되는 특수 실리콘 소재를 사용할 수 있으며, 경화 후 진공 처리 등의 추가 가열이 필요 없습니다. 또한, 센서 엘라스토머를 제조하는 데 드는 비용을 줄이기 위해 우리 팀은 적층 공정도 제안했습니다.

코팅 공정 최적화: 내마모성 및 연성

현재 센서용 코팅 제조 방식은 크게 분무 공정과 금속 스퍼터링 공정으로 구분된다. 자주 접촉하면 금속 코팅이 완전히 벗겨지고 마모됩니다. 스프레이 코팅은 내마모성이 약간 더 뛰어나지만 날카로운 물체에 닿으면 부분적으로 손상될 수 있습니다. 그러므로 코팅 품질과 내마모성은 무시할 수 없는 문제입니다. 과거에는 코팅 제조가 기계적 접착에 더 치중했습니다. 지난 몇 년 동안 일부 사람들은 화학적 접착이라는 개념을 제안했습니다. 즉, 경화되지 않은 엘라스토머 표면에 코팅 재료를 부착하여 경화 전에 화학 결합을 형성하여 내마모성과 접착력을 향상시키는 것입니다.

금도금 공정: 내마모성 향상

이에 대응하여, 우리는 내마모성을 향상시키기 위해 새로운 코팅 최적화 솔루션인 금도금 공정을 제안했습니다. 주요 공정은 금속 호일을 엘라스토머에 부착하여 얇은 코팅을 형성하는 것입니다. 이 솔루션은 접착 강도를 이중으로 최적화합니다. 즉, 금속 호일 표면의 과산화물과 아크릴 테이프(메틸 메타크릴레이트)가 사슬 중합 반응을 일으켜 화학 결합을 형성합니다. 또한, 엘라스토머와 금속 호일은 반데르발스 힘을 형성합니다.

기존의 분무 및 금속 스퍼터링 공정과 비교했을 때 금도금은 하드웨어 비용, 준비 비용 및 시간 손실 측면에서 상당한 이점이 있습니다. 예를 들어, 분무 과정과 분무기 세척의 번거로움이 크게 단순화되어 센서 준비 주기가 단축됩니다. 또한, 새로운 공정은 기능층의 내마모성을 향상시킬 뿐만 아니라, 숙련된 작업을 통해 전체 접점 모듈의 준비 시간을 5~10분으로 단축할 수 있습니다. 금박 공정의 또 다른 중요한 장점은 유지 관리가 쉽다는 것입니다. 코팅 표면은 일반적으로 직물이나 의료용 테이프와 같은 보호층으로 부착됩니다. 이러한 보호층의 두께는 촉각적 민감도와 미세한 질감 매핑에 영향을 미치지만, 금박 공정은 손상된 코팅에 대한 2차 작업을 허용하므로 유지 관리에 유리합니다.

와이어 드로잉 공정: 연성 향상

그러나 실제 적용에서는 금속 호일 자체가 연속 코팅이기 때문에 압착 과정에서 균열이 쉽게 발생한다는 것을 발견했습니다. 우리는 금속 호일 입자의 지속적인 축적이 거시적 규모에서 연속적인 코팅을 형성할 수 있고, 이를 통해 코팅의 연성을 향상시킬 수 있다고 믿습니다. 그래서 우리는 금도금 공정을 개선하고 와이어 드로잉 공정을 제안했습니다.

우리는 금속 호일을 늘립니다. 풍부한 슬립 시스템을 가지고 있기 때문에 플라스틱 변형 과정에서 미세한 입자가 형성될 수 있습니다. 인장강도가 높을수록 입자가 더 미세해집니다. 다양한 금속은 서로 다른 슬립 시스템과 서로 다른 입자 크기를 가지고 있기 때문에 우리는 구리 호일, 알루미늄 호일, 은 호일을 사용하여 실험을 진행했습니다. 전자 현미경으로 관찰한 미세 구조는 다음과 같습니다.

* 구리 호일: 알루미늄 호일과 은 호일만큼 슬립 시스템이 풍부하지 않기 때문에 스트레칭 과정에서 입자가 비교적 거칠어지며, 이는 촉각적 이미지의 연속성에 영향을 미칩니다.

* 알루미늄 호일과 은 호일: 늘린 후 입자가 매우 미세하고 나노 스케일의 입자 분포를 가지고 있어 촉각 이미징의 공간 분해능을 크게 향상시킵니다.

우리는 브러시 코팅을 현재 주류를 이루는 분무 공정과 금속 스퍼터링과 비교했습니다. 아래 그림에서 볼 수 있듯이, 우리의 프로세스는 텍스처 매핑 효과 측면에서 가장 뛰어납니다.

아래 그림에서 보듯이, 얇은 코팅은 압착 시 쉽게 깨지며, 날카로운 물체로 압착할 경우 파열 속도와 범위가 더 빠릅니다. 그러나 입자가 있는 브러시 코팅은 불규칙한 변형에 대한 저항성이 더 강한 것으로 나타났으며, 이는 입자가 있는 코팅 공정이 얇은 코팅의 연성을 향상시킨다는 것을 나타냅니다.

이중 접착 강화 후 코팅의 내마모성을 평가하기 위해 내마모성 시험을 수행하였고 코팅 미세구조 변화를 기록했습니다. 결과는 브러시 코팅의 입자가 마모 과정 중에 더 미세해지고, 전체적인 마모가 균일하다는 것을 보여줍니다. 분무 코팅은 접착력이 약하고, 마모 과정에서 부분적으로 떨어져 나가 주변에 쌓여 움푹 패인 곳이 생기기도 합니다.

시각적 촉각 영상 최적화: 시각적 촉각 영상의 견고성 향상

또한, 개선된 코팅으로 인해 시각-촉각적 이미지의 견고성도 어느 정도 향상됩니다.

시각-촉각 감지에서는 이미징 거리가 매우 짧고, 많은 이미징이 거시적 이미징입니다. 이 경우, 누를 때마다 이미징 거리가 바뀌어 이미징 편차가 발생합니다. 또한, 센서를 설계할 때 미리 설정된 이미징 거리와 실제로 사용하는 이미징 거리 사이에 차이가 있을 수 있으며, 둘 다 이미징 선명도가 충분하지 않은 결과를 초래합니다. 이러한 문제를 해결하기 위해 우리는 교정 모듈과 초점 모듈을 포함하는 영상 조정 시스템을 개발했습니다.

영상 조정 시스템에서 영상 교정 모듈은 글로벌 검색 전략을 채택하여 조정 간격을 앞당기고 초점 거리를 단축하는 동시에 합리적인 조정 값을 레이블로 결정하는 데 도움을 줍니다. 포커싱 모듈은 두 가지 방법을 사용합니다. 3점 피팅을 기반으로 하는 초점 심도 방법과 딥러닝을 기반으로 하는 초점 심도 방법입니다. 전자는 정확도는 높지만 속도가 느리고, 후자는 속도는 빠르지만 정확도는 약간 낮습니다. 이는 종단간 조정 방법입니다.

시각-촉각 감지는 이미지 메커니즘에 의존하므로, 우리는 주로 초점을 맞추는 기준으로 이미지 선명도를 사용합니다. 아래 그림에서 보듯이, 이상적인 영상 선명도 평가 곡선은 편향되지 않고 단봉형(빨간색 곡선)이어야 합니다. 그러나 실제 초점 환경에서는 빛이 고르지 않은 경우가 많고(파란색 곡선) 국소적인 초점 피크에 빠지게 됩니다.

폐쇄된 환경에서 시각-촉각 감지를 사용하면 외부 간섭 요소를 줄이고 이미징 곡선을 이상적인 상태에 더 가깝게 만들 수 있습니다. 이를 위해 우리는 교정 플랫폼을 구축하고 시각-촉각 감지의 이미징 곡선을 테스트하여 이 센서에 적합한 이미지 기울기 계산 방법을 탐색했습니다. 결과에 따르면 테넨그라드 기울기 계산 방법이 센서에 더 적합하며, 피팅 곡선은 특히 후속 초점 평가에 중요한 불편성과 단일 모드성을 포함한 5가지 핵심 속성을 가지고 있습니다.

일반적으로 우리는 무작위로 초기 초점 값을 설정하고 가볍게 누른 후 이미징을 보정하여 선명한 이미지를 얻고 이미징은 여전히 허용 범위 내에 있습니다.

또한, 센서 설계 단계에서 동적으로 변화하는 감지 영역을 고려하여 특정 시나리오에 맞게 이미징 거리를 확장하거나 축소해야 합니다. 영상 촬영 거리가 늘어나면 감지 영역도 확장되어 동적 응답 영상 초점을 사용하여 전반적인 설계를 단순화합니다. 다음 그림과 같이:

초점 정확도를 테스트하기 위해 밀도와 질감이 다른 세 가지 물체를 사용하여 실험을 수행했습니다. 결과에 따르면 두 가지 보정 방법 모두 예상 결과에 가까웠으며, 영상 조정 정확도가 99.5% 이상이고 동적 인식 작업에서 실시간 초점이 구현되었습니다.

온도 감지 레이어 최적화: 분산 모달 설계

온도 감지층의 최적 설계와 관련하여 현재 상대적으로 연구가 부족한 상황이며, 주로 사용되는 방법은 센서의 기능층에 온도 감지 소재를 추가하는 것이다. 예를 들어, 열가소성 분말이나 열가소성 오일을 첨가하는 방식이다. 예비 이미징 결과를 보면, 이 방법의 색상 정보는 질감 정보와 융합된 것으로 보입니다. 하지만 온도와 질감 사이에는 직접적인 상관관계가 없습니다. 적절한 특징 추출이나 분리 없이 이미지에서 이러한 관련 없는 특징을 융합한 다음 인식을 위한 모델에 입력하는 것은 비합리적입니다.

이 문제를 해결하기 위해 우리는 열감응층과 코팅에 대한 분산 모달 설계를 수행했는데, 여기서 두 영역의 크기는 특징 추출 메커니즘과 일치합니다. 이에 대해서는 나중에 자세히 설명하겠습니다.

내부 구조 최적화: 소형화로 센서 집적도 향상

시각-촉각 센서의 소형화 필요성을 고려하여, 센서의 집적도를 높이기 위해 센서의 크기를 줄이는 것이 목표입니다. 미세한 이미징 기술의 발달 덕분에 이미지 크기를 효과적으로 줄이고 센서의 내부 구조를 모듈화할 수 있었습니다. 자주 장착되지 않는 구성 요소를 통합함으로써 조립과 분해를 용이하게 하고 공간을 최대한 활용할 수 있습니다. 다양한 커넥터와 결합하면 소형 시각-촉각 센서를 다양한 조작기에 통합하여 높은 통합성과 높은 호환성을 달성할 수 있습니다.

시각적 및 촉각적 시뮬레이션

우리의 방법은 시각 촉각 센서 코팅의 내마모성을 향상시키지만, 수천 번 사용하면 여전히 마모가 발생합니다. 이런 경우에는 대규모 데이터 수집이 필요하며, 수작업에만 의존하는 것은 현실적으로 불가능합니다. 따라서 우리는 탄성체의 변형을 시뮬레이션하기 위해 태극권 언어와 MLS-MPM 방법을 주로 기반으로 시각-촉각 시뮬레이션에 대한 연구를 수행했습니다.

탄성 시뮬레이션은 주로 입자를 사용하여 탄성체와 압입자를 표현하고, 각 시뮬레이션 단계 동안 입자의 물리적 특성(운동량, 질량 등)을 그리드로 전달합니다. 그런 다음 그리드 노드와 입자의 이전 상태를 사용하여 입자의 상태가 업데이트됩니다. 시뮬레이션이 완료되면 깊이 정보를 얻을 수 있습니다. Tacchi는 관절 시뮬레이션을 위해 다른 로봇과 연결될 수도 있습니다. 프레싱 과정에서 입자는 프레임별로 바뀌고, 최종적으로 입자 깊이 맵이 형성되어 렌더링됩니다. 또한 Touch 2.0에서는 입자와 메시 간의 상호 정보 전달 메커니즘을 추가하고, 미끄러지는 물체의 시뮬레이션을 개선했으며, 광선 추적을 사용하여 렌더링의 사실감을 높여서 새로운 버전은 Touch 1.0보다 세부적인 면에서 더욱 정교해졌습니다.

로봇 인식 작업

하드웨어와 시뮬레이션을 기반으로 시각 및 촉각 센서는 다양한 지각 분야로 확장되고 있습니다. TactEdge 머신은 다양한 분야의 인식 문제를 해결하는 데 사용됩니다. 우리는 로봇 운영에도 흥미로운 시도를 하고 있습니다.

원단 인식: 원단 결함 감지에 사용 가능

직물은 섬세한 질감과 뚜렷한 기하학적 특징을 가지고 있기 때문에 초기에는 시각-촉각 센서의 질감 매핑 효과를 검증하는 데 사용되었습니다. 하지만 코팅된 시각적 촉각 센서는 원단을 누를 때 색상 정보를 걸러냅니다. 기하학적 정보는 간접적으로 추출되지만, 색상 역시 직물에 있어서 마찬가지로 중요합니다. 이를 위해 우리는 동일한 질감이지만 색상이 다른 샘플에서 코팅된 센서와 6세대 시각-촉각 센서의 성능을 비교했습니다. 아래 그림에서 보듯이, 시각과 촉각을 통합한 코팅 센서의 정확도는 크게 향상되었으며, 시각적 정보와 촉각적 정보를 모두 얻을 수 있습니다.

원단 결함 감지는 결함으로 인해 가치 감소가 발생할 수 있으므로 매우 중요합니다. 직물의 염색 패턴은 알고리즘의 다양성과 복잡성에 심각한 영향을 미칩니다. 인간의 중요한 지각 능력 중 하나인 촉각은 물체 표면의 색상에 영향을 받지 않으며, 시각을 보조하여 우리가 물체를 인식하는 데 도움을 줄 수 있습니다. 따라서 우리는 직물 결함 탐지에 터치를 도입하고 교차 검증을 위해 9개의 직물 샘플을 사용했습니다. 실험 결과에 따르면, 촉각 모드에서의 인식 정확도가 시각 모드보다 높았으며, 특히 특정 질감을 인식하는 데 효과적이었습니다.

직물의 질감 정보가 지배적이며 결함 있는 부분을 판별하는 데 영향을 미치므로, 주요 결함 영역에 집중하고 결함 있는 부분의 인식 정확도를 높이기 위해 주의 메커니즘을 도입했습니다.

투명 물체 인식: 유리 인식 정확도 99% 이상 달성

직물 외에도 투명한 물체의 질감을 인식하는 것은 매우 어렵습니다. 투명한 특성과 반사광의 영향으로 인해 시각적 상황에서는 인식에 오류가 발생할 수 있습니다. 따라서 우리는 촉각 메커니즘을 도입하고, 촉각 데이터를 수집하고, 촉각 플랫폼을 구축합니다. 수집된 유리잔에 그 자체의 온도 특성의 영향을 고려하여 뜨거운 물이나 얼음을 넣어 온도를 조절하고, 촉각적 이미지를 수집하여 필요한 촉각적 형태로 가공합니다.

앞서 언급했듯이, 촉각 인식에는 일반적으로 온도와 질감 정보가 포함됩니다. 일반적인 인식 방법은 두 가지를 개별적으로 식별하고 서로 다른 단일 모델을 융합하여 두 가지 특징의 추출과 분리를 강화하는 것이지만, 불규칙한 융합이 발생할 수 있습니다.

따라서 우리는 계층적 영역 특징 추출 메커니즘을 제안했다. 이 메커니즘은 열감응층과 온도층의 지역적 분포가 특정 크기에 따라 분포되도록 보장하고, 이 특정 크기를 합성곱 크기와 일치시키며, 합성곱 슬라이딩 과정에서 각 영역에서 독립적인 특징 추출을 실현하여 혼합 융합 추출을 피할 수 있습니다. 또한, 지역적 특징이 추출되는 동안 후속 특징 맵의 각 모달 영역은 초기 영역과 모달 매핑을 형성하고, 벡터화 처리와 결합하여 관련 없는 모달 특징의 분산 병렬 처리를 달성할 수 있습니다.

질감 특징과 온도 특징의 학습 난이도가 다르다는 점을 고려하여, 우리는 계층적 인식 메커니즘을 통합하여 다양한 심층 네트워크 모듈을 할당하고 정보 처리를 심화했습니다. 이러한 계층적 메커니즘은 복잡한 기능을 효과적으로 학습할 수 있습니다.

아래 그림에서 보듯이, 기존의 단일 모델은 질감과 온도 정보를 효과적으로 처리하지 못합니다. 따라서 개인 인식에 있어서 온도 인식 정확도는 낮습니다. 전반적인 인식에서 이미지의 질감 인식이 지배적이기 때문에 모델은 관련 없는 특징을 강제로 결합하고 매핑하여 온도 인식을 향상시킵니다. 하지만 우리의 메커니즘(LRFE-Net)은 전체 인식과 개별 인식 모두에서 일관된 정확도를 유지합니다. 또한, 우리의 방법은 다중 모델 인식과 비교했을 때 시간 효율성도 향상됩니다.

요약하자면, 우리는 시각적 모드에서 투명한 물체의 외관 속성을 얻고, 촉각적 모드에서는 그 물체의 질감이나 온도 속성을 얻습니다. 다음으로, 우리는 의사결정 융합을 사용하여 이 두 모드에서 얻은 속성을 융합하고 투명한 객체 인식에 함께 작업할 수 있습니다. 예를 들어, 우리의 방법은 유리컵에 대해 99% 이상의 시각적, 촉각적 인식 정확도를 달성했습니다.

농업 응용 분야: 과일 품질 테스트

농업 분야에서는 과일 품질 검사에 시각-촉각 감지 기술을 확장하여 변형 차이를 이용해 과일의 부드러움과 단단함, 그리고 국소적 부패 정도를 평가합니다.

압력이 가해졌을 때 물체의 경도가 다르게 변형되는 것처럼, 표시와 힘 사이에도 관계가 있습니다. 이러한 촉각의 접촉 메커니즘을 완벽하게 표현하려면 아마도 매우 큰 데이터 세트와 복잡한 모델이 필요할 것입니다. 하지만 실제 운용 작업에서는 힘의 값을 정확하게 측정할 필요는 없습니다. 특정 작업의 필요 사항을 충족시키기 위해서는 접촉점의 변형 추세를 이해하는 것만으로 충분합니다. 따라서 우리는 다음 그림에 표시된 것처럼 2단계 적응형 크롤링 전략을 제안했습니다. 전략은 주로 두 단계로 나뉩니다.

* 사전 파악 단계: 촉각적 탐색을 통해 시각 촉각 센서와 물체가 안정적인 미세 접촉 상태에 도달하도록 하여 물체의 속성에 대한 예비적 이해를 구축할 수 있습니다.

* 안정성 조정 단계: 이 단계는 미세 변형의 동적 감지를 기반으로 움켜쥐기의 안정성을 결정하여 시각적 촉각 센서와 물체가 동적 상대적 안정 상태에 도달할 수 있도록 하며, 이는 물체의 속성에 대한 인식을 강화할 수 있습니다.

이 전략은 사과, 계란, 스펀지, 캔 등을 잡는 것과 같이 다양한 잡기 요구에 맞춰 적용될 수 있습니다. 아래 그림에서 볼 수 있듯이, 계란을 잡기 전 단계에서 로봇은 천천히 움직여 물체의 속성을 미리 인식합니다. 그런 다음 안정성 조정 단계에서는 계란의 무게가 가볍기 때문에 시스템에 큰 개입 없이 약간의 조정만으로 파악 작업을 완료할 수 있습니다.

스펀지와 같은 소재의 경우, 사전 파악 단계에서 비교적 안정적인 접촉 상태를 형성할 수 있으므로, 시스템을 더 이상 조정할 필요가 없습니다. 이와 대조적으로 캔은 무거운 물체이기 때문에 처음 잡는 동안 완전히 안정된 상태에 도달할 수 없습니다. 안정성 조정 단계에서 캔이 미끄러지는 경향이 있습니다. PD 컨트롤러는 안정성 요구 사항이 충족될 때까지 미세하게 조정하고, 전체 조정 프로세스는 종료됩니다.

아래 그림에서 볼 수 있듯이, 다양한 물체에 대한 파악 테스트를 통해 제안하는 2단계 적응형 파악 전략이 매우 견고하고 다양한 다중 속성 물체에 대해 안정적이고 신뢰할 수 있는 파악 작업을 달성할 수 있음을 알 수 있습니다.

앞으로도 촉각과 섬세한 조작의 융합을 계속 탐구하여 로봇의 인간형이고 정밀한 조작을 실현하고자 노력할 것입니다.

앞으로도 HyperAI는 체현된 터치 커뮤니티가 온라인 공유 활동을 지속하고, 국내외 전문가와 학자를 초대하여 최첨단 결과와 통찰력을 공유할 수 있도록 지원할 것입니다. 기대해주세요!