개 일자리 검색: AI 면접, 인간 보조, 미국 연구소, 628마리 래브라도 데이터 활용해 후각 감지견 선발 효율성 향상

내용을 한눈에 보기:개는 후각이 예민해서 어려운 작업을 수행하는 데 큰 도움이 됩니다. 하지만 작업견을 선발하려면 엄격한 선별과 훈련이 필요하며, 도태율이 매우 높습니다. 지도 학습과 업무 데이터를 사용하면 인간의 업무 성과를 예측할 수 있지만, 개에 대한 이와 유사한 연구는 발견되지 않았습니다.

키워드:워킹독스 지도 학습 머신러닝 랜덤 포레스트

저자: daserney

편집자 | 산양

본 기사는 HyperAI WeChat 공개 플랫폼에 처음 게재되었습니다.~

개는 공원의 녹지나 거리와 골목 모퉁이에서 자주 볼 수 있습니다. 인간의 동반자일 뿐만 아니라 기쁨과 위로를 가져다주는 존재로서,또한 조용히 중요한 일을 하며 인간 사회에 봉사하는 특별한 개들도 많이 있습니다. 그들은 작업견이라고 불린다.

작업견에는 군용견, 경찰견, 수색 및 구조견, 서비스견 등 다양한 종류가 있으며, 각 종류는 여러 전문 분야로 나뉩니다. 그 중 후각 탐지견의 주된 임무는 뛰어난 후각을 이용해 폭발물, 마약 등 다양한 특정 물질을 감지하는 것입니다.저것후각은 인간 사회의 안보를 보호하는 데 대체할 수 없는 역할을 합니다.

훈련되지 않은 작업견의 가격은 대부분 4만 달러에서 8만 달러 사이이며, 훈련 비용을 고려하면 가격은 두 배로 늘어날 수 있습니다. 하지만,작업견의 전반적인 훈련 성공률은 50%보다 낮으며, 더 효과적인 선발 및 훈련 방법을 개발할 시급한 필요성이 있습니다.

최근, 전국 어린이 병원의 아비게일 웩스너 연구소의 알렉산더 W. 에어와 로키 비스타 대학의 이사인 자파타를 포함한 연구자들은 교통 안전청의 후각 감지 팀에 속한 628마리의 래브라도 리트리버의 데이터를 사용하여 세 가지 모델을 비교했습니다.사냥개가 사전 훈련을 통과하고 정식 훈련 단계에 진입할 수 있을지 여부를 예측하고, 냄새 감지견의 성능에 영향을 미치는 행동 특성을 발견합니다.

해당 연구는 "개 후각 감지 프로그램에서의 행동 선택에 대한 머신 러닝 예측 및 분류"라는 제목으로 Scientific Reports 저널에 게재되었습니다.

연구 결과는 다음에 게재되었습니다.과학 보고서》

서류 주소:

https://www.nature.com/articles/s41598-023-39112-7#Sec8

실험 방법 

데이터 소개: AT + Env가 사냥개 성능을 예측합니다 

연구 데이터는 2002년부터 2013년까지 교통안전청(TSA)이 실시한 냄새 탐지견 번식 및 훈련 프로그램에서 얻은 것입니다.이 데이터 세트에는 15개월의 위탁보호 기간 동안 3개월마다 두 번씩 테스트를 거친 628마리의 래브라도 리트리버에 대한 점수가 포함되어 있습니다.

테스트 1:공항 터미널(AT) 테스트. AT 테스트는 비어 있는 모의 공항 터미널에서 실시되었습니다. 직원들이 사냥개를 모의 공항 터미널로 이끌고, 무작위로 흩어져 있는 용기에서 향기가 나는 수건을 찾고 장난감과 상호 작용했습니다. 이 테스트는 향기가 나는 수건을 식별하고, 직원, 수건, 장난감 등과 상호 작용할 때의 성과를 측정하여 사냥개의 훈련 잠재력을 보여줍니다.

테스트 2: 기지 주변의 다양한 위치에서 실시한 환경(Env) 테스트.이 테스트는 직원의 안내에 따라 사냥개를 돌아다니게 하고, 수색을 시도하고, 시끄럽고 혼잡한 환경 속에서 장난감과 직원과 상호 작용하게 하는 것을 포함합니다. 테스트 장소로는 분주한 선물 교환 매장(BX), 시끄럽고 어두운 밀폐된 목공 작업장(Woodshop), 차량과 소음이 있는 화물 구역(Airport Cargo), 그리고 다양한 공항 터미널(Airport Terminal)이 포함됩니다. 이 테스트는 AT 테스트를 보완합니다. 왜냐하면 AT 테스트에서는 사냥개의 주의를 분산시킬 다른 인원이 없기 때문입니다.

표 1: 사냥개 특성 및 점수 설명

AT = 공항 터미널 테스트, E = 환경 테스트, B = 둘 다.

 

3개의 예측 모델과 2개의 기능 스크리닝 방법 사용 

이 연구에서는 사냥개의 행동 테스트 성과를 바탕으로 사전 훈련 선택의 성공률을 예측하기 위해 세 가지 서로 다른 지도 학습 알고리즘을 사용했습니다.사용된 알고리즘으로는 랜덤 포레스트, 지원 벡터 머신, 로지스틱 회귀 등이 있습니다.

이 연구에서는 또한 주성분 분석(PCA)과 교차 검증을 통한 재귀적 특징 제거(RFECV) 방법을 사용했습니다.냄새 감지견의 성능에 영향을 미치는 중요한 행동 특성을 파악합니다.

그 중 PCA는 가장 중요한 변수를 식별하여 데이터의 차원을 줄이는 통계 기법입니다. RFECV는 가장 중요한 특징을 걸러내기 위해 중요하지 않은 특징을 재귀적으로 제거하는 머신 러닝 알고리즘입니다.

실험 결과

하운드 합격률 예측: AT 시험 결과가 더 좋습니다 

아래 그림 A와 같이 AT 테스트에서는일반적으로 모델의 예측 능력은 시간이 지남에 따라 향상됩니다.12개월차 테스트 데이터에서는 랜덤포레스트 모델의 성능이 가장 뛰어납니다.정확도는 87%에 도달했으며, AUC(곡선 아래 면적)는 0.68이었습니다.로지스틱 회귀 모델의 성과는 약간 떨어졌습니다.하지만 전반적으로는 여전히 좋은 성과를 보였습니다. 하지만,지원 벡터 머신 모델의 결과는 상대적으로 불안정합니다.이는 주로 사냥개를 통과하지 못한 리콜을 예측하는 성능이 좋지 않기 때문입니다.

표 2: 세 모델의 성능 - A

아래 그림 B에서 보듯이 Env 테스트에서는예측 결과가 완벽하지 않습니다.이는 Env 테스트에 참여한 사냥개의 평균 수가 AT 테스트(56% 대 73%)에 비해 상대적으로 적었기 때문일 수 있습니다. 일반적으로,로지스틱 회귀 모델의 성과가 더 좋았습니다.4개의 시점에서 사냥개의 실패를 예측하는 지원 벡터 머신의 F1은 매우 낮았습니다.

3가지 모델 모두 3개월차에 가장 높은 정확도(0.82-0.84)를 보였고, Hound가 통과한 예측에 대한 높은 F1 점수(0.90-0.91)를 보였습니다. 그러나 3개월차에 사냥개 실패를 예측하는 성과는 좋지 않았습니다(F1≤0.10).

표 2: 세 모델의 성능 - B

로지스틱 회귀:

지원 벡터 머신:

랜덤 포레스트:

A: 공항 터미널 테스트, AT 테스트

B: 환경 시험, Env 시험

M03, M06, M09, M12는 각각 시험 기간이 3개월, 6개월, 9개월, 12개월임을 나타냅니다.

그림에서 / 전 데이터는 사전 훈련을 통해 사냥개를 선발한 결과를 나타내고, / 후 데이터는 사전 훈련을 하지 않고 사냥개를 선발한 결과를 나타냅니다.

영향 특성: 소유 특성, 자신감, H2가 더 큰 영향을 미칩니다. 

연구자들은 주성분 분석(PCA)과 교차 검증을 통한 재귀적 특징 제거(RFECV)를 사용하여 서로 다른 시점에서 예측에 가장 중요한 특징이 무엇인지 확인했습니다.다음 그림은 AT 검정과 Env 검정에서 PCA의 결과를 보여줍니다.

그림 1: 주성분 분석 결과

에이:  공항 터미널 테스트, AT 테스트

비:  환경 시험, Env 시험

수평축 특성의 약어는 표 1의 약어와 일치합니다.

위의 그림 a에서 보듯이, AT 테스트에서 3개월과 6개월의 테스트 데이터는 가장 큰 영향을 미치는 특징이 H1/2(숨김 1/2)인 반면, 9개월과 12개월의 테스트 데이터에서는 신체적 소유(PP)가 가장 큰 영향을 미치는 것으로 나타났습니다. 위의 그림 b는 Env 테스트에서 장난감의 독립적 소유(IP)가 모든 시점에서 가장 큰 효과를 보였다는 것을 보여줍니다.

재귀적 특징 제거(RFECV)는 특정 특징 변수를 추가하거나 제거하여 모델 성능을 극대화하는 최적의 변수 조합을 얻는 특징 선택 기법입니다.이 연구에서는 RFECV를 랜덤 포레스트와 함께 사용했습니다.

표 3: 교차 검증(RFECV)을 통한 재귀적 특징 제거 결과

에이:  공항 터미널 테스트

비:  환경 테스트

값은 각 기능의 발생 비율을 나타내며 범위는 0~100입니다.

특징적인 약어는 표 1의 약어와 일치합니다.

위의 그림 A에서 보듯이, 공항 터미널 테스트에서는 모든 점유율 특성(MP, PP, IP)과 H2가 가장 중요합니다.

위의 그림 B는 환경 시험에서 신뢰도(Conf)가 3개월과 6개월에서 가장 중요함을 보여줍니다(100% 및 88.7%). 독립 소유(IP)는 9개월(93.3%)에서 가장 중요합니다. 그리고 물리적 소유(PP)가 12개월 때 가장 중요합니다(80.7%).

요약하자면, 결과는 H2, IP, Conf와 같은 일부 특성이 더 큰 영향을 미칠 수 있음을 보여줍니다.그러나 데이터 세트의 크기가 작고 기능의 종류가 제한적이기 때문에 이 연구에서는 사전 훈련 선택을 성공적으로 통과한 사냥개와 행동 문제로 인해 실패한 사냥개를 식별하는 데 여전히 몇 가지 문제가 있었습니다. 이것에도 불구하고,예측 과정은 추가적인 행동 특성, 의료 정보 및 기타 유형의 종단적 데이터를 통합함으로써 더욱 개선되고 확장될 수 있습니다.

작업견을 중심으로 한 과학 연구 기관

이 연구의 저자인 엘리자베스 헤어가 근무하는 펜실베이니아 수의학 작업견 센터는 작업견 분야의 선구자로서, 냄새 감지견의 성능을 최적화하기 위해 최신 과학적 발견과 수의학적 전문 지식을 연구하고 응용하는 데 앞장서고 있습니다.9/11 테러 당시 수색 및 구조견의 뛰어난 성과에 영감을 받아, 이 조직은 2012년 9월 11일에 국가 수색 및 구조견 연구 개발 센터라는 이름으로 설립되었습니다.

대리점 주소:

https://www.vet.upenn.edu/research/centers-laboratories/center/penn-vet-working-dog-center

펜실베이니아 수의과대학 근무견 센터는 유전적, 행동적, 신체적 건강 데이터를 수집, 분석하고 이를 최신 과학 연구와 결합하여 근무견의 업무 효율성과 삶의 웰빙을 개선함으로써 사람, 동물, 환경의 건강과 안전을 보호하기 위해 개와 함께 일하는 데 전념합니다.이 회사의 업무에는 작업견을 위한 훈련 및 개발 프로그램을 개발하고 실행하는 것뿐만 아니라, 미래의 과제를 더 잘 해결하기 위해 연구 결과를 테스트하고 보급하는 것도 포함됩니다.

참조 링크:

[1]https://zhuanlan.zhihu.com/p/384069169

[2]https://blog.csdn.net/qq_35218635/기사/세부정보/110001554

[3]https://zhuanlan.zhihu.com/p/626862784

[4]https://zhuanlan.zhihu.com/p/359006952