자동화된 방식으로 인간의 감정과 정신 상태를 추정하는 데는 여러 어려움이 있습니다. 이 어려움에는 시간적 해상도가 낮거나 없는 라벨로부터 학습, 데이터가 적은 소수의 데이터셋(종종 보안 제약으로 인해)에서 학습, 그리고 매우 긴 자연 환경 영상 등이 포함됩니다. 이러한 이유로, 딥러닝 방법론은 종종 과적합을 일으키며, 즉 최종 회귀 작업에서 일반화 성능이 저조한 잠재 표현에 도달하게 됩니다. 이를 극복하기 위해 본 연구에서는 두 가지 보완적인 기여를 소개합니다. 첫째, 다중 라벨 회귀 및 서열 문제에 대한 새로운 관계 손실 함수를 제안합니다. 이 손실 함수는 배치 라벨 간 거리를 잠재 특성 공간의 거리와 일치시키는 방식으로 라벨 벡터 간의 상호 관계 정보를 활용하여 더 나은 잠재 표현을 학습하도록 규제합니다. 둘째, 이웃 클립의 특성을 시간적 맥락으로 사용하여 각 클립에 대한 대상을 추정하는 두 단계 주의 구조를 활용합니다. 우리는 연속적인 감정 추정 문제와 조현병 심각도 추정 문제 모두에서 제안된 방법론을 평가하였는데, 이 두 문제 사이에는 방법론적 및 문맥적 유사성이 존재합니다. 실험 결과는 제안된 방법론이 모든 기준선을 초월함을 입증하였습니다. 조현병 분야에서는 제안된 방법론이 이전 최고 수준의 성능보다 크게 우수하며, PCC(Pearson Correlation Coefficient)에서 최대 78%의 성능을 달성하여 인간 전문가(85%)에 가까운 성능을 보였으며, 이전 연구들보다 최대 40% 향상되었습니다. 감정 인식 분야에서는 OMG와 AMIGOS 데이터셋 모두에서 CCC(Concordance Correlation Coefficient) 측면에서 이전 시각 기반 방법들을 능가하였습니다. 특히 AMIGOS 데이터셋에서는 각각 흥분도(arousal)와 쾌불감(valence)에 대해 이전 최고 수준(SoTA) CCC보다 9%와 13% 각각 향상되었으며, OMG 데이터셋에서는 각각 흥분도와 쾌불감에 대해 이전 시각 연구들보다 최대 5%씩 우수한 성능을 보였습니다.