시각언어모델(Vision Language Models, VLMs)은 공간 추론에서 핵심적인 의미-기하학적 간극을 보인다. 이러한 모델들은 정성적 의미 추론에서는 뛰어나지만, 고해상도 기하학적 구조와 일치하지 않는 손실이 발생하는 의미 공간 내에서 추론을 수행한다. 기존의 접근 방식은 이 간극을 해소하지 못하고 있다. 학습 기반 방법은 '오라클 역설(oracle paradox)'에 시달리며, 완전하지 않은 오라클로부터 오류가 있는 공간 논리를 학습한다. 도구 통합형 방법은 최종 계산을 제한하지만, 핵심적으로 VLM의 계획 과정을 제약하지 않아 기하학적으로 오류가 있는 계획을 생성하게 된다. 본 연구에서는 기하학적 제약을 도입한 학습 없이 작동하는 에이전트인 기하학적 제약 에이전트(Geometrically-Constrained Agent, GCA)를 제안한다. 이는 공식적인 작업 제약 조건을 도입함으로써 이 간극을 해결한다. 구체적으로, VLM의 역할을 두 단계로 전략적으로 분리한다. 첫 번째 단계에서는 의미 분석가로서 VLM이 사용자 쿼리의 모호함을 해소하여 공식적이고 검증 가능한 작업 제약 조건으로 변환한다. 이 제약 조건은 기준 좌표계와 목적을 정의한다. 두 번째 단계에서는 작업 해결자로서 VLM이 이 제약 조건이 정의한 결정론적 범위 내에서 도구 호출을 생성하고 실행한다. 이러한 기하학적 제약 추론 전략은 의미-기하학적 간극을 성공적으로 해소하며, 공간 추론을 위한 강건하고 검증 가능한 추론 경로를 제공한다. 포괄적인 실험을 통해 GCA는 여러 공간 추론 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 기존의 학습 기반 및 도구 통합형 방법보다 약 27% 높은 성능을 보였다.