자율 UI 에이전트, 즉 인간과 동일한 방식으로 애플리케이션과 직접 상호작용하는 다중모달 에이전트의 잠재력을 실현하기 위해서는 신뢰성이 핵심이다. 사용자는 에이전트가 특정 작업을 성공적으로 수행할 수 있음을 신뢰할 수 있어야 하기 때문이다. 그러나 현재의 평가 방식은 고정된 환경, 특히 기존 앱의 복제본을 사용하는 경우가 많아, 에이전트가 특정 환경 내에서 작업을 수행할 수 있는지 또는 얼마나 자주 수행할 수 있는지에 대한 정보만 제공할 뿐이다. 그러나 실사용 환경에서는 앱의 디자인 및 콘텐츠에 다양한 변형이 발생할 수 있으며, 이러한 변화는 에이전트의 작업 수행 능력에 영향을 줄 수 있다. 이러한 앱 변형에 따른 에이전트 신뢰성 측정의 공백을 해결하기 위해, 우리는 외관과 콘텐츠를 구성할 수 있는 6개의 앱(메신저, 캘린더, 지도 등)을 포함한 가벼운 오픈소스 생태계인 OpenApps를 개발했다. OpenApps는 단일 CPU만으로도 실행이 가능해 각 앱에 대해 수천 개의 버전을 간편하게 생성하고 배포할 수 있다. 구체적으로, 7개의 주요 다중모달 에이전트에 대해 10,000개 이상의 독립적인 평가를 수행하여 신뢰성의 변동성을 분석했다. 그 결과, 고정된 앱 내에서의 표준 신뢰성은 비교적 안정적인 반면, 앱의 변형을 고려할 경우 신뢰성은 극심하게 변동하는 것으로 나타났다. 많은 에이전트의 작업 성공률은 앱 버전에 따라 50% 이상의 변동을 보였다. 예를 들어, Kimi-VL-3B의 모든 작업에 대한 평균 성공률은 앱 버전에 따라 63%에서 단 4%로까지 급락하는 것으로 확인되었다. 또한 에이전트의 행동 패턴, 예를 들어 반복적인 동작 또는 허구적 행동(허상)의 발생 빈도 역시 환경 구성에 따라 크게 달라지는 것으로 나타났다. 이러한 초기 결과는 앱 변형이라는 새로운 차원에서 에이전트의 신뢰성을 측정하는 것이 얼마나 중요한지를 강조한다.