다중모달 LLM 기반 에이전트는 최근 웹 탐색 분야에서 놀라운 성능을 보여주며, 다양한 도메인에서 복잡한 브라우징 작업을 수행할 수 있는 능력을 입증했다. 그러나 기존의 에이전트는 반복적인 오류에 취약하고, 세션 간 경험을 학습할 수 있는 능력이 부족하여 장기적인 견고성과 샘플 효율성이 제한된다. 본 연구에서는 재학습 없이도 지속적인 장기 계획, 반성, 그리고 지속적 학습이 가능한, 모델에 종속되지 않는 자기진화형 프레임워크인 WebCoach를 제안한다. WebCoach는 웹 브라우징 에이전트에 세션 간 지속적 메모리를 부여함으로써, 복잡한 브라우징 작업에서의 견고성을 향상시킨다. WebCoach는 세 가지 핵심 구성 요소로 구성된다. (1) WebCondenser: 원시 탐색 로그를 간결한 요약으로 표준화하는 모듈; (2) 외부 메모리 저장소(External Memory Store): 완전한 탐색 경로를 에피소드 경험으로 체계화하는 저장소; (3) 코치(Coach): 유사성과 최신성 기반으로 관련된 경험을 검색하고, 런타임 훅을 통해 작업에 특화된 조언을 에이전트에 주입할지 여부를 결정하는 모듈이다. 이러한 설계는 에이전트가 원래의 컨텍스트 창을 넘어서 장기 기억에 접근할 수 있도록 하여, 복잡한 브라우징 작업에서의 안정성을 높인다. 또한 WebCoach는 새로운 탐색 경로로부터 지속적으로 에피소드 메모리를 정제함으로써 자기진화(self-evolution)를 달성하며, 재학습 없이도 시간이 지남에 따라 성능이 향상되는 가능성을 제공한다. WebVoyager 벤치마크에서의 평가 결과, WebCoach는 세 가지 다른 LLM 백본을 사용한 브라우저 사용 에이전트 모두에서 성능을 지속적으로 향상시킴을 입증했다. 38B 규모의 모델을 사용할 경우, 작업 성공률을 47%에서 61%로 높였으며, 평균 단계 수는 감소하거나 유지하였다. 특히 WebCoach를 적용한 소규모 기반 모델은 GPT-4o를 사용하는 동일한 웹 에이전트와 비슷한 성능을 달성하는 것으로 나타났다.