프로파일 인지형 LLM-aja-재를 활용한 팟캐스트 추천 평가

개인화된 추천의 평가 는 여전히 핵심적인 과제로 남아 있으며, 특히 청취 기록이 장기간에 걸쳐 형성되는 팟캐스트와 같은 장문 오디오 콘텐츠 영역에서는 기존의 오프라인 평가 지표가 노출 편향(Exposure Bias) 문제를 겪고, A/B 테스트와 같은 온라인 평가 방법은 비용이 크고 운영적 제약이 크다는 점에서 어려움을 겪는다. 본 연구에서는 대규모 언어 모델(Large Language Models, LLM)을 오프라인 심사자로 활용하여 팟캐스트 추천의 품질을 확장 가능하고 해석 가능한 방식으로 평가할 수 있는 새로운 프레임워크를 제안한다. 제안하는 이중 단계(profile-aware) 접근법은 90일간의 청취 이력에서 추출한 자연어 기반 사용자 프로필을 구축한다. 이러한 프로필은 주제적 관심사와 사용자 행동 패턴을 종합적으로 요약하여 사용자 선호도를 간결하고 해석 가능한 형태로 표현한다. 원시 데이터를 직접 LLM에 입력하는 대신, 이러한 프로필을 활용해 고수준의 의미적 풍부한 맥락을 제공함으로써, LLM이 사용자의 관심사와 추천 에피소드 간의 일치도를 보다 효과적으로 추론할 수 있도록 한다. 이는 입력 복잡성을 감소시키고 평가 결과의 해석 가능성을 높인다. 이후 LLM은 프로필과 에피소드 간의 매칭을 기반으로 세밀한 점별(pointwise) 및 쌍별(pairwise) 평가를 수행하도록 유도된다. 47명의 참가자가 참여한 통제 실험에서, 본 연구의 프로필 기반 심사자는 인간의 판단과 높은 일치도를 보였으며, 원시 청취 이력을 사용한 변형 모델보다 성능이 우수하거나 동등했다. 본 프레임워크는 반복적인 테스트 및 추천 시스템의 모델 선택을 위한 효율적이고 프로필 인식형 평가를 가능하게 한다.