AWARE: 요구사항 도출을 위한 앱 리뷰 기반의 감성 분석 데이터셋

스마트폰 앱 시장은 급속히 성장하면서 앱 소유주들에게 지속적인 제품 개선과 시장 경쟁을 위한 노력이 요구되고 있다. 사용자 피드백 분석은 이러한 개선을 위한 핵심 수단으로, 이해관계자들이 자신 및 경쟁사 제품의 성공과 실패 요인에 대해 포괄적인 이해를 얻는 데 활용될 수 있다. 이를 통해 근거 기반의 요구사항을 도출하고, 요구사항 도출 활동을 더욱 강화할 수 있다. 관점 기반 감성 분석(Aspect-Based Sentiment Analysis, ABSA)은 감성 분석의 한 분야로, 특정 관점(Aspect)을 식별하고 각 관점에 대해 감성(긍정, 부정, 중립)을 할당하는 기술이다. 관점 정보를 포함함으로써 의견에 대한 보다 정확한 이해가 가능해지며, 전반적인 감성 정보만을 사용할 때의 한계를 극복할 수 있다. 그러나 현재까지 ABSA는 스마트폰 앱 리뷰 및 요구사항 도출 맥락에서 아직 충분히 탐구되지 않은 분야이다.본 논문에서는 11,323건의 앱 리뷰를 포함하는 AWARE라는 벤치마크 데이터셋을 제안한다. 이 데이터셋은 각 리뷰에 대해 관점 용어, 관점 카테고리, 감성 정보를 주석화한 것으로, 생산성, 소셜 네트워킹, 게임 세 가지 도메인에서 수집되었다. 각 도메인에 대한 관점 카테고리는 콘텐츠 분석을 기반으로 도출하였으며, 도메인 전문가의 검토를 통해 중요성, 포괄성, 중복성, 세부 수준 등 측면에서 검증하였다. 관점 카테고리 및 감성 극성은 커뮤니티 기반 방식(Crowdsourcing)으로 주석화하였고, 품질 관리 절차를 수행하였다. 관점 용어는 부분 자동화된 자연어 처리(Natural Language Processing, NLP) 기법을 활용하여 주석화하였으며, 주석자 검토를 통해 검증한 결과, 98%의 정확도를 달성하였다. 마지막으로, 세 가지 작업에 대한 기계학습 베이스라인 모델을 구축하였으며, 이는 (i) 품사 태거(POS tagger)를 활용한 관점 용어 추출, (ii) 관점 카테고리 분류, (iii) 관점 감성 분류이다. 각 작업에 대해 서포트 벡터 머신(Support Vector Machine, SVM)과 다층 퍼셉트론(Multi-layer Perceptron, MLP) 분류기를 사용하여 모델을 구현하였다.