AWARE:要件抽出を目的としたアプリレビューのベースアスペクト感情分析データセット
スマートフォンアプリ市場は急速に成長しており、これによりアプリ開発者たちは製品の継続的改善と市場競争への対応を迫られている。ユーザーからのフィードバックを分析することは、製品の成功と失敗、および競合製品の状況を包括的に理解する上で重要な手段であり、ステークホルダーが根拠に基づいた要件を抽出し、要件定義プロセスを強化する手助けとなる。Aspect-Based Sentiment Analysis(ABSA、側面ベース感情分析)は、感情分析の一分野として、対象となる側面(aspect)を特定し、各側面に感情を割り当てる手法である。側面情報を得ることで、意見の理解がより正確になり、全体的な感情分析に限界がある点を補完できる。しかし、スマートフォンアプリのレビュー文脈におけるABSAの適用、特に要件抽出との連携については、これまで十分に検討されていない。本論文では、11,323件のアプリレビューを収集・アノテーションしたベンチマークデータセット「AWARE」を提案する。各レビューには、側面語(aspect term)、側面カテゴリ(aspect category)、感情極性(sentiment polarity)が付与されている。データは生産性、ソーシャルネットワーキング、ゲームの3つの分野から収集された。各分野における側面カテゴリは、コンテンツ分析を用いて導出され、分野専門家による評価を通じて、重要性、包括性、重複度、粒度の適切さについて検証された。側面カテゴリおよび感情極性のアノテーションはクラウドソーシングを活用し、品質管理プロセスを実施した。側面語のアノテーションには部分的に自動化された自然言語処理(NLP)手法を用い、アノテーターによる検証を経て、98%の正確率を達成した。さらに、3つのタスクについて機械学習ベースのベースラインを構築した。具体的には、(i) POSタガーを用いた側面語抽出、(ii) 側面カテゴリ分類、(iii) 側面感情分類の3つであり、それぞれサポートベクターマシン(SVM)およびマルチレイヤーパーセプトロン(MLP)分類器を用いて実験を行った。