ASOS.comカスタマーケア部門で最も頻繁に受信される問い合わせ「私の注文はどこにありますか？」という顧客の意図を予測することを目的とした、顧客意図分類器の性能を検討した。これらの問い合わせは、口語表現の使用、ラベルノイズ、短いメッセージ長という特徴を持つ。本研究では、データ内のシーケンス構造を捉えるためにn-gramを用いたロジスティック回帰と、自動的に順序パターンを抽出することができる再帰型ニューラルネットワーク（RNN）という、2つの代表的な分類モデルを用いて広範な実験を行った。GloVe座標に固定された埋め込み層を維持した状態で、Mann-Whitney U検定により、ホールドアウトされたメッセージセットにおけるF1スコアは、RNN分類器が線形n-gram分類器よりも低かった（M1=0.828、M2=0.815；U=1,196、P=1.46e-20）。ただし、すべての層を他のネットワークパラメータと同時に学習させた場合、RNN分類器の性能は線形n-gram分類器と同等以上となり、F1スコアはそれぞれM1=0.831、M2=0.828（U=4,280、P=8.24e-4）となった。ノイズ除去済みラベルセットでは、シンプルなニューラルネットワークが0.887のF1スコアを達成し、人間アノテーター（0.889 F1）と同等の性能を示し、線形分類器（0.865 F1）を上回った。人間の性能（0.93の精度）を超える精度を達成するようにモデルを補正した結果、シンプルなニューラルネットワークのリコールは0.05（学習時間1時間未満）、線形n-gram分類器は0.07（学習時間10分未満）というわずかな差が示された。この結果から、現代のAIプロダクションシステムにおいて、線形n-gram分類器は計算コストと性能のバランスを考慮した賢明なモデルアーキテクチャであると示唆された。