Command Palette
Search for a command to run...
ノイズ除去変換器を用いた綴り訂正
ノイズ除去変換器を用いた綴り訂正
Alex Kuznetsov; Hector Urdiales
概要
私たちは、検索クエリや単語などの短い入力文字列に対する新しい綴り訂正方法を提案します。この方法の中心には、人間が犯す誤りパターンに非常に近い人工的なタイポを生成する手順があります。この手順は、トランスフォーマー構造に基づく製品用の綴り訂正モデルの学習に使用されます。現在、このモデルはHubSpotの製品検索で提供されています。我々は、タイポ生成に関する当社のアプローチが、人間のパターンを無視する一般的なノイズ追加手法よりも優れていることを示しています。また、当社のアプローチがリソースが乏しい環境にも拡張可能であることを示し、ラベル付きデータを使用せずにアラビア語、ギリシャ語、ロシア語、およびセツワナ語の綴り訂正モデルを学習させることも可能であることを実証しています。