Une reproduction des modèles LSTM bidirectionnels d'Apple pour l'identification de langues dans des chaînes courtes

L’identification de langue consiste à déterminer la langue d’un document. Pour des applications telles que le choix automatique d’un correcteur orthographique, cette identification doit s’appuyer sur des chaînes très courtes, comme des fragments de messages texte. Dans ce travail, nous reproduisons une architecture d’identification de langue brièvement esquissée par Apple dans un billet de blog. Nous confirmons les performances du modèle bi-LSTM et constatons qu’il surpassent celles des identificateurs de langue open-source actuels. Nous observons également que les erreurs commises par ce modèle sont principalement dues à une confusion entre des langues apparentées.