Réseau d'attention convolutive efficace pour la classification multi-label des documents cliniques

Les problèmes de classification de documents à plusieurs étiquettes (MLDC) peuvent s’avérer particulièrement complexes, notamment pour des documents longs comportant un grand nombre d’étiquettes et une répartition en queue longue sur ces étiquettes. Dans cet article, nous proposons un réseau convolutif à attention efficace pour le problème de MLDC, avec un accent particulier sur la prédiction des codes médicaux à partir de documents cliniques. Nos innovations s’articulent autour de trois axes : (1) nous utilisons un encodeur profond basé sur des réseaux convolutifs, intégrant des réseaux squeeze-and-excitation et des réseaux résiduels, afin d’agréger l’information à travers le document et d’apprendre des représentations documentaires significatives couvrant différentes échelles de texte ; (2) nous explorons une attention multi-niveaux combinée à un pooling par somme pour extraire les caractéristiques les plus informatives à partir de ces représentations multi-échelles ; (3) nous combinons la perte binaire par entropie croisée et la perte focal afin d’améliorer les performances sur les étiquettes rares. Nous menons une étude d’évaluation centrée sur MIMIC-III, un ensemble de données largement utilisé dans le domaine médical. Nos modèles surpassent les approches antérieures en codage médical et atteignent de nouveaux états de l’art sur plusieurs métriques. Nous démontrons également la nature indépendante du langage de notre approche en l’appliquant à deux jeux de données non anglophones. Dans ces cas, notre modèle surpasse significativement le meilleur modèle antérieur ainsi qu’un modèle Transformer multilingue.