Pré-entraînement de représentations de sons respiratoires à l’aide de métadonnées et d’apprentissage contrastif

Les méthodes fondées sur l’apprentissage supervisé utilisant des annotations de manière end-to-end constituent actuellement l’état de l’art pour les problèmes de classification. Toutefois, elles peuvent présenter des limites en termes de capacité de généralisation, en particulier dans le régime à faible quantité de données. Dans cette étude, nous abordons ce problème en combinant l’apprentissage contrastif supervisé avec des métadonnées disponibles afin de résoudre plusieurs tâches prétextes, visant à apprendre une représentation efficace des données. Nous appliquons notre approche à la classification des sons respiratoires. Ce problème s’avère particulièrement adapté à ce cadre, car des informations démographiques telles que le sexe et l’âge sont corrélées à la présence de maladies pulmonaires, et un système capable d’encoder implicitement ces informations pourrait mieux détecter les anomalies. L’apprentissage contrastif supervisé est un paradigme qui apprend des représentations similaires pour des échantillons partageant la même étiquette de classe, et des représentations dissimilaires pour des échantillons appartenant à des classes différentes. Le extracteur de caractéristiques appris selon ce paradigme extrait des caractéristiques pertinentes des données, et nous démontrons qu’il surpasse l’entropie croisée dans la classification des anomalies respiratoires sur deux jeux de données distincts. Nous montrons également que l’apprentissage de représentations à l’aide uniquement de métadonnées, sans étiquettes de classe, permet d’obtenir des performances comparables à celles obtenues avec l’entropie croisée utilisant uniquement les étiquettes de classe. En outre, en combinant étiquettes de classe et métadonnées via une extension de l’apprentissage contrastif supervisé — qui résout une tâche supplémentaire de regroupement des patients selon leur sexe et leur groupe d’âge — des caractéristiques plus informatives sont apprises. Ce travail met en évidence le potentiel d’utilisation de plusieurs sources de métadonnées dans des cadres d’apprentissage contrastif supervisé, en particulier dans des situations marquées par un déséquilibre de classes et un faible volume de données. Notre code est disponible à l’adresse suivante : https://github.com/ilyassmoummad/scl_icbhi2017