HyperAIHyperAI

Command Palette

Search for a command to run...

BTS : Pont entre les modalités textuelles et sonores pour la classification des sons respiratoires assistée par des métadonnées

June-Woo Kim*1,2, Miika Toikkanen2, Yera Choi3, Seoung-Eun Moon3†, Ho-Young Jung1†

Résumé

La classification des sons respiratoires (RSC) est un défi en raison des signatures acoustiques variées, principalement influencées par les caractéristiques démographiques des patients et les environnements d'enregistrement. Pour répondre à ce problème, nous présentons un modèle multimodal texte-audio qui utilise les métadonnées des sons respiratoires, fournissant ainsi des informations complémentaires utiles pour la RSC. Plus précisément, nous affinons un modèle multimodal texte-audio préentraîné en utilisant des descriptions textuelles libres issues des métadonnées des échantillons sonores, qui comprennent le sexe et l'âge des patients, le type de dispositifs d'enregistrement et l'emplacement d'enregistrement sur le corps du patient. Notre méthode atteint une performance de pointe sur l'ensemble de données ICBHI, surpassant le meilleur résultat précédent avec une marge notable de 1,17 %. Ce résultat valide l'efficacité de l'utilisation des métadonnées et des échantillons sonores respiratoires pour améliorer les performances de la RSC. De plus, nous examinons les performances du modèle dans le cas où certaines métadonnées sont partiellement indisponibles, une situation qui peut se produire dans un contexte clinique réel.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp