HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

MetricGAN-OKD : Optimisation multi-métrique de MetricGAN par distillation en ligne de connaissances pour l'amélioration de la parole

{Sung Won Han Hyun Joon Park Jin Sob Kim Byung Hoon Lee WooSeok Shin}

MetricGAN-OKD : Optimisation multi-métrique de MetricGAN par distillation en ligne de connaissances pour l'amélioration de la parole

Résumé

Dans le domaine du renforcement vocal, les approches basées sur MetricGAN réduisent l’écart entre la perte LpL_pLp et les métriques d’évaluation en utilisant une métrique d’évaluation non différentiable comme fonction objectif. Toutefois, l’optimisation simultanée de plusieurs métriques reste un défi en raison du problème des directions de gradient ambiguës. Dans cet article, nous proposons une méthode efficace d’optimisation multi-métriques dans le cadre de MetricGAN, fondée sur une distillation de connaissances en ligne — MetricGAN-OKD. MetricGAN-OKD, composé de plusieurs générateurs et de métriques cibles associées par une correspondance biunivoque, permet aux générateurs d’apprendre de manière fiable par rapport à une seule métrique tout en améliorant leur performance sur les autres métriques grâce à l’imitation des autres générateurs. Les résultats expérimentaux sur des tâches de renforcement vocal et d’amélioration de l’écoute montrent que la méthode proposée améliore significativement les performances selon plusieurs métriques par rapport aux méthodes existantes d’optimisation multi-métriques. En outre, la bonne performance de MetricGAN-OKD est analysée en termes de généralisation du réseau et de corrélation entre les métriques.

Benchmarks

BenchmarkMéthodologieMétriques
speech-enhancement-on-demandMetricGAN-OKD
CBAK: 3.07
COVL: 3.73
CSIG: 4.23
PESQ (wb): 3.24
Para. (M): 1.89
speech-enhancement-on-demandMetricGAN-OKD (Causal Arch.)
CBAK: 3.13
COVL: 3.64
CSIG: 4.17
PESQ (wb): 3.12
Para. (M): 0.82

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MetricGAN-OKD : Optimisation multi-métrique de MetricGAN par distillation en ligne de connaissances pour l'amélioration de la parole | Articles de recherche | HyperAI