HyperAIHyperAI

Command Palette

Search for a command to run...

Le PESQetarian : Sur la pertinence de la loi de Goodhart pour l'amélioration de la parole

Danilo de Oliveira Simon Welker Julius Richter Timo Gerkmann

Résumé

Afin d’obtenir des modèles améliorés de restauration de la parole, les chercheurs se concentrent souvent sur l’optimisation des performances selon des métriques instrumentales spécifiques. Toutefois, lorsqu’une même métrique est utilisée dans une fonction de perte pour entraîner les modèles, cela peut s’avérer néfaste pour des aspects que cette métrique ne prend pas en compte. Ce papier vise à illustrer le risque de surapprentissage d’un modèle de restauration de la parole par rapport à la métrique utilisée pour l’évaluation. À cette fin, nous introduisons des modèles de restauration exploitant la mesure largement utilisée PESQ. Notre modèle « PESQétarien » atteint un score de 3,82 en PESQ sur le benchmark VB-DMD, mais obtient des résultats très médiocres lors d’une évaluation auditive. Bien qu’un score PESQ de 3,82 puisse suggérer une performance « de pointe » sur ce benchmark, nos exemples montrent qu’en optimisant par rapport à une métrique donnée, une évaluation isolée sur la même métrique peut être trompeuse. Il est donc préférable d’inclure d’autres métriques dans l’évaluation, et les prédictions de performance doivent être confirmées par des tests auditifs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp