Les modèles d’intelligence artificielle audio sont des outils puissants capables de traiter ou de générer du son, notamment la parole. Leur importance croissante s’explique par la richesse et la disponibilité des données audio dans le monde réel. Contrairement aux textes ou aux images, le son apporte des nuances essentielles : l’émotion, le ton, l’intonation, les silences — des éléments cruciaux pour une compréhension humaine fine. Sans son, notre interaction avec le monde serait profondément altérée. Aujourd’hui, ces modèles sont au cœur de nombreuses applications concrètes, notamment grâce aux avancées des grands modèles linguistiques (LLM) comme ChatGPT, qui ont stimulé l’intégration multimodale. Trois grandes catégories de modèles audio dominent le paysage : la reconnaissance vocale (speech-to-text), la synthèse vocale (text-to-speech) et la transformation vocale directe (speech-to-speech). La reconnaissance vocale permet de convertir une parole en texte, utile pour transcrire des réunions, analyser des appels clients ou enrichir des jeux de données pour les LLM. Cependant, cette conversion entraîne une perte de nuances émotionnelles et prosodiques. Pour une analyse plus fine — comme détecter l’agacement ou la satisfaction d’un client — il est préférable d’analyser directement l’audio, en utilisant des modèles capables d’interpréter les variations de ton, de rythme ou de volume. La synthèse vocale, quant à elle, transforme du texte en parole naturelle. Elle est utilisée dans les assistants virtuels, les applications d’aide aux personnes malvoyantes ou pour produire des contenus audio à grande échelle. Pour des résultats plus expressifs, il est souvent nécessaire de spécifier l’émotion ou le style vocal. Cependant, les systèmes basés sur une chaîne de modèles (transcription → traitement par LLM → synthèse) souffrent de latence, ce qui nuit à l’expérience utilisateur. C’est là qu’interviennent les modèles speech-to-speech, capables d’accepter une parole en entrée et de répondre directement par une parole, sans passer par le texte. Ces modèles, comme Qwen-3-Omni, offrent des interactions en temps réel, essentielles pour des services client automatisés ou des assistants conversationnels humains. Ils minimisent les délais et préservent les subtilités du langage parlé. Une application remarquable est le clonage vocal : en fournissant un échantillon de voix, on peut générer de nouveaux discours dans ce style, utile pour produire des audiobooks ou des voix off en quelques minutes, à condition d’avoir les autorisations nécessaires. En somme, les modèles audio ne sont pas des compléments, mais des piliers essentiels d’un apprentissage automatique véritablement multimodal. Ils permettent à l’IA de comprendre et de s’exprimer comme un humain, en tenant compte de l’émotion, du contexte et du rythme. Leur développement continu promet des applications plus naturelles, plus rapides et plus humaines, dans des domaines allant de la santé à l’éducation, en passant par le commerce et les services publics. L’avenir de l’IA réside dans sa capacité à intégrer tous les sens — y compris l’audition.