Banuba、AI音声同期でリアルな口パク動画生成を実現する新機能を発表
バヌーバ(Banuba)が、動画編集SDK向けに革新的なAI音声同期(リップシンク)動画生成技術を開発したと発表した。同社はAR技術の市場リーダーとして、音声と口元の動きを超高精度で一致させるAI機能を実装。これにより、映像内の人物が話す言葉や歌詞にリアルに合わせて口の形、舌の位置、あごの動きを自動生成し、人間らしい自然な表現を実現した。 同技術は、音声データを解析して音節やリズムを細かく把握し、神経ネットワークがそれに基づいて顔面の動きをリアルタイムで再現。従来のAIキャラクターに見られる「不気味の谷」現象を大幅に軽減し、視聴者に違和感を与えない本物に近い映像を可能にした。 さらに、ユーザーはテキストプロンプトで演出を制御できる。たとえば「自信を持って話す、手を広げて」や「悲しそうにうつむきながら歌う」といった指示を加えることで、感情表現やジェスチャー、首の動きまで自由に調整可能。手動アニメーションの不要な動的コンテンツ生成が実現し、仮想インフルエンサー、教育用動画、パーソナライズ広告、SNS向けインマーシブ体験の開発が格段に効率化される。 バヌーバのCPO兼共同創業者アントン・リスケヴィッチ氏は「AI駆動のインタラクティブな物語作りの時代に入っている。このリップシンク機能は、開発者にとって生産性と創造性を飛躍的に高める画期的なツールだ」と強調。同社のVideo Editor SDKは、8分程度の短時間で統合可能で、動画編集・エフェクト・AR機能をすべて内蔵した包括的ツールキットとして、アプリ開発者に高い柔軟性を提供している。 バヌーバはAR技術分野で9年以上の実績を持つ企業。AI、顔追跡、仮想試着(顔・髪・手)、仮想背景技術を提供するSDKと、即時導入可能なソリューションを展開している。
