HyperAIHyperAI

Command Palette

Search for a command to run...

DVI : Inpainting vidéo guidé par la profondeur pour les systèmes autonomes

Miao Liao Feixiang Lu Dingfu Zhou Sibo Zhang Wei Li Ruigang Yang

Résumé

Pour obtenir des vues de rue claires et des simulations photo-réalistes dans le cadre de la conduite autonome, nous présentons un algorithme automatique de remplissage vidéo (video inpainting) capable d’éliminer les agents de trafic des vidéos et de synthétiser les régions manquantes grâce à une guidance fournie par la profondeur ou les nuages de points. En construisant une carte 3D dense à partir de nuages de points assemblés, les trames d’une vidéo sont corrélées géométriquement via cette carte 3D commune. Afin de remplir une région cible à insérer dans une trame donnée, il devient directement possible de transformer les pixels provenant d’autres trames vers la trame courante, tout en respectant correctement les occlusions. En outre, nous pouvons fusionner plusieurs vidéos grâce à un alignement basé sur les nuages de points 3D, ce qui rend possible le remplissage d’une vidéo cible à l’aide de plusieurs vidéos sources. Cette approche vise à résoudre le problème de l’occlusion prolongée, où une région occluse n’a jamais été visible dans l’ensemble de la vidéo. À notre connaissance, nous sommes les premiers à proposer une fusion de plusieurs vidéos pour le remplissage vidéo. Pour valider l’efficacité de notre méthode, nous avons construit un grand jeu de données dédié au remplissage dans un environnement urbain réel, comprenant des images synchronisées et des données LiDAR, incluant de nombreuses scènes complexes, notamment des occlusions prolongées. Les résultats expérimentaux montrent que l’approche proposée surpasser les méthodes de pointe sur l’ensemble des critères évalués, et notamment que l’erreur quadratique moyenne (RMSE) a été réduite d’environ 13 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DVI : Inpainting vidéo guidé par la profondeur pour les systèmes autonomes | Articles | HyperAI