Essen Sie Diese Datensätze Und Modelle, Lernen Sie Mit KI Zu Tanzen Und Machen Sie TensorFlowBoys
Mit dem Deep-Learning-Algorithmus GAN lassen sich Bewegungsverfolgung und -migration erreichen, indem die Bewegungen einer bestimmten Figur auf andere Personen übertragen werden. Auf den Bereich Tanz angewendet, kann jeder ein Tanzkönig werden.
Vor Kurzem hat die zweite Staffel von „Street Dance of China“ begonnen und erneut den landesweiten Tanzwahn entfacht.
Kurz nach der Ausstrahlung erhielt diese energiegeladene Sendung auf Douban eine hohe Punktzahl von 9,6. Die wundervollen Darbietungen der Tänzer im Wettbewerb ließen das Publikum vor dem Bildschirm ausrufen: „Zu aufregend!“ „Erstaunlich!“, und sie konnten nicht anders, als im Takt der Musik zu zittern.
Wenn Sie jedoch wirklich aufspringen wollen, ist der Unterschied zwischen Realität und Vorstellung wahrscheinlichEs fehlen nur noch ein paar Show Luos.Ich stelle mich so vor:
Aber in Wirklichkeit ist es so:
Bei den Tänzern heißen die Bewegungen Hip-Hop, Breaking, Locking usw., während es für die Zuschauer nur Schütteln, Rollen, Zeigen usw. ist.
Vielleicht werde ich in diesem Leben nie Streetdance tanzen können? Lass uns Square Dance machen ...
usw! Gib nicht so schnell auf.Mehrere hohe Tiere der University of California, Berkeley, haben für Sie eine KI-„Geheimwaffe“ entwickelt, mit der Sie Ihre Tanzfähigkeiten sofort verbessern und zum Tanzkönig der nächsten Generation werden können.
Jeder kann ein Tanzkönig sein
Im vergangenen August veröffentlichten Forscher der University of California, Berkeley, eine Arbeit mit dem Titel《Alle tanzen jetzt》These,machenMithilfe des Deep-Learning-Algorithmus GAN (Generative Adversarial Networks) ist es möglich, die Bewegungen professioneller Darsteller zu kopieren und auf beliebige Personen zu übertragen.,So wird das „Mach es wie ich“ erreicht.
Schauen wir uns zunächst die Ergebnisse des kopierten Tanzes an und spüren sie:
Deepfake-Gesichtsveränderungstechnologie war früher sehr beliebt, aber jetzt ist sieDer ganze Mensch kann „Deepfake“ sein!Sehen wir uns an, wie dieser magische Vorgang durchgeführt wird.
In dem Papier heißt es:MigrationsaktionenDie Methode gliedert sich im Allgemeinen in die folgenden Schritte:
- Gegeben sind zwei Videos, eines ist das Video mit der Aktionsquelle und das andere ist das Video mit der Zielperson.
- Anschließend wird ein Algorithmus verwendet, um die Bewegungen der professionellen Tänzer aus dem Quellvideo zu erkennen und Strichmännchen-Frames der entsprechenden Bewegungen zu erstellen.
- Anschließend wurde der Deep-Learning-Algorithmus der beiden trainierten Generative Adversarial Networks (GANs) verwendet, um vollständige Bilder der Zielperson zu erstellen und klarere und realistischere Videobilder für sie zu generieren.
Das Endergebnis ist,Das System kann die Körperbewegungen professioneller Tänzer auf Amateurtänzer übertragen.Neben der Nachahmung von Bewegungen ist es auchKann menschliche Stimmen und Gesichtsausdrücke perfekt simulieren.
Die Prinzipien hinter der Black Technology enthüllt
Das spezifische Prinzip dieser schwarzen Technologie ist wie folgt: Die Aktionsmigrationspipeline ist in drei Teile unterteilt:
1. Haltungserkennung:
Das Team nutzte bestehendePosenerkennungsmodell OpenPose (CMU Open Source-Projekt),Extrahieren Sie Schlüsselpunkte von Körper, Gesicht und Handhaltung aus Quellvideos. Der Kern dieses Schrittes besteht darin, die Körperhaltung zu kodieren und Informationen wie die Körperform zu ignorieren.
2. Globale Haltungsstandardisierung:
Berechnen Sie den Unterschied zwischen der Körperform und -position der Quell- und Zielperson in einem bestimmten Frame und wandeln Sie das Quell-Pose-Diagramm in ein Pose-Diagramm um, das der Körperform und -position der Zielperson entspricht.
3. Aus dem standardisierten Haltungsdiagramm das Bild der Zielperson ableiten:
Mithilfe eines generativen kontradiktorischen Netzwerkmodells wird das Modell trainiert, die Zuordnung vom standardisierten Pose-Graph zum Bild der Zielperson zu erlernen.
Bei der Entwicklung des Systems verwendete das Team die GeForce GTX 1080 Ti GPU im NVIDIA TITAN Xp und durch PyTorch beschleunigtes cuDNN für Training und Inferenz.
In der Bildkonvertierungsphase verwenden wir die von NVIDIA entwickelte Adversarial Training Image Translation. pix2pixHD Architektur. Der Gesichtsrest wird vom globalen Generator von pix2pixHD vorhergesagt. Sie verwenden einen einzelnen 70×70 PatchGAN-Diskriminator für Gesichter.
Während des Trainings werden die Quell- und Zielvideodaten auf leicht unterschiedliche Weise erfasst. Um die Qualität des Zielvideos sicherzustellen, wurde mit einer Handykamera Echtzeitaufnahmen des Zielobjekts mit einer Geschwindigkeit von 120 Bildern pro Sekunde gemacht, und jedes Video war mindestens 20 Minuten lang.
Für das Quellvideo müssen wir nur die entsprechenden Posenerkennungsergebnisse erhalten, sodass Sie hochwertige Videos von Tanzvorführungen im Internet nutzen können.
Was die Ergebnisse des Systems angeht, sagten die Forscher, dass sie noch nicht perfekt seien. Obwohl die produzierten Videos meist sehr realistisch sind,Gelegentlich gibt es Anzeichen dafür, dass etwas nicht stimmt, beispielsweise das Verschwinden eines Körperteils.Abnorme Phänomene wie „Schmelzen“.
Auch,Da der Algorithmus die Kleidung nicht kodiert, ist es unmöglich, ein Video der bei den Bewegungen flatternden Kleidung zu erstellen., das Ziel muss enge Kleidung tragen.
Sieht man von diesen Mängeln ab, ist die Technologie spannend.
Selbst wenn Sie ein Tanzanfänger sind oder Ihre Gliedmaßen steif und unkoordiniert sind, können Sie mit diesem KI-Tool ein „Tanzmeister“ wie Aaron Kwok, Show Luo oder jeder andere Tänzer Ihrer Wahl werden. Sogar Jacksons Moonwalk ist für Sie ein Kinderspiel.
Das Berkeley-Team ist jedoch nicht das einzige mit einem Tanztraum. Auch über die Kombination von KI und Tanzen hat sich Google viele Gedanken gemacht.
Google AI choreografiert neue Tanzschritte
Ende letzten Jahres entwickelte Damien Henry, technischer Projektmanager bei Google Arts and Culture, gemeinsam mit dem britischen Choreografen Wayne McGregor einEin Tool, das automatisch Tanzchoreografien in einem bestimmten Stil generieren kann.
McGregor, der einen Ehrendoktortitel der Naturwissenschaften der Universität Plymouth besitzt, interessiert sich seit langem für Wissenschaft und Technologie. Als er 25 Jahre seiner Tanzvideos Revue passieren ließ, fragte er sich, ob er mithilfe der Technologie seine Auftritte frisch halten könnte. Also fragte er Henry, wie man Technologie nutzen könne, um kontinuierlich neue Tanzinhalte zu erstellen.
Henry ließ sich von einem Beitrag auf einer Wissenschaftswebsite inspirieren. Dieser Beitrag stellt die Verwendung neuronaler Netzwerke vor, um den nächsten Buchstaben anhand der Handschrift des vorherigen Buchstabens vorherzusagen.
Also, erEs wird ein ähnlicher Algorithmus vorgeschlagen, der Vorhersagen für eine gegebene Bewegung treffen kann. Die Haltung des Tänzers wird per Video erfasst, anschließend werden die wahrscheinlichsten Tanzbewegungen generiert und in Echtzeit auf dem Bildschirm angezeigt.zeigen.
Dieser Algorithmus ignoriert außerdem die Kleidung der Personen und erfasst nur die wichtigsten Punkte der spezifischen Körperhaltung des Schauspielers, um ein Strichmännchenmodell zu erstellen.
Als man ihr Tanzvideos von McGregor und seinen Tänzern zuspielte, lernte die KI das Tanzen und der von ihr generierte Tanzstil war dem von McGregor sehr ähnlich.
Allerdings sind der künstlichen Intelligenz in der Tanzkreativität noch gewisse Grenzen gesetzt. Dieses KI-Tool von Google kann keine Aktionen erfinden, die es nicht schon einmal „gesehen“ hat. Es ist einfachvorhersagenDie wahrscheinlichste Aktion unter den erlernten Aktionen.
Auch,Diese Technologie ermöglicht auch die Erstellung gemischter Tanzchoreografien,Wenn Sie beispielsweise ein brasilianisches Samba-Video in McGregors Video einfügen, kann die KI einen völlig neuen gemischten Tanz kreieren. Henry macht sich keine Sorgen, dass es zu einem seltsamen Tanz kommen könnte, denn die Quelle des Lernens sind immer noch die Eingaben von Menschen.von.
KI-Haltungsverfolgung, mehr als nur „Tanztraum“
Nachdem Sie so viele Techniken gesehen haben, die Ihnen beim „Tanzen“ helfen, möchten Sie sie unbedingt ausprobieren?
Dance AI kann Menschen, die Angst vor Bewegung haben oder sich nicht bewegen wollen, ermöglichen, sich freier und leichter zu bewegen und die Freude am Tanzen und Sport zu erleben. Doch die dahinterstehende Technik ist mehr als nur unterhaltsam.
Unterstütze den Tanz KI-Pose-Schätzung,Dahinter verbirgt sich eine enorme Energiemenge, die uns dabei helfen kann, Körperbewegungen präziser auszuführen, wie zum Beispiel 3D-Fitnesslernen, Haltungskorrektur beim Sport, Rehabilitationstraining für Patienten und sogar virtuelle Anpassung und Haltungskorrektur per Foto werden neue Durchbrüche bringen.
Durch diese Art der Entwicklung werden Maschinen uns besser verstehen und sich besser mit unseren körperlichen Merkmalen und Verhaltensweisen vertraut machen, was uns dabei hilft, uns selbst besser zu verstehen.
Okay, lass uns jetzt aufhören zu reden. Ich werde von der KI das Tanzen lernen. Willst du mit uns kommen?