Microsoft unterstützt: MIT entwickelt MM-Welle-Technik für präzise 3D-Rekonstruktion von Objekten

Microsoft unterstützt MIT bei der Entwicklung einer neuen Millimeterwellentechnik, die es ermöglicht, Objekte in Kisten oder hinter Wänden präzise zu erkennen, sogar bis hin zur Identifizierung von Henkeln an Tassen. Millimeterwellen, auch mmWave genannt, sind elektromagnetische Wellen im Frequenzbereich zwischen 30 und 300 GHz, mit Wellenlängen von 1 bis 10 mm. Sie haben die besondere Eigenschaft, durch Plastikbehälter und Inneneinrichtungsmauern zu dringen und auf verborgenen Oberflächen zu reflektieren, was eine präzise dreidimensionale Rekonstruktion von Objekten ermöglicht, die nicht direkt sichtbar sind. Diese Eigenschaft hat zu verschiedenen Anwendungen geführt, wie z.B. Sortierroboter, die verborgene Objekte in chaotischen Umgebungen oder geschlossenen Behältern lokalisieren und manipulieren können, AR-Geräte, die verdeckte Objekte wahrnehmen und visualisieren, sowie Smart-Home-Geräte, die auch ohne direkte Sicht auf den Benutzer kontaktlose Befehle ausführen können. Trotz dieser Potenziale haben bisherige Millimeterwellenrekonstruktionsmethoden noch Präzisionsmängel, insbesondere bei der Erkennung kleinerer Haushaltsgegenstände. Recentemente, Forscher am Massachusetts Institute of Technology (MIT) haben eine bahnbrechende Bildgebungstechnik namens mmNorm entwickelt. Dieses Verfahren nutzt Millimeterwellensignale, um Objekte präzise dreidimensional zu rekonstruieren. In über 110 realen Versuchen wurden mehr als 60 verschiedene alltägliche Objekte getestet und mit dem aktuellen Stand der Technik verglichen. Die mmNorm-Methode erreichte eine Rekonstruktionsgenauigkeit von 96%, während die bisher besten Methoden nur 78% erreichen konnten. Die Forscher stellten fest, dass bestehende Rekonstruktionsverfahren einen wichtigen Aspekt vernachlässigt haben: die Spiegelreflexion. Wenn ein Millimeterwellenradar Signale sendet, reflektieren fast alle getroffenen Oberflächen diese wie Spiegel. Nur wenn die Oberfläche direkt auf die Antenne gerichtet ist, wird das Signal zurück zum Empfänger reflektiert. Andernfalls streuen die Reflexionen ab und werden vom Radar nicht erfasst. mmNorm verwendet einen raffinierten Algorithmus, um diese Spiegelreflexionen zu interpretieren. Indem es die Reflexionswinkel, die Laufzeitdifferenzen und feine Veränderungen des Signals genau analysiert, kann es die Orientierung jeder Oberfläche des Objekts bestimmen. Dies wird durch die Schätzung von "Oberflächennormalen" erreicht, einem Fachbegriff, der die Ausrichtung einer Oberfläche beschreibt. Um mmNorm zu testen, montierten die Forscher das Radar an einem Roboterarm, der um das verborgene Objekt herumbewegt wurde und kontinuierlich Messdaten aufnahm. Das System verglich die Signalstärken, die von verschiedenen Positionen empfangen wurden, um die Krümmung der Oberflächen zu schätzen. Zum Beispiel empfing die Antenne die stärkste Reflexion von Oberflächen, die direkt auf sie gerichtet waren, während andere, in anderen Richtungen orientierte Oberflächen schwächere Reflexionen zurückwarfen. Da das Radar über mehrere Antennen verfügt, die unterschiedliche Reflexionen empfangen, \"stimmten\" diese Antennen über die Richtung der Oberflächennormalen. „Bestimmte Antennen haben ein hohes Stimmgewicht, während andere ein niedriges haben. Wir können alle Stimmen zusammenführen, um einen konsensbasierten Oberflächennormalen zu erhalten“, erklärte Laura Dodds, eine Forschungsassistentin am MIT und Hauptautorin der Studie. Da mmNorm alle möglichen Oberflächen in einem Raum schätzen muss, entstehen viele potenzielle Oberflächenmodelle. Um das korrekte Modell zu identifizieren, lehnten sich die Forscher an Computergrafik-Techniken an und erstellten eine dreidimensionale Funktion, die die Oberflächen auswählt, die am besten die empfangenen Signale repräsentieren. Dadurch konnten sie hochpräzise dreidimensionale Rekonstruktionen generieren. Im Rahmen dieser Studie wurden mehr als 60 Objekte mit komplexen Formen, wie z.B. eine Tasse mit Henkel, erfolgreich rekonstruiert. Die Genauigkeit bei der Rekonstruktion von Alltagsgegenständen mit komplizierten Kurvenformen, wie Besteck und Bohrmaschinen, betrug 96%, während die besten bisherigen Methoden nur 78% erreichten. mmNorm zeigte auch exzellente Leistungen bei der Erkennung von Objekten aus verschiedenen Materialien, einschließlich Holz, Metall, Plastik, Gummi und Glas, sowie aus Kompositmaterialien. Allerdings ist das System noch nicht in der Lage, durch Metall oder dicke Wände zu bilden. Diese Präzisionssteigerung eröffnet neue Möglichkeiten für hohe Auflösung dreidimensionaler Rekonstruktionen in verschiedenen Bereichen. Roboter könnten beispielsweise Werkzeuge in einer Werkzeugkiste präzise identifizieren und greifen, die genaue Form und Position des Hammergriffs ermitteln. In der AR-Technologie könnten Fabrikarbeiter realistische Bilder von Objekten sehen, die vollständig verdeckt sind, was die Arbeitsprozesse verbessern würde. Im Bereich der Sicherheitskontrolle und militärischen Aufklärung könnte das System die Genauigkeit der Rekonstruktion von verborgenen Objekten erhöhen. Für die Zukunft planen die Forscher, die Leistungsfähigkeit bei der Rekonstruktion von Objekten mit geringer Reflexionsrate zu verbessern, die Fähigkeit, durch dickere Hindernisse zu dringen, zu erhöhen, und die Auflösung kontinuierlich zu optimieren. Wie Dodds betont, „hat diese Forschung unsere Vorstellungen von Millimeterwellensignalen und dem dreidimensionalen Rekonstruktionsprozess grundlegend verändert. Wir hoffen, dass diese erhellenden Einblicke weitreichende Auswirkungen haben werden.“ Das Projekt wurde von der National Science Foundation, dem MIT Media Lab und Microsoft finanziell unterstützt. Microsofts Engagement unterstreicht das Potenzial dieser Technik für zukünftige Anwendungen in der Industrie und beim Konsumgütermarkt. Die Forschungslabore am MIT sind bekannt für ihre innovativen Beiträge zu den Bereichen der Robotik und der Bildverarbeitung, und die Zusammenarbeit mit Microsoft deutet auf eine starke Synergie zwischen akademischer und industrieller Forschung hin.