Das Situated Interactive Multi-Modal Conversations (SIMMC) 2.0 zielt darauf ab, virtuelle Einkaufsassistenten zu entwickeln, die komplexe multimodale Eingaben verarbeiten können, beispielsweise visuelle Darstellungen von Objekten sowie Benutzeräußerungen. Das Framework setzt sich aus vier Teilaufgaben zusammen: multimodale Mehrdeutigkeitsauflösung (MM-Disamb), multimodale Coreferenzauflösung (MM-Coref), multimodale Dialogzustandsverfolgung (MM-DST) sowie Antwortabruf und -generierung. Während viele auf Aufgaben ausgerichtete Dialogsysteme die einzelnen Teilaufgaben separat bearbeiten, schlagen wir einen gemeinsam trainierten multimodalen Encoder-Decoder vor, der visuelle Eingaben integriert und alle vier Aufgaben gleichzeitig effizient erledigt. Mit diesem Ansatz erreichte unser Ansatz bei der 10. Dialog-System-Technologie-Herausforderung (DSTC10) den ersten Platz bei den Aufgaben MM-Coref und Antwortabruf sowie eine Nominierung für den zweiten Platz bei den verbleibenden Aufgaben – alles mit einem einzigen, einheitlichen Modell. Damit wurde ein hoher Maßstab für die neuartige Aufgabe multimodaler, auf Aufgaben ausgerichteter Dialogsysteme gesetzt.