Wir stellen PRIMERA vor, ein vortrainiertes Modell für die Mehrdokument-Repräsentation mit Fokus auf Zusammenfassung, das die Notwendigkeit für datenspezifische Architekturen und große Mengen an annotiertem Feinabstimmungsdaten reduziert. PRIMERA nutzt unser neu vorgeschlagenes Vortrainingsziel, das darauf abzielt, das Modell beizubringen, Informationen über Dokumente hinweg zu verknüpfen und zu aggregieren. Zudem verwendet es effiziente Encoder-Decoder-Transformer, um die Verarbeitung verketteter Eingabedokumente zu vereinfachen. In umfangreichen Experimenten an 6 Mehrdokument-Zusammenfassungsdatasets aus 3 unterschiedlichen Domänen unter Zero-Shot-, Few-Shot- und vollständig überwachten Bedingungen übertrifft PRIMERA die derzeitigen State-of-the-Art-Modelle – sowohl datenspezifische als auch vortrainierte Modelle – in den meisten dieser Szenarien mit deutlichem Abstand. Der Quellcode und die vortrainierten Modelle sind unter \url{https://github.com/allenai/PRIMER} verfügbar.