Wachsende Story Forest Online aus Massiven Breaking News

Wir beschreiben unsere Erfahrungen bei der Implementierung eines News-Inhalts-Organisationssystems bei Tencent, das Ereignisse aus großen Datenströmen von Breaking News entdeckt und die Strukturen von Nachrichtengeschichten in Echtzeit weiterentwickelt. Unser praxisnahes System hat spezifische Anforderungen, die sich von früheren Studien zu Themenerkennung und -verfolgung (Topic Detection and Tracking, TDT) sowie zur Generierung von Ereigniszeitleisten oder -graphen unterscheiden. Diese Anforderungen sind: 1) Wir müssen unterscheidbare Ereignisse schnell und genau aus massiven Datenströmen langer Textdokumente extrahieren, die verschiedene Themen abdecken und hochgradig redundante Informationen enthalten, und 2) wir müssen die Strukturen von Ereignisgeschichten in Echtzeit entwickeln, ohne bereits gebildete Geschichten wiederholt umstrukturieren zu müssen, um eine konsistente Benutzererfahrung zu gewährleisten. Um diese Herausforderungen zu bewältigen, schlagen wir den „Story Forest“ vor, eine Reihe von Online-Verfahren, die Streaming-Dokumente automatisch in Ereignisse clusternt und verwandte Ereignisse in wachsenden Bäumen verbindet, um sich entwickelnde Geschichten zu erzählen. Wir führten eine umfangreiche Evaluation durch basierend auf 60 GB echter chinesischer Newsdaten, obwohl unsere Ideen sprachunabhängig sind und leicht auf andere Sprachen übertragen werden können. Die Ergebnisse zeigen die überlegene Fähigkeit des „Story Forest“, Ereignisse präzise zu identifizieren und Nachrichtentexte in eine logische Struktur zu organisieren, die für menschliche Leser ansprechend ist, im Vergleich zu mehreren existierenden Algorithmusrahmen.