Können wir aus Daten mehr lernen, als in dem zugrundeliegenden Generierungsprozess selbst enthalten war? Kann aus der bloßen Anwendung deterministischer Transformationen auf bestehende Daten neue und nützliche Information konstruiert werden? Kann der aus Daten ableitbare Lerninhalt ohne Berücksichtigung einer nachfolgenden Aufgabe bewertet werden? Auf diese Fragen erweisen sich die Shannon-Information und die Kolmogorov-Komplexität als nahezu nutzlos – zum Teil, weil sie Beobachter mit unbegrenzter Rechenkapazität voraussetzen und den nützlichen Informationsgehalt nicht angemessen erfassen. In dieser Arbeit identifizieren und illustrieren wir drei scheinbare Paradoxa der Informationstheorie: (1) Information kann durch deterministische Transformationen nicht erhöht werden; (2) Information ist unabhängig von der Reihenfolge der Daten; (3) die Modellierung von Likelihood ist lediglich eine Anpassung der Verteilung. Um die Spannung zwischen diesen Ergebnissen und der modernen Praxis aufzuklären und den Wert von Daten zu quantifizieren, führen wir den Begriff der Epiplexität ein – eine Formalisierung der Information, die erfasst, was rechnerisch beschränkte Beobachter aus Daten lernen können. Die Epiplexität erfasst den strukturellen Inhalt in Daten, während sie zeitlich begrenzte Entropie ausschließt, also den zufälligen, unvorhersehbaren Anteil, wie er beispielsweise durch Pseudozufallszahlen oder chaotische dynamische Systeme repräsentiert wird. Mit diesen Konzepten zeigen wir, wie Information durch Berechnung entstehen kann, wie sie von der Reihenfolge der Daten abhängt und wie die Likelihood-Modellierung Programme erzeugen kann, die komplexer sind als der ursprüngliche Generierungsprozess der Daten. Außerdem stellen wir praktische Verfahren zur Schätzung der Epiplexität vor, die wir als in der Lage nachweisen, Unterschiede zwischen Datensätzen zu erfassen, mit der Leistung auf nachfolgenden Aufgaben korrelieren und Interventionen an Datensätzen identifizieren, die die Generalisierung außerhalb der Trainingsverteilung verbessern. Im Gegensatz zu Prinzipien der Modellwahl bietet die Epiplexität eine theoretische Grundlage für die Datenauswahl und leitet an, wie Daten für Lernsysteme ausgewählt, generiert oder transformiert werden sollten.