Peut-on tirer davantage d’informations à partir de données que celles contenues dans le processus de génération lui-même ? Peut-on construire de nouvelles informations utiles en n’appliquant que des transformations déterministes aux données existantes ? Peut-on évaluer le contenu apprenable des données sans tenir compte d’une tâche ultérieure ? Sur ces questions, l’information de Shannon et la complexité de Kolmogorov se révèlent presque impuissantes, en partie parce qu’elles supposent des observateurs dotés d’une capacité de calcul illimitée et ne ciblent pas le contenu d’information utile. Dans ce travail, nous identifions et illustrons trois paradoxes apparents en théorie de l’information : (1) l’information ne peut pas être augmentée par des transformations déterministes ; (2) l’information est indépendante de l’ordre des données ; (3) la modélisation de la vraisemblance se réduit à un simple ajustement de distribution. Pour éclairer le conflit entre ces résultats et les pratiques modernes, et pour quantifier la valeur des données, nous introduisons la épiplexité, une formalisation de l’information qui capture ce que des observateurs à capacité computationnelle bornée peuvent apprendre à partir des données. La épiplexité capture le contenu structurel des données tout en excluant l’entropie bornée dans le temps, c’est-à-dire le contenu aléatoire et imprévisible illustré par les générateurs de nombres pseudo-aléatoires ou les systèmes dynamiques chaotiques. Grâce à ces concepts, nous montrons comment l’information peut être créée par le calcul, comment elle dépend de l’ordre des données, et comment la modélisation de la vraisemblance peut produire des programmes plus complexes que ceux présents dans le processus de génération des données lui-même. Nous proposons également des procédures pratiques d’estimation de la épiplexité, que nous démontrons capables de distinguer entre différentes sources de données, de suivre les performances sur des tâches ultérieures, et d’identifier des interventions sur les jeux de données améliorant la généralisation hors distribution. Contrairement aux principes de sélection de modèles, la épiplexité fournit une fondation théorique pour la sélection de données, guidant ainsi la manière de choisir, générer ou transformer les données destinées aux systèmes d’apprentissage.