データから、生成プロセスそのものに含まれていた情報以上を学ぶことは可能だろうか？既存のデータに対して決定論的変換を適用するだけでも、新たな有用な情報を構築できるのだろうか？下流タスクを考慮せずに、データに含まれる学習可能な内容を評価することは可能だろうか？これらの問いに対して、シャノン情報量やコルモゴロフ複雑性は、計算能力が無制限である観測者を前提としており、有用な情報量に焦点を当てていないため、ほとんど手がかりを提供できない。本研究では、情報理論における三つの一見したたかなパラドックスを明らかにし、具体例を示す。それらは以下の通りである：（1）決定論的変換によって情報量を増加させることはできない；（2）情報はデータの順序に依存しない；（3）尤度モデリングは単なる分布一致に過ぎない。これらの結果と現代の実践との間にある矛盾を解明し、データの価値を定量化するために、計算能力に制限された観測者がデータから学べる内容を形式化した「エピプレクシティ（epiplexity）」を導入する。エピプレクシティは、データに内在する構造的コンテンツを捉えつつ、時間制限付きエントロピー（擬似乱数生成器やカオス的力学系が示すような、ランダムで予測不可能な内容）を除外する。これらの概念を用いて、計算によって情報が創出可能であることを示し、情報がデータの順序に依存すること、また尤度モデリングがデータ生成プロセスに含まれるプログラムよりも複雑なプログラムを生成できることを明らかにする。さらに、エピプレクシティを推定する実用的な手続きを提示し、それが異なるデータソース間の差異を捉え、下流タスクの性能と一致し、分布外一般化を向上させるデータセット介入の効果を浮き彫りにすることを示す。モデル選択の原則とは異なり、エピプレクシティはデータ選択の理論的基盤を提供し、学習システムにおいてデータをどのように選別・生成・変換すべきかを指南する。