没有免费的午餐定理 No Free Lunch Theorem

NFL 定理指没有一个学习算法可在所有领域产生准确的学习器，即针对某一领域的问题，所有算法的期望性能相同。

NFL 具体描述

• 对所有可能的目标函数求平均，得到的「非训练集误差」期望值相同;
• 对任意固定的训练集中目标函数求平均，得到的「非训练集误差」期望值相同;
• 对先验知识求平均，得到的「非训练集误差」期望值相同;
• 对任意固定的训练集中先验知识求平均，得到的「非训练集误差」期望值相同;

NFL 定理可引出一个普适「守恒率」—— 对一个可行的学习算法而言，其性能对所有可能的目标函数求和结果均为零。