统计学习基于数据构建概率统计模型，并将其用于对数据的预测和分析，也被称为统计机器学习。
统计学习的前提是数据的基本假设是同类数据，且具有一定的统计规律性；基于数据，从数据出发，提取数据的特征、抽象出数据的模型、发现其中的规律、找出预测性函数并解决问题；其目的是考虑学习什么样的模型、如何学习模型。
统计学习是数据驱动学科，是整合了概率论、统计学、信息论、计算理论、最优化理论和计算机科学等多个领域的交叉学科。
统计学习的三要素
- 模型：生成模型或判别模型的选择，这两种模型的不同之处在于目标不同，生成模型是找到源数据的联合概率分布，判别模型则是找到条件概率或决策函数；
- 策略：选择合适的损失函数或风险函数，即选择一个目标函数；
- 算法：包括梯度下降法、牛顿法/拟牛顿法、拉格朗日法等优化算法。