目标函数是设计变量的函数，其通常用于表示所追求的目标形式。

目标函数的形式

• 最大化后验概率 MAP：如朴素贝叶斯
• 最大化适应函数：如遗传算法
• 最大化回报/值函数：如增强学习
• 最大化信息增益/减小子节点纯度：如 CART 决策树分类器
• 最小化平方差错误成本函数：如 CART 、决策树回归、线性回归、线性适应神经元
• 最大化相似度或者最小化信息熵损失函数
• 最小化 hinge 损失函数：如支持向量机 SVM