非凸优化 Non-Convex Optimization

非凸优化被用于机器学习和信号处理领域,主要针对非凸问题,即不使用松弛处理而直接解决引起目标、直接优化非凸公式的方法。

非凸优化常用技术包括以下几种:

  • 投影梯度下降
  • 交替最小化
  • 期望最大化算法
  • 随机优化及其变体

这些方法在实践中有速度快的特点,目前深度学习、部分机器学习问题涉及非凸优化处理。

非凸优化的转换

  • 修改目标函数,使之转化为凸函数;
  • 抛弃约束条件,使新的可行域作为凸集。