Majorization-Minimization算法介绍

IT圈老男孩1

Majorization-Minimization (MM) 算法是一种用于优化非凸函数的高效迭代算法，在每次迭代过程中，通过优化目标函数的边界来进行求解，广泛应用于信号处理，通信，机器学习等领域。本文将简单介绍MM算法及其相关应用，关于MM算法的详细内容可以参考ying sun老师的综述文章 Majorization-Minimization Algorithms in Signal Processing, Communications, and Machine Learning
1. MM算法介绍

考虑一个优化问题，目标函数较为复杂无法用通常的优化算法求解


MM算法核心思想是连续地最小化一个更易于优化的代理函数


具体步骤如下



迭代过程如下图


重点是如何构造这个代理函数，需满足以下四个条件


算法的收敛证明可以参考论文 A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization
2. 应用

#TODO

参考文献
[1] Majorization-Minimization Algorithms in Signal Processing, Communications, and Machine Learning
[2] A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization