HyperAI超神经

Nukleare NormEs handelt sich um die Summe der singulären Werte der Matrix, die verwendet wird, um den niedrigen Rang der Matrix einzuschränken. Bei spärlichen Daten hat die Matrix einen niedrigen Rang und enthält viele redundante Informationen, die zum Wiederherstellen von Daten und Extrahieren von Merkmalen verwendet werden können.

Definition der Kernnorm

Die Kernnorm der Matrix X ist wie folgt definiert:

${{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}$

Gemäß der obigen Formel entspricht die Kernnorm der Summe der Matrixeigenwerte. Betrachtet man die Eigenwertzerlegung von X ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , können wir folgende Schlussfolgerungen ziehen:

${\begin{array}{*{20}{l}} {tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}&{=\text{ }tr{ \left( {\sqrt{{{ \left( {U \Sigma V\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}}} \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{T}}U\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}} \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{2}}V\mathop{{}}\nolimits^{{T}}}}} \right) }\text{ }{ \left( { \Sigma \mathop{{}}\nolimits^{{T}}= \Sigma } \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V\mathop{{}}\nolimits^{{T}}V \Sigma \mathop{{}}\nolimits^{{2}}}}} \right) }}\\ {}&{=\text{ }tr{ \left( { \Sigma } \right) }} \end{array}}$

Beweis der Konvexität

Nach den bekannten Informationen ist die matrixinduzierte Norm konvex, das heißt:

Sei ${f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }\text{ }=\text{ }{ \left\Vert {Ax} \right\Vert }\mathop{{}}\nolimits_{{p}}\text{ }{ \left( {p \ge 1} \right) }}$ , Dann ist ${f\mathop{{}}\nolimits_{{x}}}$ konvex, also ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{p}}\text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {x} \right\Vert }\mathop{{}}\nolimits_{{p}}=1}}\text{ }f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }}$ ist konvex, und ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{2}}}$ Da ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ und ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{2}}}$ duale Normen sind, ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ konvex ( ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{2}}=1}}\text{ }tr{ \left( {{A\mathop{{}}\nolimits^{{T}}X}} \right) }}$ ).

Gradientenlösung

Basierend auf den oben genannten SVD-Annahmen können wir Folgendes schlussfolgern:

${\frac{{ \partial { \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text{ }\frac{{ \partial tr{ \left( { \Sigma } \right) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( { \partial \Sigma } \right) }}}{{ \partial X}}}$

Daher müssen wir ${ \partial \Sigma }$ lösen. Betrachten wir ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , so haben wir:

${\begin{array}{*{20}{l}} {}&{ \partial }V\mathop{{}}\nolimits^{{T}}\text{ }+\text{ }U \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \right) }}\\ { \Rightarrow }&{ \partial \Sigma }&{=\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V\text{ }-\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial U} \right) } \Sigma \text{ }-\text{ } \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \right) }V}\\ {}&{}&{=U\mathop{{}}\nolimits^{{T}}{ \left( { \partial }0} \right) }} \end{array}}$

Also:

${\frac{{ \partial { \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( { \partial \Sigma } \right) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( {U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V} \right) }}}{{ \partial \right) }}}{{ \partial X}} \text{ }=\text{ }{ \left( {VU\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}\text{ }=\text{ }UV\mathop{{}}\nolimits^{{T}}}$