HyperAI超神经

Norme nucléaireC'est la somme des valeurs singulières de la matrice, qui est utilisée pour contraindre le rang faible de la matrice. Pour les données clairsemées, la matrice est de rang faible et contient de nombreuses informations redondantes, qui peuvent être utilisées pour récupérer des données et extraire des fonctionnalités.

Définition de la norme nucléaire

La norme nucléaire de la matrice X est définie comme :

${{ \gauche\Vert {X} \droite\Vert }\mathop{{}}\nolimits_{{*}}\texte{ }=\texte{ }tr{ \gauche( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \droite) }}$

Selon la formule ci-dessus, la norme nucléaire est équivalente à la somme des valeurs propres de la matrice. Considérant la décomposition en valeurs propres de X ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , nous pouvons tirer les conclusions suivantes :

${\begin{array}{*{20}{l}} {tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}} \right) }}&{=\text{ }tr{ \left( {\sqrt{{{ \left( {U \Sigma V\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}} \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{T}}U\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}}} \droite) }}\\ {}&{=\texte{ }tr{ \gauche( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{2}}V\mathop{{}}\nolimits^{{T}}}}} \droite) }\texte{ }{ \gauche( { \Sigma \mathop{{}}\nolimits^{{T}}= \Sigma } \droite) }}\\ {}&{=\texte{ }tr{ \gauche( { \Sigma } \droite) }} \end{array}}$

Preuve de convexité

D'après les informations connues, la norme induite par la matrice est convexe, c'est-à-dire :

Soit ${f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }\text{ }=\text{ }{ \left\Vert {Ax} \right\Vert }\mathop{{}}\nolimits_{{p}}\text{ }{ \left( {p \ge 1} \right) }}$ , Alors ${f\mathop{{}}\nolimits_{{x}}}$ est convexe, donc ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{p}}\text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {x} \right\Vert }\mathop{{}}\nolimits_{{p}}=1}}\text{ }f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }}$ est convexe, et ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{2}}}$ Puisque ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ et ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{2}}}$ sont des normes duales, ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ convexe ( ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{2}}=1}}\text{ }tr{ \left( {{A\mathop{{}}\nolimits^{{T}}X}} \right) }}$ ).

Solution de gradient

Sur la base des hypothèses SVD ci-dessus, nous pouvons conclure que :

${\frac{{ \partial { \gauche\Vert {X} \droite\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text{ }\frac{{ \partial tr{ \gauche( { \Sigma } \droite) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \gauche( { \partial \Sigma } \droite) }}}{{ \partial X}}}$

Par conséquent, nous devons résoudre ${ \partial \Sigma }$ . Considérons ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , nous avons donc :

${\begin{array}{*{20}{l}} {}&{ \partial }V\mathop{{}}\nolimits^{{T}}\text{ }+\text{ }U \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \right) }}\\ { \Rightarrow }&{ \partial \Sigma }&{=\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V\text{ }-\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial U} \right) } \Sigma \text{ }-\text{ } \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \droite) }V}\\ {}&{}&{=U\mathop{{}}\nolimits^{{T}}{ \gauche( { \partial }0} \droite) }} \end{array}}$

donc:

${\frac{{ \partial { \gauche\Vert {X} \droite\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \gauche( { \partial \Sigma } \droite) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \gauche( {U\mathop{{}}\nolimits^{{T}}{ \gauche( { \partial X} \droite) }V} \droite) }}}{{ \partial \droite) }}}{{ \partial X}} \text{ }=\text{ }{ \gauche( {VU\mathop{{}}\nolimits^{{T}}} \droite) }\mathop{{}}\nolimits^{{T}}\text{ }=\texte{ }UV\mathop{{}}\nolimits^{{T}}}$

Norme Nucléaire

Définition de la norme nucléaire

Preuve de convexité

Solution de gradient