HyperAI

Nukleare Norm

Datum

vor 3 Jahren

Nukleare NormEs handelt sich um die Summe der singulären Werte der Matrix, die verwendet wird, um den niedrigen Rang der Matrix einzuschränken. Bei spärlichen Daten hat die Matrix einen niedrigen Rang und enthält viele redundante Informationen, die zum Wiederherstellen von Daten und Extrahieren von Merkmalen verwendet werden können.

Definition der Kernnorm

Die Kernnorm der Matrix X ist wie folgt definiert:

${{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}$

Gemäß der obigen Formel entspricht die Kernnorm der Summe der Matrixeigenwerte. Betrachtet man die Eigenwertzerlegung von X ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , können wir folgende Schlussfolgerungen ziehen:

${\begin{array}{*{20}{l}} {tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}&{=\text{ }tr{ \left( {\sqrt{{{ \left( {U \Sigma V\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}}} \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{T}}U\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}} \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{2}}V\mathop{{}}\nolimits^{{T}}}}} \right) }\text{ }{ \left( { \Sigma \mathop{{}}\nolimits^{{T}}= \Sigma } \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V\mathop{{}}\nolimits^{{T}}V \Sigma \mathop{{}}\nolimits^{{2}}}}} \right) }}\\ {}&{=\text{ }tr{ \left( { \Sigma } \right) }} \end{array}}$

Beweis der Konvexität

Nach den bekannten Informationen ist die matrixinduzierte Norm konvex, das heißt:

Sei ${f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }\text{ }=\text{ }{ \left\Vert {Ax} \right\Vert }\mathop{{}}\nolimits_{{p}}\text{ }{ \left( {p \ge 1} \right) }}$ , Dann ist ${f\mathop{{}}\nolimits_{{x}}}$ konvex, also ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{p}}\text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {x} \right\Vert }\mathop{{}}\nolimits_{{p}}=1}}\text{ }f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }}$ ist konvex, und ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{2}}}$ Da ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ und ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{2}}}$ duale Normen sind, ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ konvex ( ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{2}}=1}}\text{ }tr{ \left( {{A\mathop{{}}\nolimits^{{T}}X}} \right) }}$ ).

Gradientenlösung

Basierend auf den oben genannten SVD-Annahmen können wir Folgendes schlussfolgern:

${\frac{{ \partial { \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text{ }\frac{{ \partial tr{ \left( { \Sigma } \right) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( { \partial \Sigma } \right) }}}{{ \partial X}}}$

Daher müssen wir ${ \partial \Sigma }$ lösen. Betrachten wir ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , so haben wir:

${\begin{array}{*{20}{l}} {}&{ \partial }V\mathop{{}}\nolimits^{{T}}\text{ }+\text{ }U \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \right) }}\\ { \Rightarrow }&{ \partial \Sigma }&{=\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V\text{ }-\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial U} \right) } \Sigma \text{ }-\text{ } \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \right) }V}\\ {}&{}&{=U\mathop{{}}\nolimits^{{T}}{ \left( { \partial }0} \right) }} \end{array}}$

Also:

${\frac{{ \partial { \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( { \partial \Sigma } \right) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( {U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V} \right) }}}{{ \partial \right) }}}{{ \partial X}} \text{ }=\text{ }{ \left( {VU\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}\text{ }=\text{ }UV\mathop{{}}\nolimits^{{T}}}$

Nukleare Norm

Datum

vor 3 Jahren

Definition der Kernnorm

Die Kernnorm der Matrix X ist wie folgt definiert:

${{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}$

Beweis der Konvexität

Nach den bekannten Informationen ist die matrixinduzierte Norm konvex, das heißt:

Gradientenlösung

Basierend auf den oben genannten SVD-Annahmen können wir Folgendes schlussfolgern:

Daher müssen wir ${ \partial \Sigma }$ lösen. Betrachten wir ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , so haben wir:

Also:

Definition der Kernnorm

Die Kernnorm der Matrix X ist wie folgt definiert:

${{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}$

Beweis der Konvexität

Nach den bekannten Informationen ist die matrixinduzierte Norm konvex, das heißt:

Gradientenlösung

Basierend auf den oben genannten SVD-Annahmen können wir Folgendes schlussfolgern:

Daher müssen wir ${ \partial \Sigma }$ lösen. Betrachten wir ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ , so haben wir:

Also:

Nukleare Norm

Definition der Kernnorm

Beweis der Konvexität

Gradientenlösung

KI mit KI entwickeln

Hyper Newsletters

Nukleare Norm

Definition der Kernnorm

Beweis der Konvexität

Gradientenlösung

KI mit KI entwickeln

Hyper Newsletters

Nukleare Norm

Definition der Kernnorm

Beweis der Konvexität

Gradientenlösung

KI mit KI entwickeln

Hyper Newsletters

Command Palette

Nukleare Norm

Definition der Kernnorm

Beweis der Konvexität

Gradientenlösung

KI mit KI entwickeln

Hyper Newsletters

Command Palette

Nukleare Norm

Definition der Kernnorm

Beweis der Konvexität

Gradientenlösung

KI mit KI entwickeln

Hyper Newsletters

Command Palette

Nukleare Norm

Definition der Kernnorm

Beweis der Konvexität

Gradientenlösung

KI mit KI entwickeln

Hyper Newsletters