HyperAI超神经

核の規範行列の特異値の合計であり、行列の低ランクを制約するために使用されます。スパースデータの場合、行列は低ランクであり、データの復元や特徴の抽出に使用できる大量の冗長情報が含まれています。

核規範の定義

行列 X の核ノルムは次のように定義されます。

${{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}\text{ }=\text{ }tr{ \left( {\sqrt{{X\mathop {{}}\nolimits^{{T}}X}}} \right) }}$

上の式によれば、X ${X\text{ }=\text{ }U \Sigma V\mathop{{} の固有値分解を考慮すると、核ノルムは行列の固有値の合計に等しいと結論付けることができます。 }\nolimits^ {{T}}}$ 、次の結論が得られます。

${\begin{array}{*{20}{l}} {tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) } }&{=\text{ }tr{ \left( {\sqrt{{{ \left( {U \Sigma V\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}} \right) }}\\ {}&{=\text { }tr{ \left( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{T}}U\mathop{{}}\nolimits^{{T}}U \Sigma V\mathop{{}}\nolimits^{{T}}}}} \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \Sigma \mathop{ {}}\nolimits^{{2}}V\mathop{{}}\nolimits^{{T}}}} \right) }\text{ }{ \left( { \Sigma \mathop{{}}\nolimits^{{T}}= \Sigma } \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V\mathop{{} }\nolimits^{{T}}V \Sigma \mathop{{}}\nolimits^{{2}}}} \right) }}\\ {}&{=\text{ }tr{ \left( { \シグマ } \right) }} \end{配列}}$

凸性の証明

既知の情報によると、行列誘導ノルムは凸型です。つまり、次のとおりです。

${f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }\text{ }=\text{ }{ \left\Vert {Ax} \right\Vert } とします\mathop{{}}\nolimits_{{p}}\text{ }{ \left( {p \ge 1} \right) }}$ ,次に、 ${f\mathop{{}}\nolimits_{{x}}}$ は凸であるため、 ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{p} } \text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {x} \right\Vert }\mathop{{}}\nolimits_{{p}}=1}}\text{ }f\mathop{{}}\nolimits_{{x}}{ \left( {A} \right) }}$ 凸、一方で ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{2}}}$ ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ および ${{ \left\Vert {A} \right\Vert }\mathop{ {}}\nolimits_{{2}}}$ は双対標準であるため、 ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}}}$ 凸 ( ${{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits_{{*}} \text{ }=\text{ }\mathop{{sup}}\limits_{{{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{2}}=1}}\text{ }tr{ \left( {{A\mathop{{}}\nolimits^{{T}}X}} \right) }}$ )。

グラジエント溶液

上記の SVD の仮定に基づいて、次のように結論付けることができます。

${\frac{{ \partial { \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text { }\frac{{ \partial tr{ \left( { \Sigma } \right) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( { \partial \Sigma } \right) }}}{{ \partial X}}}$

したがって、 ${X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$ を考慮して、 ${ \partial \Sigma }$ を解く必要があります。それで：

${\begin{array}{*{20}{l}} {}&{ \partial X}&{=\text{ }{ \left( { \partial U} \right) } \Sigma V\mathop{ {}}\nolimits^{{T}}\text{ }+\text{ }U{ \left( { \partial \Sigma } \right) }V\mathop{{}}\nolimits^{{T}}\text{ }+\text{ }U \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}} } \right) }}\\ { \Rightarrow }&{ \partial \Sigma }&{=\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V\text{ }-\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \partial U} \right) } \Sigma \text { }-\text{ } \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \right) }V}\\ {}&{}&{=U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V\text{ }\text{ }\text{ }\ text{ }{ \left( {-U\mathop{{}}\nolimits^{{T}}{ \left( { \partial U} \right) } \Sigma – \Sigma { \left( { \partial V\mathop{{}}\nolimits^{{T}}} \right) }V\text{ }=\text{ }0} \right) }} \end{array}}$

それで：

${\frac{{ \partial { \left\Vert {X} \right\Vert }\mathop{{}}\nolimits_{{*}}}}{{ \partial X}}\text{ }=\text { }\frac{{tr{ \left( { \partial \Sigma } \right) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( {U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V} \right) }}}{{ \部分 X}}\text{ }=\text{ }\frac{{tr{ \left( {VU\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }} \right) }}}{{ \partial X}} \text{ }=\text{ }{ \left( {VU\mathop{{}}\nolimits^{{T}}} \right) }\mathop{ {}}\nolimits^{{T}}\text{ }=\text{ }UV\mathop{{}}\nolimits^{{T}}}$