핵 규범이는 행렬의 특이값의 합으로, 행렬의 하위 랭크를 제한하는 데 사용됩니다. 희소 데이터의 경우 행렬은 낮은 순위를 가지며 중복된 정보를 많이 포함하고 있어 데이터를 복구하고 특징을 추출하는 데 사용할 수 있습니다.

핵 규범 정의

행렬 X의 핵 노름은 다음과 같이 정의됩니다.

$latex {{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits\_{{\*}}\text{ }=\text{ }tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}$latex∥X∥_\* = tr(XTX​)

위 공식에 따르면, 핵 노름은 행렬 고유값의 합과 동일합니다. X$latex {X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$latexX = UΣVT의 고유값 분해를 고려하면 다음과 같은 결론을 도출할 수 있습니다.

latex {\begin{array}{\*{20}{l}} {tr{ \left( {\sqrt{{X\mathop{{}}\nolimits^{{T}}X}}} \right) }}&{=\text{ }tr{ \left( {\sqrt{{{ \left( {U \시그마 V\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}U \시그마 V\mathop{{}}\nolimits^{{T}}}}} \right) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \시그마 \mathop{{}}\nolimits^{{T}}U\mathop{{}}\nolimits^{{T}}U \시그마 V\mathop{{}}\nolimits^{{T}}}}} \오른쪽) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V \Sigma \mathop{{}}\nolimits^{{2}}V\mathop{{}}\nolimits^{{T}}}}} \오른쪽) }\text{ }{ \left( { \Sigma \mathop{{}}\nolimits^{{T}}= \Sigma } \오른쪽) }}\\ {}&{=\text{ }tr{ \left( {\sqrt{{V\mathop{{}}\nolimits^{{T}}V \Sigma \mathop{{}}\nolimits^{{2}}}}} \오른쪽) }}\\ {}&{=\text{ }tr{ \left( { \Sigma } \오른쪽) }} \end{array}}

볼록성의 증명

알려진 정보에 따르면, 행렬 유도 노름은 볼록합니다. 즉,

$latex {f\mathop{{}}\nolimits\_{{x}}{ \left( {A} \right) }\text{ }=\text{ }{ \left\Vert {Ax} \right\Vert }\mathop{{}}\nolimits\_{{p}}\text{ }{ \left( {p \ge 1} \right) }}$latexf_x(A) = ∥Ax∥_p (p≥1) 라고 하면 $latex {f\mathop{{}}\nolimits\_{{x}}}$latexf_x 는 볼록하므로 $latex {{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits\_{{p}}\text{ }=\text{ }\mathop{{sup}}\limits\_{{{ \left\Vert {x} \right\Vert }\mathop{{}}\nolimits\_{{p}}=1}}\text{ }f\mathop{{}}\nolimits\_{{x}}{ \left( {A} \right) }}$latex∥A∥_p = sup_∥x∥_p=1 f_x(A)는 볼록하고 $latex {{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits\_{{2}}}$latex∥A∥_2 $latex {{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits\_{{\*}}}$latex∥A∥_\*와 $latex {{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits\_{{2}}}$latex∥A∥_2는 이중 노름이므로 $latex {{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits\_{{\*}}}$latex∥A∥_\* 볼록 ($latex {{ \left\Vert {A} \right\Vert }\mathop{{}}\nolimits\_{{\*}}\text{ }=\text{ }\mathop{{sup}}\limits\_{{{ \left\Vert {X} \right\Vert }\mathop{{}}\nolimits\_{{2}}=1}}\text{ }tr{ \left( {{A\mathop{{}}\nolimits^{{T}}X}} \right) }}$latex∥A∥_\* = sup_∥X∥_2=1 tr(ATX)).

기울기 솔루션

위의 SVD 가정에 기초하여 다음과 같은 결론을 내릴 수 있습니다.

$latex {\frac{{ \부분 { \왼쪽\수직 {X} \오른쪽\수직 }\mathop{{}}\nolimits\_{{\*}}}}{{ \부분 X}}\text{ }=\text{ }\frac{{ \부분 tr{ \왼쪽( { \시그마 } \오른쪽) }}}{{ \부분 X}}\text{ }=\text{ }\frac{{tr{ \왼쪽( { \부분 \시그마 } \오른쪽) }}}{{ \부분 X}}}$latex\부분X\부분\왼쪽\수직X\오른쪽\수직_\*​ = \부분X\부분tr\왼쪽(\시그마\오른쪽)​ = \부분Xtr\왼쪽(\부분\시그마\오른쪽)​

따라서 우리는 $latex { \partial \Sigma }$latex∂Σ를 풀어야 합니다. $latex {X\text{ }=\text{ }U \Sigma V\mathop{{}}\nolimits^{{T}}}$latexX = UΣVT를 고려하면 다음과 같습니다.

latex {\begin{array}{\*{20}{l}} {}&{ \부분 }V\mathop{{}}\nolimits^{{T}}\text{ }+\text{ }U \시그마 { \left( { \부분 V\mathop{{}}\nolimits^{{T}}} \right) }}\\ { \Rightarrow }&{ \부분 \시그마 }&{=\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \부분 X} \right) }V\text{ }-\text{ }U\mathop{{}}\nolimits^{{T}}{ \left( { \부분 U} \right) } \시그마 \text{ }-\text{ } \시그마 { \left( { \부분 V\mathop{{}}\nolimits^{{T}}} \right) }V}\\ {}&{}&{=U\mathop{{}}\nolimits^{{T}}{ \left( { \partial }0} \right) }} \end{array}}

그래서:

latex {\frac{{ \partial { \left\Vert {X} \right\Vert }\mathop{{}}\nolimits\_{{\*}}}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( { \partial \Sigma } \right) }}}{{ \partial X}}\text{ }=\text{ }\frac{{tr{ \left( {U\mathop{{}}\nolimits^{{T}}{ \left( { \partial X} \right) }V} \right) }}}{{ \partial \right) }}}{{ \partial X}} \text{ }=\text{ }{ \left( {VU\mathop{{}}\nolimits^{{T}}} \right) }\mathop{{}}\nolimits^{{T}}\text{ }=\text{ }UV\mathop{{}}\nolimits^{{T}}}