Search
Duplicate

Vector Norm과 Gradient Clipping

Created
3/18/2021, 3:54:00 AM
Tags
Empty

Vector Norm

L1 Norm vs L2 Norm

각각의 엘리먼트의 절대값을 p제곱한다음 루트p따라서 L1 norm은 element 절대값의 합에 해당하고, L2 norm은 피타고라스의 정리처럼 유클리드 거리를 구한것에 해당한다.

L2 Norm

Infinite Norm

vector의 element 중 maximum value와 같음

L2 Norm of {L2 Norms}

L2 norm들에 대해서 다시 한번 L2 norm을 취하면, 그 결과는 각 element에 대해 한 번에 L2 norm을 계산한 것과 동치가 된다.
x2=x=x12+x22|x|_2 = |x| = \sqrt{x_1^2 + x_2^2}
y2=y=y12+y22|y|_2 = |y| = \sqrt{y_1^2 + y_2^2}
L2 Norm of {L2 Norms}=x2+y2=x12+x22+y12+y22L2 \ Norm \ of \ \{L2 \ Norms\} = \sqrt{|x|^2 + |y|^2} = \sqrt{x_1^2 + x_2^2 + y_1^2 + y_2^2}

By Value

By Norm

TOP