*출처: Understanding LSTM Networks -- colah's blog

1. Task 1) Multi-Class Clasification : 주어진 입력값이 오로지 1개의 class에만 속함 -target (y)는 one-hot vector로 주어짐(positive class에만 1, 나머지 negative class는 전부 0) 2) Multi-Label Classification : 주어진 입력값이 1개 이상의 class에 속할 수 있음 -target (y)는 one-hot vector로 주어지나 1개 이상의 positive class와 negative class를 가질 수 있음 2. Output Activation Functions 1) Sigmoid (=logistic function) -벡터가 입력되었을 시 각 요소들을 (0, 1) 사이의 값으로 반환 -주로 이진분..

1. Linear Support Vector Machine -주어진 임의의 결정 경계가 있을 때, 결정 경계 근처의 점들 간의 거리를 최대화하는 방향으로 결정 경계 찾음 -결정 평면에 가장 가까운 점들에 의해 만들어지는 벡터를 support vector이라 칭하며, 결정 경계는 support vector 기준으로 margin을 최대화하는 쪽으로 결정됨

1. attribute(속성) 선택 방법 *속성으로 데이터를 분류했을 때 하위 집합의 purity(순수도)가 더 높게 나오는 속성을 선택 -> 평가 지표: Entropy 1) Entropy *이진 분류의 경우 1과 0의 비율이 한 쪽으로 몰려있을수록 엔트로피 값은 낮아짐 -> 순수도 값은 높아짐 *특정 속성에 대한 평균적인 엔트로피 값 해당 속성으로 나누었을 때의 하위 집합들의 엔트로피 값을 구한 후, 그 값의 평균을 구함 -> 어떤 속성으로 나누었을 때 위 값이 낮은지를 찾아, 해당 값을 낮게 만드는 속성으로 먼저 데이터를 분류하도록 설정함 2) Information Gain : 특정 속성으로 나누기 전(하나의 집합일 때)의 엔트로피 값과, 특정 속성으로 나누었을 때의 평균적인 엔트로피 값 간의 차이 ..

1. Non-Linear Mapping *선형 결정경계를 찾을 수 없는 경우, 데이터를 더 높은 차원에서의 데이터로 바꾸면 선형 결정경계를 찾을 수 있는 가능성 커짐 *새롭게 만든 차원 위에서 기존의 linear SVM과 동일한 방식으로 결정경계를 구함 -차원을 추가하는 것이 결정경계를 쉽게 찾는 데 도움이 되지만, 지나치게 높은 차원은 학습해야 할 파라미터 수를 늘려 학습을 어렵게 만듦 -> Kernel Trick 이라는 방법이 새로 도입됨 2. Kernel trick : 고차원 공간에서의 학습을 보다 더 쉽게 만드는 방법 *고차원으로 변경한 데이터를 무작정 내적하는 것이 아니라, 내적식을 보다 간단하게 만들어 계산을 쉽게 만듦 (단, 내적식을 정리했을 때 간단하게 표현될 수 있는 경우) -> 이런 식..

06) 기울기 소실(Gradient Vanishing)과 폭주(Exploding) - 딥 러닝을 이용한 자연어 처리 입문 (wikidocs.net)