Non-Linear SVM

1. Non-Linear Mapping

*선형 결정경계를 찾을 수 없는 경우, 데이터를 더 높은 차원에서의 데이터로 바꾸면 선형 결정경계를 찾을 수 있는 가능성 커짐

*새롭게 만든 차원 위에서 기존의 linear SVM과 동일한 방식으로 결정경계를 구함

-차원을 추가하는 것이 결정경계를 쉽게 찾는 데 도움이 되지만, 지나치게 높은 차원은 학습해야 할 파라미터 수를 늘려 학습을 어렵게 만듦

-> Kernel Trick 이라는 방법이 새로 도입됨

 

 

2. Kernel trick

: 고차원 공간에서의 학습을 보다 더 쉽게 만드는 방법

*고차원으로 변경한 데이터를 무작정 내적하는 것이 아니라, 내적식을 보다 간단하게 만들어 계산을 쉽게 만듦

(단, 내적식을 정리했을 때 간단하게 표현될 수 있는 경우)

-> 이런 식을 가진 함수를 Kernel이라고 말함

-> 이러한 Kernel 함수를 이용해 계산한다면 실제 고차원 공간에서 학습할 때의 시간보다 더 절약된 시간으로 같은 학습 가능

∴커널 함수: 원래 차원에서의 데이터 내적 결과값을 이용해 변경된 고차원 공간에서의 데이터 내적 결과값을 만들어낼 수 있는 함수

(ex) RBF Kernel