1. Decision Boundary with Margin 1) Decision Boundary *Decision boundary line: t(w)*x + b = 0 -위 경계선의 위: Positive case -위 경계선의 아래: Negative case 2) How to Calculate the Margin? *support vector을 만드는 점을 x라 한다면, f(x) = t(w)*x + b = a (a > 0) x와 결정경계 사이의 거리를 r이라 하면, r = f(x) / ||w|| -> Margin은 양쪽(음의 방향, 양의 방향)에 존재 전체 Margin M = 2r = 2a / ||w|| -> a로 나누면 M = 2 / ||w|| 가 Margin의 길이가 되며, 이를 최대화하는 결정 경계..

1. MLP 구조 1) Input Layer -입력층의 노드 개수 = 입력값 개수 2) Hidden Layer -여러 은닉층이 존재 가능하며, 노드 개수 또한 조정이 가능 -> 노드 개수에 따라 파라미터 개수도 조정됨 3) Output Layer -결과층의 노드 개수 = 결과값 개수 ※역전파 (BackProPagation) -손실 함수를 최소화 하기 위해, 경사하강법과 연쇄법칙을 사용하여 각각의 가중치 w를 업데이트 -> 이러한 과정 알고리즘을 '역전파'라 함 2. Non-linear Classifier using MLP -여러 개의 선형을 이용해 결합하여 non-linear 결정 경계 표현 가능

1. Neural Network 정의 *Neural Netweork: 인간의 뉴런을 흉내내는 대표적인 머신러닝 모델 *인간의 뉴런: 다른 뉴런으로부터 입력받은 부분과 합쳐진 뉴런의 신경자극값이 특정 임계값 이상이 되면 Axon과 연결된 다른 뉴련에 전달됨(넘지 못 하면 전달 X) 2. Perceptron 정의 *입력값, 가중치, 활성화함수, 출력값으로 이루어짐 -입력값과 가중치의 선형결합의 형태로 결과가 표현됨 -결과값이 활성화 함수를 거쳐 특정 임계값 이상이 되면 출력되고, 이하면 출력되지 않음 -활성화 함수로 어떤 함수를 선택하냐에 따라 분류, 로지스틱 회귀 등 가능 3. Perceptron 학습 -예측값과 실제값이 일치하지 않는 개수를 최소화하는 방향으로 w학습 -> 이 때 경사하강법을 적용 4. ..

1. Evaluation Metrics in Regression Models -Mean absolute error (MAE) -Mean squared error (MSE) -Root mean squared error (RMSE) (MSE의 제곱근) 2. Confusion Matrix Predicted value Ground-truth value Positive (1) Negative(0) Positive (1) True Positive (TP) False Positive (FP) Negative(0) False Negative (FN) True Negative (TN) 1) Accuracy *Accuracy = (TP + TN) / (TP + FP + FN + TN) 2) Error rates *erro..

1. Generalization 의미 : 테스트 데이터에 대한 에러를 최소화하는 모델을 찾는 것 -모델의 복잡도를 적당히 늘렸을 때 테스트 데이터에 대한 에러가 최소화되는 지점 = generalize error 최소화하는 지점 2. Generalization Error 줄이는 방법 -좋은 Generelization 모델 찾기 = 테스트 데이터에 대한 좋은 성능을 보이는 모델 찾기 -트레이닝 데이터에 대해 지나치게 좋은 성능을 보인다고 해서 무조건 좋은 모델이 아님 -> 테스트 데이터를 잘 맞추게끔 일종의 제약 조건을 두는 것이 필요 1) 데이터 크기 늘리기 -파라미터 개수는 고정인 상태에서 데이터의 개수를 늘리면 과적합의 문제 해결 가능 2) Penalizing the Model Complexity : ..

1. 회귀모델 종류 *Simple(one variable) -Linear -Non-linear *Multiple(two or more variables) -Linear -Non-linear 2. 회귀모델 해결법 1) Analytic Solution (ex. Normal equation) -최적의 해를 보장하나 실제 계산에 한계가 존재할 수 있음 2) Numerical Solution (ex. Gradient descent) -최적 해와 근사한 해를 찾음