1. Evaluation Metrics in Regression Models -Mean absolute error (MAE) -Mean squared error (MSE) -Root mean squared error (RMSE) (MSE의 제곱근) 2. Confusion Matrix Predicted value Ground-truth value Positive (1) Negative(0) Positive (1) True Positive (TP) False Positive (FP) Negative(0) False Negative (FN) True Negative (TN) 1) Accuracy *Accuracy = (TP + TN) / (TP + FP + FN + TN) 2) Error rates *erro..

1. Generalization 의미 : 테스트 데이터에 대한 에러를 최소화하는 모델을 찾는 것 -모델의 복잡도를 적당히 늘렸을 때 테스트 데이터에 대한 에러가 최소화되는 지점 = generalize error 최소화하는 지점 2. Generalization Error 줄이는 방법 -좋은 Generelization 모델 찾기 = 테스트 데이터에 대한 좋은 성능을 보이는 모델 찾기 -트레이닝 데이터에 대해 지나치게 좋은 성능을 보인다고 해서 무조건 좋은 모델이 아님 -> 테스트 데이터를 잘 맞추게끔 일종의 제약 조건을 두는 것이 필요 1) 데이터 크기 늘리기 -파라미터 개수는 고정인 상태에서 데이터의 개수를 늘리면 과적합의 문제 해결 가능 2) Penalizing the Model Complexity : ..

1. 회귀모델 종류 *Simple(one variable) -Linear -Non-linear *Multiple(two or more variables) -Linear -Non-linear 2. 회귀모델 해결법 1) Analytic Solution (ex. Normal equation) -최적의 해를 보장하나 실제 계산에 한계가 존재할 수 있음 2) Numerical Solution (ex. Gradient descent) -최적 해와 근사한 해를 찾음

0. 최적화 문제 해결하는 방법들 -Gradient descent method -Newtom method -Gauss-newton -Levenberg-marquardt -BFGS -Conjugate gradient ... 1. Gradient Descent 정의 -gradient: 각각의 변수에 대해 함수를 편미분한 값으로 이루어지는 벡터 -learning rate: 단계 별 사이즈(길이)를 조정하는 변수 *Gradient Descent 슈도 코드 ① 시작점(파라미터) w(t) 무작위로 선택 ② 중단하는 조건을 만족할 때까지 다음의 식을 반복 w(t+1) = w(t) + r(dE/dw) ,E: Error function, r: learning rate, w: parameter ※중단 조건 -w(t+1)-..

1. Analytic solution -주어진 오차 함수를 수학적으로 풀어 최적의 해를 찾는 방법 (ex. 선형회귀의 정규방정식) 2. Numerical solution -주어진 함수에 대해 최적값을 찾지 못할 때, 근사해를 찾는 방법 (ex. 경사하강법)

1. 지도학습(Supervised Learning) 1) Regression Models(회귀 모델) -continuous value 예측 2) Classification Models(분류 모델) -categorical value 예측 (분류) 2. 비지도학습(Unsupervised Learning) 1) Clustering(클러스터링) -데이터 특성들에 따라 어떤 데이터들이 유사한 데이터로써 이해될 수 있는지 군집화 2) 이상치 감지(Outer Detection) -주어진 데이터에서 이상치 찾기 3) Dimensionality Reduction(차원 축소) -고차원 데이터를 의미있는 저차원 공간으로 축소 4) Density Estimation -주어진 표본 데이터에 대해, 해당 데이터의 모분포를 추론하..