※참고자료: [정리노트] AutoEncoder의 모든것 Chap1. Deep Neural Network의 학습 방법에 대해 알아보자(딥러닝 학습방법) (tistory.com) [정리노트] AutoEncoder의 모든것 Chap1. Deep Neural Network의 학습 방법에 대해 알아보자(딥러닝 학습방 AutoEncoder의 모든 것 본 포스팅은 이활석님의 'AutoEncoder의 모든 것'에대한 강연 자료를 바탕으로 학습을 하며 정리한 문서입니다. 이활석님의 동의를 받아 출처를 밝히며 강의 자료의 일부를 인용 deepinsight.tistory.com 1. Manifold Learning 1) Manifold Learning 정의 : 고차원 데이터가 있을 때 고차원 데이터를 데이터 공간에 뿌리면,..

3.1 Some Simple Forecasting Methods 1) Average Method *평균으로 미래 값 예측하는 방식 *T+h 시각에서의 값을 예측하고자 한다면, -y1, ..., yT: 과거 데이터 2) Naive Method *가장 최신에 관측된 값을 미래 값으로 예측하는 방식 -이 방식은 데이터가 random walk 형태를 보일 때 사용하기 좋음 ⇒ 따라서 random walk forecasts라 불리기도 함 3) Seasonal Naive Method *seasonal한 데이터에 위 naive method와 비슷한 예측 방식 적용 -'같은' 계절/월에서 가장 최신에 관측된 값을 미래 값으로 예측하는 방식 -m: 계절 주기 -k: (h-1)/m의 정수 값 (the number of c..

2.3 Time series patterns 1) Trend, Seasonal, Cyclic *Trend: 데이터가 장기적으로 증가하거나 감소하는 패턴 (비선형이어도 됨) *Seasonal: 연간 혹은 주간과 같이 계절적인 요인에 의해 영향을 받는 패턴 *Cylic(Cycle): 빈도가 고정되지 않은 채(특정 값에 고정되지 않음) 데이터가 증가하고 감소하는 패턴 -cyclic vs. seasonal: 만약 변동이 빈도에 고정되지 않으면 cyclic, 반면 빈도가 변하지 않고 날짜 측면에서 일부 요소에 의해 영향을 받는 경우 seasonal -일반적으로 cycle의 평균 길이 > seasonal 패턴의 평균 길이 -cycle의 변동 강도 > seasonal 패턴의 변동 강도 2.4 Seasonal Plot..

지금 시점으로 연구가 약 3개월 쯤에 중단되었는데, 그 이유는 취업 준비 때문이었다. 오늘 다시 남은 분량을 작성하기 위해 당시 정리했던 자료와 적었던 코드를 열었으나 무슨 의도에서 코드를 이렇게 작성한 것인지 당사자인 나부터가 이해가 잘 가지 않았다. 그래서 이 구현 도전기를 정리하는 것은, (지금은 잠깐 중단되었지만) 이 챗봇 연구를 다시 시작할 때 작성할 예정이다.

※어디까지나 도전기일 뿐, 맞는 방법이 아니므로 따라하지 마시오.※ 4. 2번째 KoGPT2 Fine-tuning 도전 1) 1번째 KoGPT Fine-tuning의 문제점 (1) 친구와 대화하는 듯한 느낌의 부재 단순히 챗봇과 대화하는 것으로 우울증이 치료될 수 있다고 생각하면 안 돼요. 특히 사용자가 질문을 하고, 챗봇이 그에 대한 답변을 반환하는 대화를 통해서 과연 사용자는 자신의 우울감을 해소할 수 있을까요? 진단이 아닌 단순한 대화를 통해서 우울증을 해소하는 것은 거의 불가능해요. 그렇기에 현재에서는 친구와 대화하는 정도의 챗봇만 만들어도 대성공이죠. -의사선생님의 자문- *단순히 챗봇과 대화를 하는 것이 우울증 해소에는 효과가 거의 없을 것 ⇒ "챗봇을 통해서 우울증을 해소한다"는 목적보다, ..

※어디까지나 도전기일 뿐, 맞는 방법이 아니므로 따라하지 마시오.※ 3. 첫 KoGPT2 강화학습 도전 1) 원본 논문 코드 (1) 1번의 에피소드에 대해 손실값과 모델로부터 생성되는 답변을 구하는 함수 def rl(input_variable, lengths, target_variable, mask, max_target_len, encoder, decoder, batch_size, teacher_forcing_ratio): # Set device options input_variable = input_variable.to(device) target_variable = target_variable.to(device) mask = mask.to(device) # Lengths for rnn packing s..