3. Reinforcement Learning for Open-Domain Dialogue *Optimizing method: Policy gradient method 1) Action : Dialogue utterance to generate 2) State : Previous two dialogue turns -LSTM 모델 이용해 concatenation + 벡터 변환 3) Policy : LSTM encoder-decoder의 파라미터 4) Reward (1) Ease of Answering *챗봇이 반환하는 질문에 대해 대답하기 쉬운지 측정 -"I don't know"와 같은 dull response를 반환할 확률을 이용해 계산 -S: list of dull responses consisting..

*CHAI: 강화학습 Q-Learning 기법을 적용하여 학습된 챗봇 1. Introduction 1) Offline Reinforcement *CHAI는 Offline Reinforcement 방식을 사용하여 학습됨 *Online Reinforcement: agent(에이전트)와 environment(환경)가 직접적으로 상호작용을 하면서 policy(정책)를 업데이트 *Offline Reinforcement: 에이전트와 환경이 지속적으로 상호작용을 할 필요 없이, 정해진 정첵을 기반으로 상호작용을 하여 시행착오를 겪은 데이터를 미리 수집한 후, 이 데이터를 사용해 정책 업데이트 -지속적으로 에이전트와 환경이 상호작용을 할 필요가 없어 비용 및 시간 측면에서 효율적 2. 데이터셋 *논문에서 사용한 데이터..

*영상 출처: https://youtu.be/jFafFDzzl0A 1. Baseline 모델 - Seq2seq with attention model *인코더가 유저의 발화를 인코딩 -> 디코더가 이를 받아 한 step 씩 디코딩 *매 step마다 유저의 발화에 attention 메커니즘 적용 및 맥락을 계산 후, 차례대로 디코딩 실행 -일반적인 Seq2seq2 모델의 문제점: Seq2seq 모델 자체가 RNN에 기반했으므로 기울기 손실같은 문제 발생 가능 -반면 attention 메커니즘은 처음에는 기존의 seq2seq 모델의 문제점을 보환하기 위해 사용됨: 문장 내 각 단어 간의 유사성을 파악 및 문장의 전체 맥락 파악 (-> 현재는 attention 메커니즘이 단독으로 쓰인 Transformer 모델..

1. Introduction *챗봇이 더 인간처럼 작동할 수 있도록 하는 중요 요소: empathy, 공감 -특히 "잠재적인" 감정을 이해하는 것이 중요함 -그럼 공감이란 무엇일까? "상대방의 정서적인 상태에 따라 감정적으로 반응할 수 있는 능력" => 공감적인 챗봇을 구현할 시 speaker와 listener 역할 & 대화 이후 이 둘 간의 감정 상태 변화를 고려해야 함 *본 논문의 기여 ① 사용자의 공감을 증폭하고, 두 대상이 느낄 미래의 감정 상태 사이의 가능한 변화를 고려하기 위해, 인간을 시뮬레이션하는 RL 에이전트 설정(Conceptual Humans Model) ② 실험 결과는 CheerBots이 EmpatheticDialogues 데이터셋을 이용했을 때 최첨단 성능을 달성함을 증명함 3. ..

[감정 분석을 위한 BERT 사전 학습 모델과 추가 자질 모델의 결합] 논문 리뷰 1. 연구 배경 -최근 여러 연구에서 특정 언어 현상과 관련된 언어 지식을 추가적인 자질로 사용할 경우, 해당 자질과 관련된 자연어처리 문제에서 모델의 성능이 향상된다고 보고. 이에 따라 본 논문에서도 '외적 결합' 방법을 이용해 BERT 모델에 감정 자질을 추가함 -사전 학습된 BERT 모델과, 논문에서 따로 학습한 BERT 기반의 감성 자질 모델을 외적 결합하여 일반 BERT 모델보다 더 뛰어난 감성 분류 성능을 보임 -기존의 사전 학습된 BERT 모델을 단독으로 사용했을 때의 성능 < BERT 기반의 감성 자질 모델을 단독 사용했을 때의 성능 < 사전 학습된 BERT 모델 + BERT 기반의 감성 자질 모델 동시에 사..