강화학습을 우울함 해소 챗봇에 적용한다면?

※강화학습은 역동적인 환경 내에서 학습을 진행함

→ 사용자의 상태에 따라 여러 환경을 정의하면?

 

1. 강화학습 환경 정의

1) 환경 정의 기준

*DSM-5 혹은 PHQ-9

(1) 공통점

*최근 2주를 기준으로 나열된 증상들이 나타나야 함

*지속적인 우울한 기분, 흥미와 쾌락 감소, 체중 변화, 수면 변화, 초조함, 피곤함, 무가치함, 집중력 저하, 자살생각 항목들을 포함

 

(2) 차이점

① PHQ-9: 점수에 따라 우울 정도를 다르게 평가

-0~4: 우울증 아님

-5~9: 가벼운 우울증

-10~14: 중간 정도 우울증

-15~19: 중간 정도 우울증(심함/치료 요함)

-20~27: 심한 우울증(적극적인 치료 요함)

 

② DSM-5: PHQ-9 점수와 비교했을 때, DSM-5는 가벼운 우울감/우울증보다는 의학적인 치료가 필요한 우울증을 판별

(DSM-5를 기준으로 PHQ-9 검사를 실시하면 최소 15점)

 

(3) PHQ-9 vs. DSM-5

*PHQ-9과 DSM-5를 비교했을 때 전반적인 문항(증상)은 동일함

*그러나 목표하는 챗봇은 의학적인 도움이 필요한 우울증을 앓는 환자보다는 우울감 및 가벼운 우울증을 앓고 있는 환자를 대상

⇒ 의학적인 진료가 필요한 정도의 수준을 진단하는 DSM-5보다는 환자의 우울 정도를 세부적으로 구분할 수 있는 PHQ-9 점수 지표 적용

 

2) 여러 환경 세분화

*PHQ-9 점수에 따라 세부 환경으로 분리

-점수가 15점 이상이면 챗봇과의 대화 중단 및 병원 추천

-위 경우를 제외한 나머지의 세 경우 챗봇과의 대화 진행

 

(1) 세분화하는 이유

*우울함을 해소하는 챗봇에 강화학습을 적용했을 시 구상하는 큰 구조

-PHQ-9을 기준으로 사용자의 우울 정도를 계산: 우울증 아님, 가벼운 우울증, 중간 정도 우울증

-> 사용자의 우울 정도가 어느정도인지에 따라 적합한 대화 방식이 달라짐

(ex) 우울증이 아닌 사람과 우울증을 지닌 사람이 일상에서 느끼는 평소 기분이 다름

우울증 아님	중간 정도 우울증
Chatbot: 오늘 하루 어떻게 지내셨나요? User: 그럭저럭이야, 평소와 같아 Chatbot: 오늘 하루도 별탈없이 지나가서 다행이네요.	Chatbot: 오늘 하루 어떻게 지내셨나요? User: 그럭저럭이야, 평소와 같아 Chatbot: 오늘도 00님을 우울하게 만든 일이 있었나요?

 

(2) 학습 시 데이터셋

*오프라인 강화학습을 진행함을 전제

우울증 아님(0~4점)	가벼운 우울증(5~9점)	중간 정도 우울증(10~14점)
일상 대화 데이터셋 (ex) 주제별 텍스트 일상 대화	감정 대화 데이터셋 (ex) 웰니스 대화 스크립트, 송영숙님 감성 대화 데이터, AI Hub 감성대화 말뭉치

 

※문제점

① 가벼운 우울과 중간 정도의 우울에 맞는 데이터가 없음

-수집할 수 있는 대화 데이터셋은 가벼운 우울 & 중간 정도 우울 각각에 맞는 대화가 따로 구분되어 있지 않음

⇒ 각각의 환경에 맞는 데이터셋을 수동으로 만들어야 함

 

② 일반적으로 대화 데이터셋은 턴이 길지 않고 정보가 없어 각 데이터마다의 우울 정도를 쉽게 판별할 수도 없음

 

③ 10점~14점, 15점~19점을 구분하지 않는 경우

-PHQ-9에서는 중간 정도의 우울증을 두 단계로 나눔: 10~14점은 의학적 진료가 필요하지는 않는 상태, 15점~19점은 의학적 진료가 필요한 심각한 상태라 봄

-그러나 정부 사이트 등 PHQ-9을 제공하는 여러 사이트 중에서 두 상태를 구분하지 않는 경우도 존재

★문제점을 어떻게 해결해야 할까?

 

 

2. 예시 플로우차트

※CHAI 챗봇 논문 참고함

---

위 부분은 아직 구현이 되지 않았지만 이제 슬슬 구현해야 하는 상황이기 때문에...더 고민해야한다...