[뇌과학] 꿈, 기억, 감정을 측정 및 저장/제거할 수 있을까?

 

 

 

X문제 

꿈, 기억, 감정을 측정 및 저장/제거할 수 있을까?

관련 질문

• 행복했던 순간의 감정을 저장하여, 언제든 다시 느낄 수 있게 할 수는 없을까?
• 잠잘 때 꾸는 꿈을 영상으로 저장 자료화 할 수 없나요?
• 인간의 감정은 과학적으로 측정 가능한가?

 

배경

꿈, 기억, 감정에 대한 질문들이 X-프로젝트 홈페이지와 오프라인 활동 등을 통해 다수 도출되었습니다. 꿈, 기억, 감정 등에 관한 연구는 뇌와 관련되어 있으며, 뇌 관련 연구는 현재 전 세계적으로 매우 활발히 연구되고 있는 분야 중 하나입니다.

선행연구

• 미국 캘리포니아공과대학 연구팀이 인간의 두뇌활동을 지금보다 훨씬 더 정밀하게 기록하고 분석하는 시스템을 개발, 이를 통해 인간의 꿈을 읽어낼 수 있을 것으로 전망하고 있습니다(Cerf, Moran, et al. "On -line, voluntary control of human temporal lobe neurons." Nature 467.7319 (2010): 1104-1108.).
• 한국과학기술원 생명과학과 김대수 교수 연구팀은 스트레스 저항성이 있는 쥐와 저항성이 없는 쥐의 뇌를 조사해 스트레스 저항성에 왼쪽 전전두엽 활성이 중요한 역할을 하며 이곳을 광유전학적 방법으로 자극하면 스트레스로 인한 우울증을 극복할 수 있음을 발견했다고 밝혔습니다(Eumee Lee, et al. "Left brain cortical activity modulates stress effects on social behavior", Scientific Reports 5, Article number: 13342 (2015)).

 

기대효과

• 과학기술적으로 꿈을 연구하는 국내 연구팀은 없다고 해도 무방합니다. 국내에서 관련 기술 개발을 통해 꿈, 기억, 감정의 측정, 저장, 제거가 가능하다면 획기적인 연구가 될 것입니다.
• 부모나 선생님은 아이들이 말하지 못한 아픔이나 고통이 무엇인지 알고 싶어 합니다. 이것이 실현된다면 우리 아이들의 꿈부터 보고 싶다는 의견들이 많습니다.

---

추가 Research 

 

 

감정 인식 기술 동향

https://www.bioin.or.kr/board.do?num=282536&cmd=view&bid=tech

감정 인식 기술 동향

1. 동영상 기반 감정 인식 기술 동향

• 얼굴의 특징을 분류
• SVM(Singular Vector Machine), 랜덤 포레스트 알고리즘으로 그 특징들을 분석 및 얼굴 표정 파악
• 주변 배경 또는 영상의 조도에 크게 영향을 받음
• 얼굴의 각도에 영향을 받기 때문에 높은 성능을 달성하기 매우 힘듦.
• CNN과 같은 딥 네트워크가 널리 사용됌
• 시간적 연속성을 추출/분석하기 위한 LSTM(Long Short-Term Memory)이라는 기법도 자주 사용됌
• 사람의 감정을 화남, 역겨움, 두려움, 행복함, 중립, 슬픔, 놀라움 등 7가지로 분류함
• 연속적인 Arousal-Valence(AV) 영역에서의 감정 인식 연구도 활발

 

 

2. 음성 기반 감정 인식 기술 동향

• 음성만으로 감정 인식을 하는 응용 사례는 실제로 많지 않음
• 작은 시간 영역 단위의 실시간 감정 인식에 집중함
• 특징 추출 연구로는 개인 마다 발성의 특징이 다르기 때문에 이를 반영하는 특징을 찾는 것을 목표로 함
• 남성과 여성의 학습 모델을 각각 생성한 다음, 입력 음성을 남성 혹은 여성으로 선별한 다음 성별에 맞는 학습 모델과 비교하는 방식으로 인지하는 방법도 있음
• 최근에는 딥러닝을 이용한 음성 기반 감정 인식 기술들이 주를 이루고 있음
• 이지원 등은 일반화 오류를 보완할 수 있는 다중 작업 기반 합성곱 신경망을 이용한 음성 감정 인식 시스템을 제안함
• 강소연 등은 베이지안 로지스틱 회귀(Bayesian logistic regression)를 랜덤 포레스트(random forest)로 대체하여 종래 베이지안 기법들보다 정량적인 감정 인식 성능을 향상함

 

3. 생체신호 기반 감정 인식 기술동향

• Haag 등은 여러 바이오 센서들로부터 얻은 다중 신호를 사용하여 감정 을 인식하도록 컴퓨터를 학습시키는 방법을 제안함
• 송병호 등은 사용자와 로봇 간 감성적인 교감을 통해 LED 조명을 제어 하는 시스템으로써 사용자의 생체 신호(맥박, 혈압, 혈당)를 측정하여 분석한 후 감성을 분류하는 연구를 수행함
• 이현수 등은 사용자의 생체 신호를 기반으로 감정을 판별하여 이를 바탕으로 음악을 추천하는 시스템을 제안함
• 류기민 등은 인공신경망을 이용하여 감정에 따른 EEG 신호를 AV 영역에서 분류하는 기법을 선보임

 

4. 멀티모달 딥러닝 기반 감정 인식

• CNN은 영상의 공간적인 특징을 잘 추출해주며, 이는 인간의 표정에 대한 적절한 특징을 잘 추출하도록 도와준다.
• RNN에서는 시간적인 특징을 고려해줄 수 있기 때문에 영상 의 맥락 및 분위기를 적절히 학습할 수 있도록 도와준다.
• convolutional 3D 네트워크는 동영상을 입력으로 받을 수 있으며, 이를 통해 공간 영역에서 의 콘벌루션(convolution) 연산을 적용할 수 있을 뿐만 아니라 시간 영역에 대해서도 콘벌루션 연산을 수행할 수 있다. 따라서 학습 성능이 향상될 수 있다. 

 

 

 

---

Emotion Tracking / 감성측정 기술 

https://bnr.co.kr/technology/emotion-tracking/

감성측정, 감성추적, Emotion Tracking - Brain&Research

뇌파 EEG

• 흥분/흥미(Arousal) : 현재 정신적으로 흥분되어 있는지 vs. 안정되어 있는지를 측정
• 일치성(Matchness) 측정 : 주어진 정보가 인지적 부조화를 일으키는가?
• 정신부하(Mental load) 측정 : 무언가 복잡하게 추리, 계산하는 정신적 작업을 일으키는 stress 상황인가?
• 감성적(Emotional) 편향성 : 뇌 반구의 기능적 비대칭성에 따른 활동비교로, 상대적으로 감정적/논리적 편향측정

 

눈동자 크기(Pupil Diameter)

• 조명 뿐 아니라 순간적인 흥미나 흥분에 의해서도 동공의 크기는 변화합니다. 옛날 중국의 보석상들은 고객의 눈동자를 관찰하며, 눈동자가 커지게 하는 상품을 권하여 판매하곤 했습니다.

피부전기반응 (GSR, EDA)

• 예전부터 거짓말 탐지기(Polygraph)로 활용되어 왔습니다.
• GSR은 간편하게 손가락에 착용하고 쇼핑하거나 광고를 보면서 측정할 수 있으며, 고객의 흥분이나 스트레스에 대한 즉각적이고 심플한 정보를 제공

 

표정 (Facial Expression)

• 표정을 일으키는 수많은 얼굴근육의 활동을 측정하는 안면 근전도 facial EMG’ 입니다.
• 불쾌감이 들면, 사람은 자기도 모르게 살짝 미간을 찌푸리거나, 턱에 힘을 주거나 입술이 오무립니다. 반면에 기분이 좋으면 눈가와 입가에 미소가 번지게 됩니다.

 

눈깜박임 (Blink)  변화

• Eye tracking 정보로부터 눈 깜박임의 빈도를 측정할 수 있습니다. 눈 깜박임은 장기간에 걸친 점진적인 흥미 및 주의집중의 감쇄/증가를 보여줍니다.

 

 

---

파이썬강좌 - 딥러닝으로 표정인식하기 

https://m.blog.naver.com/roboholic84/221633210887

파이썬 강좌 - 딥러닝으로 표정 인식하기 (Emotion Recognition)

 

딥 네트워크를 이용한 고성능 감성인식 및 표정기반 인증 실용화 기술 개발 보고서

http://www.ndsl.kr/ndsl/search/detail/report/reportSearchResultDetail.do?cn=TRKO201800042084 

NDSL 보고서 - 딥 네트워크를 이용한 고성능 감성인식 및 표...

---

 

브레인 디코딩 기술 동향 

https://ettrends.etri.re.kr/ettrends/166/0905002216/

브레인 디코딩 기술 동향