Researches

차량내 승객 감지 시스템

연구 개발의 목적

• 전 세계적으로 차량의 수가 증가함에 따라, 차량내에 남겨진 아이들이 열사병으로 인하여 사망하는 사고가 늘고 있다. 이를 방지하여 차량 내에 움직이는 생명체가 존재하는 경우 운전자 또는 주변에 알람을 주는 시스템을 개발한다.

Clutter 제거 기술

• 차량 내에는 다양한 사물들이 존재하며, 레이더의 입장에서 이 사물들에 의해 반사된 신호는 움직이는 생명체를 구분하는데 있어 방해요소가 된다. 따라서 고정된 사물(clutter)에 대한 특징을 제거하여 움직이는 대상만 인식한다.

빔포밍 기술

• 배열 안테나를 이용하여 대상의 각도와 추정하는 기술로, 모든 방향에 대해 배열 안테나를 지향시키고 출력 값들로 공간 스펙트럼을 형상한다. 배열 안테나의 출력과 각도 가중치의 선형적인 조합으로 Range-Azimuth-Elevation 3차원에서 대상 위치를 파악할 수 있다.

실험 결과

• 60 GHz FMCW 레이더 사용
• 아래는 차량 내 승객 감지 결과

차량 내 승객 감지 결과

연구 기대 효과

• 차량 내에서 발생하는 위험 사고를 방지
• seat belt reminder를 대체

Detection of Fall Risk Behaviors in Severe Patients

연구 개발의 목적

• 병원이나 요양원에서 중증 환자의 경우 간병인 없이 움직일 경우 낙상에 취약하다. 낙상 탐지는 신속한 조치와 치료가 가능하지만 부상을 막을 수 없기 때문에 낙상 예측과 예방이 중요하다. 낙상 위험동작의 경우 노인의 근육 약화로 침대에서 일어설 때 낙상 빈도가 높은 점을 이용하여 설정했다.
• 따라서 본 연구는 침대에 누워있다가 일어날 때 윗몸을 일으키는 동작을 위험 동작으로 설정하고 탐지하는 것을 목표로 한다.

제안하는 특징 인자

• 레이더를 통한 거리와 속도 정보로 동작 인식 연구에 많이 사용한다. 하지만 중증 환자의 윗몸 일으키기 동작은 비교적 느리고 거리의 변화도 팔이나 다리를 드는 행동과 비슷하다. 따라서 움직임 특징 인자를 추가하여 총 7 가지 특징 인자를 사용했다.

7가지 특징인자

시간에 따른 특징 인자 비교

• 앞서 구한 7 가지 특징 인자는 각각 시간에 따라 변하는 경향이 다르다. 따라서 시간에 따라 변하는 특징 인자를 분류할 시계열 모델이 필요하다.

시간에 따른 7가지 특징인자

실험 결과

• 60 GHz Frequency Modulated Continuous Wave(FMCW) Radar 신호를 사용했다. 실험 동작은 위험 동작 2가지와 일상 동작 4가지로 설정했다.

위험 동작 2가지
일상 동작 4가지

• 시계열 분석을 위해 LSTM과 Bi-LSTM을 사용했고 모델 구조는 다음과 같다.

모델 구조

• 1 가지 동작 실험에 대한 교차 검증 결과는 다음과 같다.

교차 검증 결과

• 위험 동작과 일상 동작을 섞어 실험했을 때 위험 동작만을 잘 탐지하는 것을 볼 수 있다.

탐지 결과

연구 기대 효과

• FMCW 레이더 기반의 이전에 사용된 특징 인자와 새로운 특징 인자를 이용하여 중증 환자의 낙상 예방 및 예측을 위한 기상 탐지 기법을 제안한다.
• 낙상 예방 및 예측을 위한 낙상 위험 동작 탐지를 통해 낙상율을 줄이고 국민 안전에 기여할 것으로 기대된다.

오탐지 물체가 있는 상황에서의 재실 탐지

연구 개발의 목적

• 재실 탐지는 차량, 보안 시스템, 스마트 홈, 구조 활동 (밀폐된 건물에 사람이 아직 남아있는지, 해당 유무 확인) 등 광범위하게 활용할 수 있음.
• 레이더를 이용한 기존 재실탐지 연구에서는 움직임이 없는 벽, 나무 등에 대한 연구가 이루어짐. 움직임이 있는 오탐지 물체가 존재하는 상황은 고려되지 않음.
• 그래서 FMCW 레이더를 이용하여, 선풍기, 로봇청소기처럼 움직임이 있는 오탐지 물체가 존재하는 상황에서 사람의 재실 유무를 판단하고자 함.

특징인자 – 로봇청소기

• 기존 feature map에서는 로봇청소기와 사람의 차이가 드러나지 않음.

range map - 사람/로봇청소기

• 로봇청소기의 경우, 항상 바닥에 위치. 그래서 빔조향을 했을 때 각도에 따라 power가 shift 되면서 나타남.
• 반면, 사람의 경우 elevation degree의 넓은 범위에서 지속적으로 나타남.
• 그래서 Range-Angle Map에서 파워가 지속적으로 나타나는지, shift되면서 나타나는지를 통해 사람과 구분할 수 있음.

빔포밍 결과 - 사람/로봇청소기

특징인자 – 선풍기

• 레이더 신호로부터 5개의 feature map을 뽑을 수 있음.
• 사람과 선풍기 모두 변위가 관측되어, feature map만으로는 구분이 힘듦.
• 그러나 Range-velocity map에서는 사람과 선풍기의 신호가 다르게 나타남.

기존 feature map

• 이를 이용하여, range-velocity map에서 전후 속도 차이를 이용하여 특징인자 생성

특징인자 - abrupt change

• 선풍기 데이터는 음/양 속도가 빠르게 변함.
• 그래서 zero-crossing으로 이를 카운트하여 특징인자 생성.
• 사람의 정상 분당호흡수는 12~20인 반면, 선풍기는 분당 카운트가 매우 큼.

특징인자 - count per minute

실험 결과

• 아직 연구 진행 중
• 레이더로 움직이는 물체가 있는 상황에서 오탐지 물체와 사람을 구분할 수 있음을 보임

레이더를 이용하여 보행장애 판단

연구 개발의 목적

• 사생활 침해를 하지 않고, 날씨나 옷차림과 같은 환경에 영향을 적게 받으며, 비접촉/비구속 센서인 레이더를 이용하여 보행 파라미터를 분석해 보행장애를 판단함. 이 때 레이더의 상하/좌우 각을 활용하여 좀 더 명확한 파라미터를 추출하는 것이 목표.

Envelope 및 보행 파라미터 추출

• 상하/좌우 각도마다 envelope을 추출하여 여러가지 보행 파라미터(step time, step length, speed 등)를 계산함.

실험 결과

• 아직 연구 진행 중
• 현재 모션센서와의 대조를 통해 레이더로 충분히 파라미터를 계산할 수 있음을 보임

range doppler map
레이더와 모션센서의 속도 포락선

EMG Pattern Recognition

근전도 신호

• 사용자 의도에 의한 근섬유의 수축과 이완시 필연적으로 발생하는 전기적 신호
• 서로 다른 동작에 따라 신호의 패턴이 상이함

서로 다른 두 가지 동작에 대한 근전도 신호

정교한 손동작 추론

EMG를 이용한 동작 추론 과정 개념도

EMG를 이용한 동작 추론 동작 판별 후보군

• 사용자는 손동작을 통해 다양한 의도를 표현할 수 있으며 손동작에 따라 근육에서 발생하는 근전도 신호는 상이한 특성을 가짐
• 사용자 동작 시 근육에서 발생되는 근전도 신호로부터 인체 동작을 역추론
• 팔 표면에서 취득한 근전도 신호로부터 5개의 개별 손가락 굽힘 동작과 3개의 다중 손가락 굽힘 동작을 추론

정교한 손가락 동작 판별 기술

• 근전도 신호로 부터 특징 인자를 추출
• 추출된 특징 인자를 이용한 모델링 및 동작 판별

5개 동작에 대한 2차원 특징 인자와 모델

손동작 추론의 응용

• 정교한 손가락 동작 판별 기술의 응용은 관성 센서와 함께 사용하여 보다 광범위한 사용이 가능함
• 웨어러블 장비 형태의 개발을 통해 사용자가 보다 편리하게 이용 가능하며 일상 생활 속 다양한 분야에 사용이 가능해짐

근전도와 관성센서로 이루어진 웨어러블 디바이스와 실제 착용 모습

지화 인식

지화와 해당 글자

• 지화: 24개의 서로 다른 손가락 동작과 팔의 자세로 한글 자음과 모음을 표현
• 근전도 기반의 손가락 동작 판별 기술과 관성 센서 기반의 자세 추론을 통해 24개의 지화를 인식

9가지 다른 자세와 각도를 통한 자세 추론

마우스 커서 제어

• 직관적인 손동작을 통해 마우스 커서의 이동과 우 클릭 좌 클릭 드래그 동작 제어
  • 관성 센서를 이용하여 커서의 이동 제어
  • 근전도 센서를 이용하여 우 클릭 좌 클릭 그리고 드래그 제어

멀티 미디어 제어

• 간단하고 직관적인 동작을 이용한 멀티미디어 및 전자지도 제어

오디오 플레이어 제어의 예시

기능
	음악 재생 / 일시 정지	이전 곡 재생	다음 곡 재생	음량 증가	음량 감소
사용 동작
	주먹 쥠	중지 굽힘	엄지 굽힘	팔의 좌측 회전 -> 주먹 유지	팔의 우측 회전 -> 주먹 유지

EEG Burst Suppression Segmentation

Motivation

EEG의 특정 pattern 중 하나인 burst suppression은, 높은 전압(~100 μV)으로 묘사되는 burst 와 낮은 전압(< 5 μV)으로 묘사되는 suppression이 비주기적으로 나타나는 형태이다. (그림 1)

그림 1. EEG burst suppression의 예시

Burst suppression은 주로 사람의 뇌 활동이 매우 저조할 때 나타나며, 예를 들면 hypothermia (저체온증), general anesthesia (마취상태), in treatment of status epilepticus (간질발작 치료), coma (혼수) 일 때에 일어난다.
Burst suppression의 양상은 사람의 뇌 활동 정도에 따라 다르며, 뇌 활동이 저조할 수록 burst가 적게 나타난다. 예를 들면, 마취의 정도가 심할 경우 EEG는 더 suppressed된다. (그림 2)

그림 2. 상대적으로 의식이 있는 상태(상)와 의식이 없는 상태(하)의 burst suppression 비교

따라서, burst suppression pattern이 얼마나 suppressed 되었는지를 정량화하는 지표들이 많이 개발되었다. 예를 들면, burst suppression ratio (BSR), burst suppression probability (BSP) 등이 있다.
이런 지표들은 마취의 경우 마취심도 측정에 사용될 수 있고, 의사들에 의해 treatment 이후 매겨지는 신경 활동 지표인 neural deficit score (NDS)와의 관계도 밝혀진 바가 있어 정확하고 빠른 진단에 도움을 줄 수 있다.
이런 지표들의 전처리과정으로는 burst suppression 패턴 상에서 burst 구간과 suppression 구간을 정확히 나누는 것이 필요하며, 이를 burst suppression segmentation이라고 한다.
기존의 많은 경우 전압에 임계값을 설정하여 나누는 발견적이고 경험적인 방법 부터 시 영역 혹은 주파수 영역상의 특징량을 설계하여 나누어 보는 등의 방법을 사용하였다.
본 연구에서는, 시 영역 혹은 주파수 영역 측면에서 뇌파를 바라보았던 기존의 연구와는 달리, 시-주파수 영역의 측면에서 바라보고 보다 더 정확한 segmentation을 해내었다.

Methods

시-주파수 분석을 위해, 시 영역상의 EEG를 먼저 주파수 영역의 power spectral density (PSD)로 만들어, 두 데이터를 동시에 이용했다. (그림 3)

파일:BSfrequency.png 그림 3. EEG 데이터와 그 주파수 분석

시 영역상의 EEG와 주파수 영역상의 PSD를, EEG 분석에 쓰이는 기존의 특징량 (엔트로피, regularity)에 적용시켰다.
이미 알려진 burst 부분과 suppression 부분에 대하여, 그 특징량들은 구분성이 눈에 띄게 나타났다. (그림 4)
위의 패턴을 burst와 suppression 각각 Gaussian 분포로 모델링하였으며, 임의의 데이터에 대해서는 maximum likelihood estimation을 통해 burst 혹은 suppression으로 결정했다. (그림 5)

그림 4. Burst와 suppression 구간에 대한 Shannon entropy의 분포

→ Gaussian Modeling

그림 5. Burst와 suppression 구간에 대한 Shannon entropy의 Gaussian 분포. 동심원: Gaussian modeling의 등고선; 적색선: maximum likelihood estimation을 이용한 분류경계

예의 burst suppression 패턴에 대하여 시 영역 혹은 주파수 영역만 사용한 방법 보다 더 좋은 segmentation을 보였다. (그림 6)

그림 6. Burst suppression 예시와 시 영역, 주파수 영역만을 이용한 segmentation(두번째, 세번째), 시-주파수 영역을 이용한 segmentation(마지막)

Conclusion

시-주파수 영역 측면에서 Burst suppression segmentation을 해석하여 더 높은 성능을 낼 수 있는 가능성을 발견했다.
기존의 높은 성능을 내던 방법들과 유사하거나 더 높은 정확도를 보였으며, learning/testing framework를 통해 기존 방법들의 최적화 과정을 더 쉽게 만들었다.

Automotive Radar Compensation

연구 배경

  최근 자동차 기술에 있어 핵심은 '안전 운행' 으로, 기상 조건이나 운전자의 부주의, 운행 중의 돌발 상황등으로부터 사고를 방지하기 위한 목적이다. 이를 위해 다양한 센서들이 사용되고 있으며, 특히 레이더 센서는 열악한 기상 조건이나 도로 상황에 강건하여 설치 비율이 증가하고 있다.
  차량 안전 기술의 수요가 증가함에 따라 디지털 빔형성 방식이 접목되어, 도래각 추정 알고리즘의 중요성이 부각되었다. 이 때, 도래각은 target의 위치를 나타내는 것으로 그림 1의 θ 와 같이 표현할 수 있다. 그러나 실제 레이더 신호에서 도래각 추정 시 부정확성의 문제가 발생하게 된다. 이는 다음과 같은 원인(그림 2)으로 발생하며, 물체를 잘못 인식하는 문제점을 야기한다.

그림 1. DOA

그림 2. 각도 추정의 부정확성 원인

① 배열 안테나 별 위상 차이 ② Mutual coupling

  따라서 본 연구에서는 test chamber에서 측정한 각도별 amplitude와 phase의 왜곡정도를 수치화한 reference 데이터를 이용하여 각도 추정의 부정확성 문제를 해결하고자 한다.

도래각 추정 알고리즘

• 빔형성 알고리즘

  배열 안테나를 이용한 가장 기본적인 도래각 추정 기법으로 모든 방향에 대해 배열 안테나를 지향시키고 출력 값들로 공간 스펙트럼을 형성한다. 이 때 배열 안테나의 출력은 각 안테나의 가중치를 계수로 갖는 안테나 출력의 선형적인 조합으로 이루어지며, 가중치 벡터를 결정하는 방법에 따라 Bartlett 알고리즘과 Capon 알고리즘으로 나눠지게 된다.

1. Bartlett 알고리즘

   특정 방향에서 입사되는 신호에 대해 큰 가중치를 주어 신호 출력을 최대로 만드는 방법

2. Capon 알고리즘

   특정 방향에서 입사하는 신호의 이득은 일정하게 유지하면서 동시에 간섭신호 또는 잡음에 대해서 상대적으로 작은 가중치를 주는 방법

• MUSIC 알고리즘

  부공간을 기반으로 하는 대표적인 알고리즘이다. 부공간 알고리즘은 배열 안테나 출력의 공분산 행렬의 고유치 분해를 통해 신호 부공간과 잡음 부공간으로 분리하여, 부공간들의 정보를 이용해 도래각을 추정해 내는 방법이다. MUSIC 알고리즘은 입사 신호에 해당하는 모든 방향 벡터가 잡음 부공간과 직교한다는 특성을 적용한 기법이다.

배열 안테나 보정

  배열 안테나 보정은 test chamber에서 획득한 reference 데이터를 이용하여 수행된다. 이 때 reference 데이터는 각도별 왜곡 정도를 수치화한 데이터로 방향 벡터의 phase를 보정하는데 사용된다. 아래 그림 3은 제안하는 배열 안테나 보정의 개념도를 나타낸다.

그림 3. 배열 안테나 보정의 개념도

  최종적으로 reference 데이터를 이용하여 보정 신호처리를 수행하게 된다. 신호처리를 거쳐 배열 안테나 보정 값을 취득하게 되고, 이를 방향 벡터에 적용하여 보정된 방향 벡터를 얻게 된다.

실험 결과

• 77 GHz Frequency Modulated Continuous Wave(FMCW) Long Range Radar(LRR) 및 Short Range Radar(SRR) 신호 사용

그림 4. Bartlett 시뮬레이션 결과

파일:Figure2b.jpg 그림 5. Capon 시뮬레이션 결과

그림 6. MUSIC 시뮬레이션 결과

• 검정색 실선은 보정 전을 붉은색 점선은 보정 후의 결과를 나타냄
• 위 그림 4, 5, 6은 모두 실제 도래각이 -11°일 때로, 보정 전에는 -12.5°에서 최대값을 가지나 보정 후에는 모두 -11°를 가리켜 보정효과가 있음을 확인

• 아래 그림 7, 8, 9는 보정 전, 후의 결과를 도래각에 따라 오차로 나타낸 그래프임
• 그림 9의 경우, 각도 별 데이터가 여러개 있어 평균 및 표준편차로 나타냄

그림 7. LRR 데이터 (-11° ~ 0°)

그림 8. SRR 데이터 (-40° ~ -20°)

그림 9. SRR 데이터 (-47° ~ 47°)

• 위 결과에서 모두 보정 후 오차가 줄어드는 것을 확인함

• 그림 10은 실제 도로 상황에서 취득한 데이터의 도래각 추정 결과임

• 보정 전, 1203 및 1204 스캔에서 한 물체에 대해 두 물체로 인식되는 target split 현상이 나타남
• 보정 후, 도래각이 보정될 뿐만 아니라 target split 현상이 사라짐

결론

• 제안하는 배열 안테나 보정을 통해 방향 벡터를 보정하였으며, 보정 전과 후의 결과를 비교함
• 도래각 추정의 정확도가 향상되었으며, 또한 target split 현상을 극복함

Estimation Heart Rate in PPG Signal

연구배경

사람들의 건강에 대한 관심이 높아지면서 일상생활에서도 건강상태를 파악할 수 있는 연구가 진행되고 있다. 대표적인 예로 스마트 워치를 이용하여 실시간으로 심박수를 측정하는 것이다. 일반적으로 심박수 측정을 위해 electrocardiogram (ECG, 심전도)를 이용하여 심박수를 측정한다. 하지만 정확한 심박수 측정은 가능하나 심전도 장비의 이용에 의해 장소에 제약을 받는다. 장소에 제약이 없고 실시간으로 쉽게 심박수를 측정할 수 있는 웨어러블 디바이스에서 심박수를 측정하는 연구가 활발히 진행되고 있다.

PPG 신호

• PPG 신호는 혈관의 부피 변화를 나타내는 물리적인 양
• 심장의 수축과 이완으로 혈관의 부피가 변하기 때문에 이를 이용하여 심박수 측정 가능
• 운동시 발생하는 잡음에 취약한 단점이 있어 잡음 제거 기법 필요 (운동 중인 경우 maximum peak로 심박수를 측정하면 오차 발생)

그림 1. 휴식 중의 PPG신호

그림 2. 운동 중의 PPG신호

움직임 잡음 제거 기법

• PPG 신호와 가속도 신호의 상관관계 분석
• 움직임에 의해 생기는 잡음을 3축가속도 신호로 점진적으로 제거

그림 3. PPG신호에서 움직임 잡음을 점진적으로 제거하는 과정

• 아래의 그림은 움직임 잡음 제거 유무에 따른 심박수 측정 결과이다. 움직임 잡음을 제거한 후 더 정확한 심박수 측정을 하는 것을 알 수 있다.

그림 3. PPG신호에서 움직임 잡음을 점진적으로 제거하는 과정

결과

제안 알고리즘을 통해 주파수 영역에서 움직임 잡음을 제거하여 정확한 심박수 측정을 할 수 있게 되었다. 기존의 시간 영역과 주파수 영역에서의 알고리즘보다 제안 알고리즘은 더 좋은 성능을 보였다.