Journal Archive

AI 하틴루의 가장 큰 특징은 60GHz 고성능 레이더 센서를 사용하여 2m 이내 거리의 대상자에 대해 레이더 주파수 분석을 통해 심박수와 호흡수 등 생체 정보를 비접촉식으로 측정한다는 것이다. 또, 온도, 습도, 조도, 공기질(TVOC, Total Volatile Organic Compounds) 센서를 이용하여 주변 환경정보를 수집한다.

Fig. 1. 
Product, monitoring app and web of AI Hatinroo

센서들에 의해 측정된 데이터들은 클라우드로 전송되어 보관되며, 외출, 수면, 활동, 휴식 등의 네 가지 대상자 상태(Status)와 수면시간 및 깊은 수면, 렘(REM, rapid eye movement)수면, 뒤척임 등의 수면 패턴을 추정한다. 또, 누적된 정보와 현재 데이터를 정량적으로 비교하는 규칙기반 알고리즘에 의해 측정값들의 이상 징후를 판단하고, 이상시 앱을 통해 푸시 메시지 알림 서비스를 제공하고 있다.

AI 하틴루에서 제공하는 앱을 이용해 대상자와 보호자가 모두 대상자의 상태를 모니터링할 수 있다. 수집 및 분석된 정보들은 일간, 주간, 월간 리포트로 자동으로 정리되어 앱에 제공된다. 또, 관리자용 앱과 웹을 이용하여 생활지원사(관리자)와 기관이 참여하는 대규모 돌봄 서비스도 지원한다.

생활지원사는 보통 주 1회 어르신 댁을 방문하며, 관리자용 앱으로 다수 어르신의 상태를 파악하고 다수의 사회복지사에게 공지사항을 공유할 수 있다. 또, 어르신에게 취한 조치사항을 앱에 등록할 수 있으며, 생활지원사가 등록한 조치사항을 포함한 모든 대상자에 관한 정보는 시, 군, 구청, 복지관 등 상위기관을 위한 통합 관제 웹 사이트에서 확인할 수 있다. 최근 여러 지자체 및 기관이 이러한 방식으로 AI 하틴루를 이용한 홀몸 어르신 돌봄 서비스를 제공하고 있다[11],[12].

AI 하틴루는 사용자(대상자)의 심박수, 호흡수, 심박수 정확도, 호흡수 정확도, 움직임, 센서와의 거리, 속도, 온도, 습도, 조도, 공기질(TVOC), d2, 사용자 상태 등의 데이터를 분 단위로 수집하며 각 데이터의 의미는 다음과 같다.

심박수와 호흡수 데이터는 사용자의 1분당 심박수와 호흡수를 의미하고 심박수 정확도와 호흡수 정확도는 각각에 대한 정확도를 의미하며 0과 1사이의 실수 값을 갖는다. 움직임은 사용자의 움직임을 의미하며 1이하의 값을 갖고, 거리는 측정 기기와 사용자와의 거리를 의미하며 5 미만의 값을 갖는다. 속도는 사용자의 분당 이동 속도를 나타내며 2 미만의 값을 갖는다. 그 외에, 온도와 습도는 0과 100사이, 조도는 0과 9사이의 값을 갖는다. TVOC는, 0과 500 사이는 공기질이 좋다는 의미이며, 501과 1000사이는 보통, 1001이상은 심각함을 의미한다. d2 변수는 레이더의 반사 면적을 나타낸다.

변숫값들에 규칙기반 방법론을 적용하여 사용자의 상태를 분 단위로 도출한다. 상태 변수는 0, 2, 3, 4 등 네 가지 값을 갖는다. 0은 미감지, 2는 활동 상태, 3은 휴식 상태, 4는 수면 상태를 의미한다. 1인 값을 갖는 경우는 존재하지 않는다.

제안하는 알고리즘에서는 습도, 조도, 공기질, d2 데이터를 제외한 7가지 변수를 활용하여 개발하였으며, 특히, 정적 생활 습관 판단 알고리즘과 비정상 수면 판단 알고리즘에서는 사용자 상태 변숫값을 적극 활용하였다.

오설치 판단 과정은 두 가지 단계로 이루어진다. 먼저, 관리도 기반의 이상 데이터 탐지로, 수집된 데이터 값이 정상 범위인지 판별하며, 다음으로 특징추출(feature extraction) 및 랜덤 포래스트(random forest)[13] 모델을 이용하여 정상 데이터와 유사한 오설치 데이터를 한 번 더 구분한다.

AI 하틴루 장비가 비접촉 방식의 레이더 센서로부터 데이터를 수집하기 때문에 사람이 아닌 주변의 전자파이나 물체에 의해 종종 신뢰할 수 없는 데이터가 수집된다. 이러한 이유로 수집된 데이터가 대상자의 생체신호로부터 측정된 데이터인지 여부를 추가로 판별함으로써 오설치 판단 알고리즘의 신뢰성을 높이고자 했다.

어르신께서 오랫동안 한 공간에 머무르는 일이 잦으면 신체활동이 저하되어 건강이 악화할 우려가 있다. 어르신의 나이, 건강 상태 등 개인정보와 관계없이 모든 사용자에게 일관되게 적용할 수 있는 정적 생활 습관 판단 알고리즘을 제시하기 위해, 사용자의 하루치 데이터에 대해서 연속적인 비활동 시간을 탐지하였다.

제안하는 정적 생활 습관 판단 알고리즘은 크게 두 가지 단계로 구성된다. 첫 번째 단계는 수면시간을 제외한 사용자의 하루치 데이터에서 사용자 상태 변수를 기준으로 비활동 상황을 탐지하는 것이며, 두 번째 단계는 탐지된 비활동 상황의 지속 여부와 빈도를 도출하여 정적 생활 습관을 판단하는 것이다.

어르신의 정적 생활 습관을 판단하기 위해 우리는 어르신의 수면시간을 제외한 시간에 상태 변수가 3 또는 4의 값을 가질 때 어르신이 비활동적 재실 상황이라 정의했다. 우리는 먼저 비활동적 재실 조건에 만족하는 시간 정보를 추출한다. 시간 정보는 하루의 분을 의미하는 0과 1399(=24시간×60분-1) 사이의 정수를 사용하였다.

비활동적 재실 상황을 탐지한 후 상황의 지속 정도를 확인한다. 지속적인 시간이 기준값 이상이면 정적 생활 습관이 있다고 판단한다. 우리는 실험에서 기준값을 3시간으로 설정했다. 3시간이라는 기준은 대상자의 상황, 나이, 건강 조건에 따라 변경할 수 있다. 그림 2는 제안하는 정적 생활 습관 판단 알고리즘의 의사코드(pseudo code)를 보여 준다.

Fig. 2. 
Detection algorithm for consecutive inactivity

우리는 수면시간을 이용하여 수면의 정상/비정상 상태를 추정하는 알고리즘을 제안한다. AI 하틴루에서 제공하는 사용자 상태(status)는 3이 휴식 상태, 4가 수면 상태를 의미하지만, 수면 상태임에도 사용자 상태 값이 3으로 오인되는 경우가 종종 발생하기에, 우리는 사용자 상태가 3, 4인 경우를 모두 수면 상태라 가정하였다. 이에, 시간(분) t애서 수면 상태 f는 다음과 같이 정의한다.

우리는 하루 단위로 수면 패턴을 분석해 정상, 비정상을 구분하고자 하기에 하루 1440(=24×60)개의 사용자 상태 값을 분석한다. 이에, 날짜 d의 수면 상태는 다음과 같이 정의한다.

우리는 개인별 수면 상태의 분포를 일정기간 날짜별 수면상태를 적절히 누적하는 방식으로 모델링하였다. 시간의 흐름에 따른 변화를 모델링하기 위해 식 (15)와 같이 망각 상수(forgetting factor)[16]를 이용해 누적하여 학습하였다.

그리고 hist의 최댓값으로 나누어 다음과 같이 0과 1사이 값으로 정규화한다.

이렇게 얻어진 수면 분포 hist_r는 이산형 분포이기 때문에 연속형으로 변환하고 노이즈의 영향을 감소시키기 위해 적절히 스무딩할 필요가 있다. 우리는 실험을 통해 사람별로 빈번하게 학습하는 데 문제가 없도록 시간 복잡도가 낮고 성능이 우수한 ELM(Extreme Learning Machine) 신경망[17]-[19]을 사용해 학습하는 것이 적합하다고 판단하였다. ELM은 단층 신경망으로, 학습을 위해 경사하강법이 아닌, 닫힌 형식(closed form)의 해를 통해 빠른 학습이 가능하다.

ELM 학습을 위해, 식 (16)을 1440×1 크기의 행렬로 변환해 학습데이터 X로 정의하면 은닉층의 출력은 식 (17)로 계산할 수 있다.

여기서, 은닉층이 h개의 노드로 구성되어 있을 때, W는 h×1 크기의 랜덤 행렬이고, b는 은닉층 노드들의 바이어스 벡터이다. 학습 가중치 파라미터 β는 다음 식 (18), (19)를 사용해 계산할 수 있다.

학습 파라미터 β 계산 후 시간 변환에 따른 식 (16)에 대해 스무딩 처리된 가중치 α는 X를 [0, 1, 2, ... , 1339]^T 컬럼 벡터로 정의해 다음 식 (20)을 사용해 계산할 수 있다.

그림 3은 이산형 수면 분포 hist_r과 이를 ELM 알고리즘으로 스무딩한 수면 분포의 그래프를 보여준다. 파란실선은 hist_r, 빨간색 점선은 스무딩된 그래프이다. ELM 알고리즘이 하나의 은닉층으로 비선형 분포를 잘 표현함을 알 수 있다.

Fig. 3. 
Discrete distribution smoothing by learning sleep time patterns

우리는 학습된 수면 시간 모델 α와 특정 날짜의 수면 상태 s_d의 유사도을 코사인 유사도[20]를 사용해 다음과 같이 계산하였다.

그림 4는 학습된 수면 시간 모델과 테스트 데이터의 대한 그래프와 코사인 유사도의 예를 보여준다. 그림 4 (a)의 빨간 실선은 테스트 데이터로, 일부는 당시 AI하틴루 센서 값이 측정되지 않아 0값을 갖는다. 그러나 대략적인 수면 시간은 녹색 점선의 학습된 수면 시간 패턴과 유사하다고 볼 수 있어 이때 코사인 유사도는 0.856이다. 그림 4 (b)는 학습 수면 시간과 실제 수면 시간이 반대인 경우로 유사도가 0에 가깝게 측정되었다. 이는 수면 시간 패턴이 평소와 다름을 의미한다.

Fig. 4. 
Sleep time similarity comparison

학습된 수면 시간 모델과 유사도가 낮은 비교 데이터는 비정상 데이터로 여겨진다. 한 번 비정상 수면을 했다고 해서 수면 건강에 문제가 있다고 단정할 수 없기에, 특정 기간(주간 또는 월간)에 누적된 수면 상태 유사도 합이 낮은 경우 비정상으로 판단하는 것이 바람직하다고 볼 수 있다.

본 연구의 실험을 위해 실험참가자 8명의 데이터를 수집하였다. 8명의 참가자는 AI 하틴루를 설치하고 휴식, 활동, 수면 등 일상에서의 생활 중 데이터를 수집하였다. 데이터 수집 과정에서 AI 하틴루의 설치 매뉴얼을 준수하였다. AI 하틴루는 장비 중심으로부터 상하, 좌우 120도의 범위, 거리는 5미터(m) 이내에서의 측정을 권장한다.

오설치 및 정적 생활습관 판단 알고리즘을 테스트하기 위해 휴식, 활동 그리고 전자제품의 영향을 받는 데이터를 수집했다. 참가자가 특정 활동을 수행하기로 약속한 상태에서 데이터를 수집했다. 장비와 측정자 간 거리는 1~3미터를 유지했고, 각도는 좌우 60도 범위를 유지했다. 실험 참가자는 휴식 상황에서 주로 독서나 인터넷 검색을 하였으며, 활동 상황에서는 제자리걸음 또는 체조 등을 하였다. AI 하틴루 센서에 대한 전자제품의 간섭 영향을 확인하기 위해 사람이 부재한 상황에서 선풍기, 에어컨 등의 전자제품만 AI 하틴루의 측정 범위 내에 두고 데이터를 수집하였다. 활동마다 시작 시점과 종료 시점을 기록하였고 분 단위의 레이블링(labeling) 작업을 수행했다.

수면 시간에 대한 정상/비정상 판단을 위해 4주 동안 8명에 대해서 학습 데이터를 구축했다. 참가자는 24시간 상시 하틴루 센서를 동작시키고 평소처럼 생활하면서 수면 시작과 일어난 시간을 기록했다. 하틴루 센서는 365일 24시간 동작하기 때문에 전원의 일시적 중지나 기타 센서의 물리적 상태에 따라 발생되는 비정상 데이터도 포함되어 있다. 다양한 이유로 발생하는 비정상 데이터 및 노이즈로 인한 영향을 줄여 정확한 데이터 분포를 학습하기 위해 하루 1440번 센서 값이 모두 수집된 날짜의 데이터를 학습에 사용하였다. AI 하틴루 센서가 정상 작동하는 경우 하루 1440번의 센서값이 분 단위로 측정되는데, 가끔 이보다 적은 횟수의 데이터가 수집된다. 또, 전체 수면 시간이 일정 시간 이상인 데이터만 학습 데이터로 사용했다. AI 하틴루가 설치된 방에 재실하지 않고 다른 곳에서 수면을 취하는 경우가 있어 수면시간이 지나치게 적게 나오는 데이터가 간혹 있어 정상 수면 시간 학습에 안 좋은 영향을 끼치기 때문이다. 정리하면, 모든 실험에서 수면이 3시간 이상 이루어지고 1440번의 센서 값들이 모두 측정되는 날짜의 데이터들만 비정상 수면 판단 알고리즘을 위한 학습 데이터로 사용했다.

오설치 판단 알고리즘의 첫 번째 단계는 관리도 기반의 이상 데이터를 탐지하는 것이다. 미감지 상태의 데이터를 제외하고 휴식, 활동, 수면 상태의 데이터를 취합해서 중심선과 관리한계선을 계산한다. 그림 5는 취합한 데이터를 이용하여 관리도를 그린 예시이다. 관리도 우측에 표시된 수치는 위에서부터 관리상한선, 중심선, 관리하한선을 나타낸다. AI 하틴루 장비가 정상적으로 동작하지 않는 환경에서 수집된 데이터는 관리상한선보다 크거나 관리하한선보다 낮은 값을 갖게 되어 빨강 점선으로 표현한 관리한계선을 벗어난다.

Fig. 5. 
Control chart of HR (out-of-control)

오설치 판단을 위한 두 번째 단계는 특징추출 및 머신러닝 모델 적용이다. 실험참가자가 수집한 데이터 중에서 휴식, 활동, 수면 상태의 데이터에 대해 레이블값 0을 부여하고, 전자제품으로부터 수집한 데이터에 대해 레이블값 1을 부여하고 이를 구분하는 실험을 실시하였다, 실험을 통해 특징추출을 위한 슬라이딩 윈도우의 크기는 10으로 설정하였다. 그리드 서치(grid search) 방법을 통해, 의사결정나무의 개수, 노드를 분할하기 위한 샘플 데이터 개수, 리프(leaf) 노드가 되기 위한 샘플 데이터 수, 분할 시 고려할 특징 개수, 의사결정나무의 깊이에 대한 최선의 파라미터 값을 결정했다.

표 1은 특징추출의 효과를 보여 준다. RF 1은 특징추출 과정 없이 7개의 변수를 그대로 사용하여 랜덤 포레스트를 학습한 모델의 테스트 결과이며, RF 2는 7개의 변수와 그 표준편차 특징들을 학습한 모델의 테스트 결과, RF 3은 7개 변수에 대해 각각 7가지 특징을 추출하여 학습한 모델의 테스트 결과이다. 표 1의 숫자들은 5-폴드 교차검증(5-fold cross validation) 수행 결과들의 평균값이다.

표 1을 통해, RF 3이 정확도, 재현율, 정밀도, F1-점수에서 모두 가장 뛰어난 성능을 보임을 확인할 수 있다. 다시 말해, 원본 데이터를 활용하는 것보다 추출한 특징 정보를 함께 활용할 때 실험 결과가 개선되는 것을 확인할 수 있다.

그림 6은 랜덤 포레스트 모델에서 중요하게 사용된 상위 15개 변수의 중요도(feature importance)를 출력한 것이다. 거리(r) 변수에서 추출한 표준편차(r_std)와 피크-투-피크(r_ptp), 심박수(hr) 변수에서 추출한 피크-투-피크(hr_ptp) 통계량 특징들이 변수중요도 상위 1, 2, 3위에 올라있는 것을 확인할 수 있다. 그 외에도, 통계량 기반의 추출된 특징들이 AI 하틴루가 자체적으로 수집하는 변수보다 분류를 위해 중요하게 활용되었음을 확인할 수 있다.

Fig. 6. 
Feature importance

우리는 간단한 규칙으로 정적 생활 습관을 판단하는 알고리즘을 제안하였다. 그림 7은 두 사용자의 비활동적 재실 상황 탐지를 위한 상태 변수를 모니터링한 결과를 보여 준다.

Fig. 7. 
Status monitoring

각각 빨강과 초록으로 표현한 두 사용자의 시간에 따른 상태 변수를 확인할 수 있다. 사용자 2의 경우 상태 변수가 활동(activity)을 나타내는 빈도가 매우 높고 연속적으로 상태가 수면(sleep)이나 휴식(rest)을 보이는 경우가 드물다. 반면에 사용자의 1의 경우는 오전 9시 40분부터 오후 2시까지 상태 변수의 값이 휴식과 수면인 상황이 연속되고 있다. 오후 5시부터 오후 8시 40분 전후까지도 마찬가지 상황이 발생한다.

실험에서는 정적 생활 습관 기준을 180분으로 설정하였다. 따라서 사용자 1은 “3시간 이상 정적 활동 2회”, “각각 201분, 219분”이라는 결과가 산출되었으며, 사용자 2에 대해서 적용하면 “해당 사항이 없음”이라는 결과가 산출된다.