Journal Archive

CNN[1]은 딥러닝의 한 종류로, 이미지 분석에 주로 사용되는 알고리즘이다. CNN은 이미지의 공간 정보를 보존하는 특성이 있으며 이미지에서 객체를 탐지하거나 분류하는 데 유용하다. CNN의 핵심적인 요소는 합성곱 계층(convolutional layer), 풀링 계층(pooling layer), 완전연결 계층(fully connected layer) 등이 있다. 합성곱 계층은 이미지에서 특징을 추출하며, 이를 통해 이미지 내의 패턴을 파악한다. 풀링 계층은 합성곱 계층의 출력을 다운샘플링하여 네트워크의 복잡성을 줄이고 과적합을 방지하는 역할을 한다. 완전연결 계층은 마지막 단계로 이전 계층에서 추출된 특징들을 결합하여 최종 예측을 수행한다. CNN 기반의 이미지 분석은 다양한 분야에서 활용되고 있으며, 특히 의료 이미지 분석에 효과적이다. X-선 이미지, MRI, CT 등의 이미지 데이터를 분석하여 질병을 진단하거나 예측하는 등의 작업[2]-[4]에 사용된다.

많은 질병 진단은 의료 영상 이미지를 바탕으로 이루어진다. 따라서, 이미지 분석에 탁월한 딥러닝 알고리즘이 질병 진단에 활용될 수 있다. 딥러닝 기반의 모델은 학습 이미지를 통해 복잡한 패턴과 특징을 학습하고, 이를 바탕으로 새로운 이미지를 분석한다. X-선 이미지 분석은 흉부 질환 진단[2]-[4], 골절 감지[12], 종양 탐지 등[13]에 널리 사용된다. 예를 들어, CNN이나 ResNet 등의 모델을 사용하여 폐렴[14], 결핵[4],[15], 유방암[16] 등의 흉부 질환을 판별하는 데 사용될 수 있다. 또한, 최근에는 X-선 이미지를 활용하여 COVID-19의 감염 여부를 판단하는 연구들도 있다[2],[3],[15].

Shah 등[17]은 X-선 및 CT 이미지를 사용하여 COVID-19를 감지하는 데 인공지능 기반 시스템을 사용하였다. 이 논문에서는 총 80개의 논문을 검토하고 데이터 세트, 전처리 기법, 분할 방법, 특징 추출, 분류, 실험 결과를 탐색하고 분석하여 인공지능 기반 프레임워크를 제안하였다. Khan 등[18]은 COVID-19 진단을 위해 전이학습으로 훈련시킨 4개의 딥러닝 모델[5],[6],[19]을 비교하였다. Ghaderzadeh 등[15]은 COVID-19 진단을 위해 개발된 딥러닝 모델을 서베이 논문으로 정리하였다.

Rahman 등[4]은 U-Net[20] 기반 모델을 사용하여 폐 X-선 이미지를 세그먼트하고 결핵에 걸린 폐를 분류하는 모델을 제안하였다. Yadav 등[21]은 Coarse-to-Fine 접근법을 사용하여 이미지 데이터 부족 문제를 해결하고 GoogleNet[22] 기반 모델을 사용하여 잠재적 결핵 환자를 분류하는 프레임워크를 제안하였다.

딥러닝 모델은 전문가 수준의 성능을 보여주며, 일부는 전문가를 능가하는 예측 결과를 보여준다. 하지만, 기존 딥러닝 기반 X-선 이미지 분석 모델은 많은 훈련 데이터와 높은 계산 능력을 필요하며 모델 최적화에 오랜 시간이 소요되는 문제점이 있다. 또한, 의료 데이터의 개인 정보보호 문제로 공개 데이터셋을 찾기 어려우며 데이터셋의 크기 또한 충분치 않은 경우가 많다. 해결 방법으로 전이 학습(Transfer Learning)[23]과 데이터 증강을 통한 모델 훈련이 있으며 본 논문에서는 데이터 증강을 통해 문제를 해결한다.

데이터 증간은 전처리 방법중 하나이다. 이미지 데이터 증강은 적은 데이터 양으로 높은 성능을 얻기 위한 방법이다. 기존의 이미지 데이터를 변형하거나 확장하여 데이터셋의 다양성을 증가시키고 모델 성능 향상, 과적합 방지등의 장점을 갖게한다.

Shorten 등[24]은 다양한 이미지 데이터의 증강법을 조사하였다. 최근 가장 많이 사용되는 이미지 데이터 증강법은 기하학적 변환법(Random Flip, Random Crop 등), 색 공간 증강, 커널 필터, 이미지 혼합, 무작위 지우기(Random Erase)[25], 특징 공간 증강 등으로 조사되었다.

기하학적 변환 방법론 중 하나인 Random Flip은 이미지를 일정 확률로 수평 또는 수직으로 뒤집는다. 이 방법은 Simonyan 등[5]에 의해 모델 훈련에 활용되었다.

Random Crop은 이미지를 무작위 크기로 잘라내는 방식으로 데이터를 증강한다. 이 방법은 Alex 등[26]이 제안한 모델을 훈련시키기 위한 데이터 증강에 활용되었다. 또한 Taylor 등[27]의 연구는 간단한 CNN 네트워크에서 Random Crop을 적용하였을 경우에 좋은 성능 향상을 기대할 수 있다는 것을 보여주었다.

Random Erase는 이미지의 직사각형 영역을 무작위로 선택하여 해당 영역을 지우거나 노이즈를 추가하는 방식으로 데이터를 증강한다. Zhong 등[25]에 의해 제안된 이 방법을 다양한 CNN 아키텍처[5],[6]에 적용하여 모델의 성능 향상이 확인할 수 있었다.

앞서 소개된 다양한 데이터 증강 방법론을 조합하여 사용하는 Random Augmentation 기법도 연구되었다[28]-[30]. 그러나 증강 방법론의 수가 늘어날수록 적합한 증강 파라미터를 찾는 데 필요한 시간과 비용이 증가하는 문제가 발생한다. 이 문제를 해결하기 위해 Cubuk 등[31]은 최적화된 검색 공간을 탐색하는 그리드 알고리즘을 제안하였다.

이렇게 증강된 이미지 데이터는 실세계의 다양한 시나리오를 반영할 수 있어 데이터셋의 다양성을 향상시키는 것이다. 예를 들어, 실제 세상에서는 같은 사물이나 사람이 다양한 각도에서 보이거나, 다양한 조명 하에서 보일 수 있다. 데이터 증강은 이러한 실세계의 다양성을 고려하여 데이터 변형으로 증강하고 모델이 학습할 수 있도록 한다. 이를 통해, 모델은 훈련 데이터에 과적합되는 것을 막고, 실세계의 다양한 상황에서도 잘 동작할 수 있다.

본 연구에서 Tuberculosis Chest X-ray Database[4]와 Tuberculosis Chest X-rays(Shenzhen)[32] 데이터베이스를 사용하여 데이터셋을 구축하였다. 데이터셋은 8:2의 비율로 훈련 데이터와 테스트 데이터로 분할하여, 총 4900장의 이미지 중 결핵 훈련 이미지는 3920장, 테스트 이미지는 980장이 포함되었다. 이러한 비율 설정은 충분한 모델 학습과 객관적 평가가 가능한 테스트 데이터 확보를 위함이다[33],[34]. 표 1은 데이터셋의 분포를, 그림 1은 데이터의 상태를 보여준다. 모델에서 처리되는 이미지 크기를 고려하여 데이터셋의 이미지는 512×512 픽셀로 스케일링하였다. 원래 데이터셋 이미지는 32bit RGB형식이었으나, 모델에서는 OpenCV 라이브러리를 활용하여 255 grayscale로 변환하였다. 이 변환 과정은 폐의 음영과 조직을 더욱 선명하게 보여주어 이미지 분석에 정확성을 높일 수 있다.

Fig. 1. 
Example of X-ray image dataset (Left: Tuberculosis, Right: Normal)

전체적인 시스템의 아키텍처는 그림 2에 표현되어 있다. 본 시스템은 프론트엔드와 백엔드로 나뉘어져 있으며 프론트엔드는 Streamlit을 사용하여 환자의 X-선 사진을 PC 또는 모바일 디바이스에서 입력 받을 수 있는 구조로 구현되었다.

Fig. 2. 
System architecture (Frontend: Streamlit, Backend: Pytorch)

시스템을 시작하면 사용자에게 그림 3과 같은 인터페이스가 제공된다. 사용자는 사이드바 및 크롭박스를 사용하여 X-선 이미지의 크기, 명도, 밝기, 선명도 등을 변경하여 입력할 X-선 이미지를 원하는 대로 수정하고 입력한다.

Fig. 3. 
Frontend to apply the trained model

X-선 이미지 입력 후, 시스템은 백엔드에서 PyTorch 기반 X-선 이미지 분류 모델을 실행한다. 그림 4는 이에 대한 모델 스키마를 보여준다. 입력된 이미지는 512×512×1 크기의 Grayscale 이미지로 변환되고 이미지 인코더에 전달되어 저차원 공간에 임베딩된다. 이미지 인코더는 FPN(feature-pyramid network)[35] 기반 ‘Neck’ 구조를 활용하여 이미지에 대한 피쳐를 보강한다. 이 보강된 피쳐들은 Fully Connected Layer와 softmax 함수를 거쳐서 결핵 여부를 예측한다. 예측 후 사용자 인터페이스에는 결핵 여부, confidence score, 그리고 Grad-CAM을 통해 분석된 결과사진을 확인할 수 있다. 이 결과 사진에 제공된 시각적 정보는 모델이 입력 이미지의 어느 부분에 주목하여 결핵 판별을 하였는지 보여준다. 이러한 정보 제공은 블랙박스로 느껴지는 모델의 작동 방식을 사용자가 이해하는데 도움을 줄 수 있다.

Fig. 4. 
X-ray image classification model schema

본 연구에서는 ResNet50[6]과 EfficientNet-b0[7]에 데이터 증강 전처리 과정을 추가하였다. 이 모델들은 이미지를 기반으로 학습하는 모델이며 서로 다른 모델 구조를 가진다. 본 연구에서 적용한 전처리 과정은 그림 5-7에 의사코드로 제공되어 있으며, 전처리 과정은 각 훈련 데이터 이미지에 적용되어 데이터 증강에 사용되었다. 전처리된 이미지들은 ResNet50과 EfficientNet-b0 모델에 각각 입력되어 학습이 진행되었다. 두 모델은 동일한 학습 데이터를 사용하였으며 전처리의 성능을 평가하기 위해 독립적으로 학습되었다. 모델의 성능 평가는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score의 4가지 척도를 사용하여 진행되었으며 Accuracy는 모델이 올바른 예측을 한 비율을 나타내는 수식으로 다음 식 (1)과 같다.

Fig. 5. 
Random erasing pseudo-code

Fig. 6. 
Random augment pseudo-code

Fig. 7. 
Random flip pseudo-code

Precision은 모델이 True라고 예측한 경우 중 실제로 True인 비율을 나타내며 수식으로는 다음 식 (2)와 같다.

Recall은 실제 True인 케이스 중 모델이 True라고 예측한 비율을 나타내며 수식으로는 다음 식 (3)과 같다.

F1-Score는 Precision과 Recall의 조화 평균을 나타내고 수식으로는 다음 식 (4)와 같다.

데이터 증강 전처리 과정을 통해 얻은 데이터로 훈련된 모델 성능 평가는 표 2와 같다. ResNet50 모델의 경우, 전처리를 적용하지 않았을 때의 정확도는 85.6%, 정밀도는 78.2%, 재현율은 90.0%, F1-Score는 81.1%였다. 하지만, 'RandErasing' [25], 'RandAugment'[31], 'RandFlip'[5] 전처리를 순차적으로 적용하면 모든 성능 지표가 개선되었다. 특히, 세 가지 전처리 모두를 적용했을 때의 정확도는 96.3%, 정밀도는 93.6%, 재현율은 94.6%, F1-Score는 94.1%으로 개선되어 가장 높은 성능을 보였다. EfficientNet-b0 모델 역시 전처리를 적용하였을 때 정확도가 85.9%에서 94.2%, 정밀도는 78.0%에서 89.8%, 재현율은 88.0%에서 92.3%, F1-Score는 80.9%에서 91.0%으로 각각 증가하는 것을 확인할 수 있었다.

본 연구의 결과는 ResNet50과 EfficientNet-b0 모델을 사용하여 X-선 이미지 분석을 진행하였을 경우 제안한 전처리 조합이 모델의 성능을 개선하는 것을 확인하였다. 특히 Random Erase나 Random Flip같은 기하학적인 증강과 Random Augment 같은 광학적인 증강을 같이 사용하였을 때 가장 좋은 성능 향상을 보여주었다.

본 연구에서는 싱글 NVIDIA GTX 3090 GPU를 사용하여모델 학습을 진행하였다. 학습 데이터셋에 대해 총 10 에포크를 진행하였으며, 한 번에 32개의 이미지를 포함하는 배치 크기를 사용하였다. 모델의 파라미터 업데이트를 위해 AdamW[36] 옵티마이저를 사용하였다. AdamW는 Adam 알고리즘에 가중치 감소를 도입한 것으로, 모델의 일반화 능력을 향상시키는 데 도움이 된다. 옵티마이저의 학습률(lr)은 0.001로 설정하였으며, 가중치 감소율(weight decay)은 0.05로 설정하였다. 모델에 입력되는 모든 X-선 이미지는 정규화 과정을 거쳤으며, 평균(mean)은 [123.675, 116.28, 103.53], 표준편차(std)는 [58.395, 57.12, 57.375]로 설정하였다. 정규화 이후, 모든 이미지는 opencv라이브러리의 cvtColor 함수를 사용하여 그레이스케일로 변환한다. RandomErasing의 setting_prob는 0.5, area_ratio는 0.02~0.4, aspect_range는 0.3~3.3 으로 설정하였다. Random Augment의 num_policies는 2, Random Flip의 setting_prob는 0.5으로 설정하였다.