Journal Archive

점자 디스플레이는 정보를 점자로 변환해 주는 기술로, 시각장애인이 촉각을 통해 정보를 읽을 수 있도록 도와주는 장치이다[12]. 점자 디스플레이는 점자를 느낄 수 있도록 일련의 작은 돌기 또는 점자를 만들어 낼 수 있어, 시각장애인은 점자로 구현된 책, 문서, 뉴스 기사 등 다양한 문자 정보를 얻을 수 있다. 디스플레이는 다양한 형태로 구현될 수 있는데 크게 점자 인쇄물 디스플레이와 디지털 점자 디스플레이로 구분된다. 기존에는 점자 인쇄물 디스플레이를 구현하여 점자 인쇄물을 사용하거나 특수한 인쇄기로 점자를 빈 문서에 인쇄하도록 하는 기술이 연구되었다. 이러한 방식은 얼마나 정교하게 많은 양을 점자로 인쇄할 수 있느냐에 중점을 두고 연구되고 있는데 기존의 점자 인쇄물을 사용하는 방식과 크게 다르지 않아 현재는 디지털로 점자를 구현하는 연구로 기술이 확장되고 있다. 디지털 점자 디스플레이는 일반적으로 브라유 점자 체계로 동작한다. 점자 디스플레이는 대체로 그림 2와 같은 형태로 구성되며 점자 패널과 점자 디스플레이로 구분된다. 점자 패널은 가로와 세로로 점자를 배열하여 각 글자를 형성하며, 시각장애인은 패널의 점자를 손가락으로 느끼면서 정보를 읽고 해독한다. 해당 디스플레이는 일반적으로 휴대성이 뛰어나고 배터리로 구동되기 때문에 시각장애인의 정보 접근성이 뛰어나다는 장점이 있다. 또한, USB나 블루투스를 지원하는 기기의 경우 컴퓨터나 스마트폰과 같은 전자기기와 연결하여 다양한 문서를 읽고 작성할 수 있어 높은 접속성을 가지고 있다.

Fig. 2. 
Braille display diagram

TTS는 텍스트를 음성으로 변환하는 기술로, 현재는 인공지능과 음성 합성 기술의 발달로 다양하게 응용되고 있으며 시각장애인의 보조 기구에도 활용되고 있다[12],[13]. TTS 시스템의 작동 원리는 그림 3과 같은 흐름도로 설명할 수 있다. 시스템은 먼저 텍스트의 입력을 받거나 이미지로부터 텍스트를 추출하여 기기가 음성으로 변환할 내용을 결정한다. 이후 입력된 텍스트 값은 언어 처리 과정을 거치는데 이 단계에서 시스템은 텍스트의 문장 구조, 단어의 발음 및 억양, 그리고 언어적 특성을 분석하여 언어 모델이 추출한 텍스트를 자연스러운 형태로 변환되도록 한다. 이후, 처리된 언어는 컴퓨터가 읽을 수 있는 음성 출력으로 변환된다. 언어 처리된 텍스트는 언어 모델로 전달되어 음성 합성에 활용되는데, 이 과정에서 언어 모델은 텍스트를 다양한 언어적 패턴과 문법적 규칙에 기반을 두어 사용자가 문장을 이해하도록 하는데 사용되며 인공지능을 활용하면 문장 구조를 파악하고 단어 간의 관계를 반복적으로 학습하여 문장의 완성도를 높일 수 있다[9]. 최종적으로, 언어 모델을 거쳐 생성된 텍스트는 음성 합성 엔진으로 전달되어 음성화되는데 이 단계에서는 디지털화된 음성 데이터가 이해하기 쉽고 자연스러운 음성으로 도출되는 것이 중요하다. TTS 시스템은 청각으로 정보를 전달하므로 정보에 대한 이해가 빠르다는 장점이 있고 미리 녹음된 음성 샘플을 사용하여 자동으로 음성을 생성하기 때문에 많은 양의 텍스트를 변환할 수 있다[12]. 또한, 기존에 문제가 되고 있었던 시각장애인의 디지털 접근성을 증대시키는 데 긍정적인 역할을 하고 있으며 시각장애인에게 정보 접근의 평등성과 인터넷 사용의 자유를 제공하는 것을 통해 장애인들의 사회 참여와 외부 활동을 끌어내는 것에 도움이 된다.

Fig. 3. 
TTS system flowchart

본 논문에서 제안하는 시스템은 입력되는 책의 이미지에서 글자를 추출하여 점자로 번역하고, 이를 실시간으로 물리적인 점자 형태로 구현한다. 이를 위해서는 카메라가 인식한 이미지에서 텍스트를 정확하게 추출하고 추출된 텍스트를 기반으로 올바른 점자를 구현할 수 있는 언어 모델이 필요하다.

광학문자인식(OCR; optical character recognition)은 이미지 파일에 존재하는 텍스트를 기계가 이해할 수 있는 텍스트 데이터 형태로 변환하는 기술로, 이는 자료를 취급하는 모든 분야에서 아날로그 기록문서의 디지털화에 필수적인 기술이다. 현재 실생활에서 이용되고 있는 분야로는 신분증 촬영, 자동차 번호판 인식, 우편물 분류 등이 있고, 이미지 내부에서 필요한 텍스트 정보를 추출한다는 점에서 본 연구에서 활용할 수 있다. OCR 엔진의 작동 구조는 크게 문자 검출 방식과 문자 인식 방식으로 구분할 수 있다. 문자 검출 방식은 이미지에 존재하는 문자의 위치를 찾는 비전 기술로, 그림 4와 같이 문자 주변에 사각형 상자로 영역을 지정하거나 문자열의 연결성을 파악하여 단어와 문자 라인을 검출한다. 문자 인식 방식은 검출된 문자가 어떤 문자인지 판별하고, 이를 텍스트 형태의 데이터로 변환하는 인공지능 모델을 의미한다. 전자기기 앱이나 한글, 워드, pdf 파일에서 문자를 인식하는 방식이 대표적인 예이며, 글자 인식 방식은 개별 글자를 인식하는 방식과 단어 단위를 인식하는 방식으로 구분할 수 있다.

Fig. 4. 
Example of text detection through OCR engine

* The figure contains Korean characters to explain the process which converts Korean character of input image into Korean text data using OCR engine as an example.

기본적으로 한글을 인식하고 오픈소스로 제공하는 OCR 엔진은 Tesseract OCR과 EasyOCR이 있다. Tesseract OCR은 2000년대 초반에 개발되어 현재는 구글에서 개발하고 관리하고 있다. 꾸준히 업데이트되고 있으나, CPU로만 사용 가능하고 한글 인식 성능이 낮다는 단점이 있다. EasyOCR은 2020년에 개발된 신생 엔진으로 CPU, CUDA 가속을 이용한 GPU 지원이 가능하며 Tesseract OCR과 비교했을 때 한글 인식 성능이 좋다는 장점이 있다. 또한, Python을 기반으로 쉽게 이미지 내 텍스트 검출이 가능하고 딥러닝 기술을 활용하고 있어 높은 텍스트 인식 정확도를 보인다. 본 논문에서 한글 인식 학습모델로 사용한 OCR 엔진은 EasyOCR이며 프로그램에서 자체적으로 제공하는 튜토리얼을 기반으로 학습을 진행하여 개발된 한글 인식모델을 통해 텍스트를 추출한다. OCR 엔진을 사용한 점자 시스템은 기존의 전자기기와 연결하여 사용하는 점자 디스플레이와 달리, 한글 인식모델을 기반으로 하는 것이 가장 큰 차이점이다. 이는 한글 인식모델의 성능 개발에 따라 문자를 인식하는 정확도와 활용성의 향상될 수 있음을 의미하며 개발된 언어 모델을 통해 다양한 언어를 하나의 디바이스로 점자화할 수 있으므로 높은 범용성을 가진다.

이미지에서 추출한 텍스트를 하드웨어 시스템으로 구현하기 위해서는 추출된 텍스트를 한글 점자 체제에 맞게 분리하여 디지털화하는 과정이 필요하다. 한글 점자는 한 글자를 6개의 점(가로 2개, 세로 3개)으로 표현하는데 이 점들이 초성, 중성, 종성으로 이루어져 하나의 글자를 이루며 그림 5의 왼쪽과 같이 왼쪽 위에서 아래로 각 1점, 2점, 3점이며 오른쪽 위부터 아래로 각 4점, 5점, 6점이 된다. 점자 한 칸을 형성하는 6개의 점으로 만들어 낼 수 있는 점형의 수는 64종류이며, 점이 하나도 찍히지 않는 경우를 제외하고 총 63개의 점형을 이용하여 점자를 표기한다. 점자를 디지털화할 때는 점형이 사용된 경우를 1로 두고 사용되지 않은 경우를 0으로 고려하여 구현할 수 있다. 이때 하나의 점형은 1bit로 표현할 수 있고, 6bit를 가지는 정보 표현 방식을 사용할 수 있다.

Fig. 5. 
(left) 6-point braille system, (right) examples of Korean braille composition

* The figure contains Korean characters to explain Korean braille composition as an example.

한글은 기본적으로 모아쓰기 방식을 사용하는데, 이는 초성, 중성, 종성이 하나로 결합하여 음절을 형성하는 형태이다. 초성에 올 수 있는 음소의 종류는 ‘ㄱ’~‘ㅎ’까지이고 중성에 올 수 있는 음소의 종류는 ‘ㅏ’~‘ㅣ’이다. 또한 종성까지 추가되면 그 수가 증가하게 되어 63종류의 점형으로는 6점식 점자 체계를 표현할 수 없다. 따라서, 한글의 경우 약어를 사용하며 초성과 중성, 종성을 하나씩 점자로 표현하는 풀어쓰기 방식을 사용한다. 하지만 이 방식은 초성, 중성, 종성을 각 점형과 대응하여 나타내는 형태로 음절 단위의 구별을 어렵게 만든다. 예를 들어 ‘각’이라는 단어의 경우 초성의 ‘ㄱ’과 종성의 ‘ㄱ’이 같은 음소에 대응된다. 이와 같은 문제를 해결하기 위해 점자에서는 초성과 종성을 다르게 표현하며, 이는 음절의 중심인 모음 표기에 상단의 점과 하단의 점 중에 한 개 이상을 반드시 포함하는 형태로 이루어져야 한다. 따라서, 그림 5의 오른쪽과 같이 ‘직’이라는 글자를 고려해 볼 때, 초성인 ‘ㅈ’은 4-6점, 중성 ‘ㅣ’는 1-3-5점, 종성 ‘ㄱ’은 1점으로 읽어지며 이는, 디지털화될 때 ㆍ을 사용해 bit 단위로 표현할 수 있다.

한글을 디지털 환경에서 초성, 중성, 종성으로 분리하는 방식은 한글의 유니코드를 활용하는 방식이다. 한글 코드의 시작은 44032부터 시작하여 55199에 끝난다. 이는 각 음소의 단위를 번호로 부여한 것이 아닌 단일 글자에 대해서 번호를 부여하는 형태로 나타나는데, 이를 표현하는 방식은 ‘ㄱ’의 코드로 예를 들었을 때 ((초성)*21)+종성+0xAC00)이며 초성, 중성, 종성은 아래와 같이 구성된다.

이와 같은 방법으로 텍스트를 유니코드로 분리하는 방식을 사용하게 되면, 기존 한글의 모아쓰기 방식을 점자 체계와 맞게 풀어쓰기 방식으로 변경할 수 있다.

Jetson Nano를 통해 디지털화된 이미지 속 텍스트를 하드웨어 점자로 구현했다. Jetson Nano에서 문자열을 형태소로 분리하고 이를 GPIO 핀을 통해 모터에 할당하여 작동하도록 하는 방식이다. 그림 6은 사용한 Jetson Nano GPIO의 layout이며 Jetson expansion header tool에서 통신 방법을 선택하여 연결하면 실제 하드웨어 점자 시스템으로 구현할 수 있다.

Fig. 6. 
Jetson Nano GPIO layout

6점식 점자 체계를 구현하기 위해서 솔레노이드를 사용했으며 점자 한 칸을 구성하는 6개의 데이터를 제어하기 위해 릴레이를 사용한 결과, 점자 기판 하나를 구현하는 데에는 8채널 릴레이 1개와 솔레노이드 6개가 필요하다. 이 중 릴레이는 off 상태와 on 상태 두 가지로 구분되며, 동작 원리는 그림 7과 같다. 그림 7의 왼쪽과 같이 릴레이가 off 상태일 때에는 접점이 떨어지게 되어, 소자가 되고 그림 7의 오른쪽과 같이 on 상태에서는 코일에 전원이 투입되면 접점이 붙어, 여지가 된다. 이러한 릴레이의 접점 유무에 따른 특성 변화를 활용하면 점자 6개의 데이터를 각각 독립적으로 제어할 수 있으며 구성된 릴레이의 작동 모습은 그림 8과 같다.

Fig. 7. 
Off / on status of relay

Fig. 8. 
Operation of the relay

물리적으로 점자와 같이 구현하기 위해 활용한 솔레노이드는 길고 가늘게 만들어진 도체를 원통형으로 감아 만든 것으로 에너지 변환장치로 사용한다. 에너지는 전기에너지에서 자기에너지로 변환되며 솔레노이드에 전류를 흘려보내면 솔레노이드 내부에 자기장 에너지가 형성된다. 이때 변환되는 솔레노이드의 힘은 전류의 크기와 일정 길이당 감은 도체의 횟수에 비례한다. 이러한 특성을 이용해 개발된 것에는 솔레노이드 밸브가 있는데 이는 솔레노이드에서 발생한 자기장의 힘을 이용하여 운동할 수 있다. 특히, 전기 신호를 통해 원격으로 움직임을 제어할 수 있어 본 연구의 점자 구현에 적합하다. 솔레노이드 밸브는 기본적으로 자기장을 발생시키는 솔레노이드 본체 부분과 움직임이 제어되는 밸브 몸체로 구성되며 제어 방식에 따라 크게 스풀(spool)과 포핏(poppet)으로 구분된다. 포핏은 밸브 제어부와 밸브 시트가 직각 방향으로 만나며 밸브 제어부가 솔레노이드 자기장의 힘으로 상하 운동을 하며 밸브 시트를 움직인다. 이러한 움직임이 시각장애인들이 촉감을 통해 즉각적으로 인지할 수 있는 점자로 구현된다.

본 논문에서 한글 인식 학습모델로 사용한 OCR 엔진은 EasyOCR이며 프로그램에서 자체적으로 제공하는 튜토리얼을 기반으로 학습을 진행하여 개발된 한글 인식모델을 통해 텍스트를 추출한 결과는 그림 9의 (b)와 같다. 그림 9의 (a)와 같이 문자의 형태와 크기가 일정하게 정형화된 이미지 데이터를 사용하면 한글 인식의 정확도가 높아지는 것을 확인할 수 있다.

Fig. 9. 
Results of korean recognized by EasyOCR

* The figures contain Korean characters because the proposed system is designed to convert Korean into braille.

그림 10은 EasyOCR에서 학습된 한글 인식 모델을 기반으로 텍스트 이미지를 데이터로 추출하고 그 데이터를 솔레노이드에 전달하여 6점식 점자 형태로 도출한 결과이다. 6개의 솔레노이드는 릴레이와 연동하여 5v 환경에서 제어하였고 실험 결과 과전류에 의한 손상 없이 데이s터화된 문자 데이터를 정확하게 점자화했다.

Fig. 10. 
Process of implementing korean image into solenoid braille