말뭉치가 자연언어처리 시스템의 학습 자료로 널리 사용되나, 다양한 형태의 오류들도 함께 존재한다[5][7][8]. 오류가 많지 않을 경우에는 학습 시스템에 커다란 해가 되지 않지만 오류가 많을 경우에는 전혀 엉뚱하게 학습되어 예기치 못한 결과를 얻을 수도 있다. 따라서 이와 같은 오류를 최소화하고자 하는 노력은 꾸준히 이루어지고 있다[6][9][10]. 말뭉치 내에 포함된 오류를 찾아내는 오류 검출 방법은 다양하게 제안되었으며, Sparse Markov Transducer를 이용하여 오류에 대한 변칙 탐지 방법[11], SVMs(Support Vector Machines)을 이용한 exceptional elements 검출 방법[12], Directed Treebank Refinement(DTR)을 이용한 오류 검출 방법[13], Modular neural network를 이용한 오류 검출 방법[14] 등이 있다. 한국어에 대해서는 오류 검출에 대한 연구가 활발히 진행되지는 않았지만 일부의 연구[4][5]에서 세종 말뭉치를 대상으로 진행되었다. 이들은 오류 유형을 정의하여 오류를 검출하였고, 이러한 오류들을 검출하기 위하여 모든 어절에 대하여 어절 분할 오류 검사, 철자 오류 검사, 표지 부착 오류 검사, 일관성 오류 검사를 실시하여 오류인지 아닌지 확인하였다.

말뭉치는 언어 자체(예: 한국어, 영어 등), 언어 정보의 종류(품사, 구문구조 등)와 응용분야(예: 기계번역, 정보검색, 전문용어 분석 등)에 따라 매우 다양하게 분류된다. 이러한 다양한 말뭉치의 특성을 하나의 말뭉치 구축 도구에서 충분히 다룰 수 없을 것이다. 설령, 다양한 말뭉치의 특성을 수용하더라도 각 언어 혹은 주어진 문제의 특성을 효과적으로 잘 다룰 수는 없으며, 더구나 새로운 응용분야(예: 웹 문서 분류)가 등장되었을 때, 기존의 도구를 그대로 사용할 수 없다[15]. 한국어의 경우 부분적으로 언어지식 구축 및 수정 도구를 개발하였다[16]-[18]. 이와 같은 도구들은 특정 말뭉치와 연구에 매우 밀접한 관계를 가지고 있기 때문에 다른 말뭉치와 연구에 적용하기 매우 어려울 뿐 아니라 공개된 시스템이 없어서 사용할 수도 없다. 외국어 경우에도 다양한 언어지식의 구축 도구를 개발하였다[19]-[21]. 이들 도구도 특정 영역이나 특정 프로젝트를 위해서 구축된 것이다. 일부의 시스템[19]은 공개되었지만 지금은 사용할 수 없을 뿐 아니라 너무 오래 전에 개발되어 현재의 기술을 적용하기 매우 어렵게 되어 있다.

형태소 생성이란 일련의 형태소들로부터 어절을 생성하는 것이다. 대부분의 형태소 생성은 단순한 형태소들의 연접(concatenation)으로 가능하다. 예를 들면 (‘학교’, ‘을’)은 "학교를"로 생성된다. 그러나 용언의 경우에는 동사나 형용사와 어미가 결합하면서 다양한 음성 현상이 발생한다. 예를 들면 (‘아름답다’, ‘어’)는 “아름다워”로 생성된다. 형태소 생성에 대한 연구로는 [22][23]이 있다.

한국어 품사 부착 말뭉치는 영어 품사 부착 말뭉치와 다르게 어절과 형태소 분석 결과를 함께 저장해야 한다[1]. 어절은 형태소 분석 결과의 형태소 생성 결과로 볼 수 있다. 그러나 일반적으로 어절에 대한 형태소 분석 결과가 모호하므로 품사 부착 말뭉치에서는 정확한 형태소 분석 결과를 저장하고 있어야 한다. 따라서 대부분의 한국어 품사 부착 말뭉치[1]-[3]들은 Figure 1과 같이 어절과 형태소 분석 결과를 함께 저장하고 있다. Figure 1에서 <p>는 문장을 표시하는 태그이다. 첫 번째 열은 어절 번호이며 말뭉치 내에서 구별되는 번호를 가지고 있다¹⁾. 두 번째 열은 어절 자체이고 세 번째 줄은 그 어절의 형태소 분석 결과이다. 세 번째 열에서 형태소는 ‘+’로 구분되며 각 형태소는 형태소 자신과 품사로 구성되어 있으며 세종말뭉치의 품사 집합은 [3]을 참조하기 바란다.

Figure 1:  
The part of Sejong POS tagged corpus as an example of the Korean POS tagged corpus

본 논문에서는 세종 형태분석 말뭉치의 오류를 분석하고 그 결과를 바탕으로 오류 검출 방법을 제안하고자 한다[24][25]. 세종 형태분석 말뭉치의 3%에 해당하는 450,000 어절에 대하여 오류를 분석하였으며, 그 결과 29,253개의 오류가 발견되어 대략 6.5%의 오류를 포함하고 있음을 알 수 있었다. Table 1에서 그 일부를 보여주고 있다. Table 1에서 대부분의 오류는 부가적인 설명 없이도 충분히 이해할 수 있다. ‘한자 변환 오류’는 말뭉치를 구축하는 과정에서 한자 정보가 한글로 변환된 형태로 품사 정보가 부착되었다. 또 ‘다중품사 부착 오류’는 말뭉치 구축 과정에서 품사 부착기의 출력이 수정되지 않은 상태로 존재하는 오류들이고, ‘영어 대소문자 오류’는 어절의 영어 철자와 형태소 분석 결과의 영어 철자가 다를 경우 오류이다

3.1절에서 언급했듯이 한국어 품사 부착 말뭉치에는 어절과 형태소 분석 결과를 모두 포함하고 있다. 먼저 형태소 분석 결과에 포함된 형태소들을 결합하여 어절을 생성하면 여러 개의 어절이 생성된다. 그 중에 하나가 원래의 어절과 다르다면 오류일 가능성이 매우 높다. 본 논문에서 형태소 생성이 목적이 아니므로 직접 형태소를 생성하는 것이 아니라 원래의 어절과 문자열의 차이를 구하고, 그 차이와 주변 문맥이 정당한 형태소 생성이라면 오류로 추정하지 않는다. Table 2에서 그 예를 보여주고 있다.

Table 2에서 어절 ‘아름다운’과 이에 대한 형태소 분석 결과에 속한 형태소들 ‘아름답+ㄴ’를 자소 단위로 비교하여 그 차이를 보이고 있다. 여기서 형태소 생성 패턴은 좌우의 한 자소를 형태소 생성 패턴으로 저장한다. 이렇게 정당한 형태소 생성 패턴을 저장하여 품사 부착 말뭉치의 오류를 검출한다. 한국어는 통상적으로 한 어절에 하나의 이상의 형태적 변이가 발생할 수 있으나 본 논문에서는 하나의 형태적 변이만 가능한 것으로 가정하였다.

본 논문에서는 [15]에서 제안한 말뭉치 수정 도구의 요구사항을 만족하도록 설계하였으며 아래와 같이 요약된다.

Ÿ• 이식성: 이식성을 높이기 위해서 Java 언어를 채택하였다. Java는 Windows뿐만 아니라 Linux에서 도 잘 실행된다.

• 학습 편의성: 처음 사용하는 사용자도 도구의 사용에 전혀 부담을 느끼지 않도록 설계되었으며 혹시라도 부족한 점이 있다면 도움말을 참조하도록 하였다. 특히 말풍선을 이용해서 익숙지 않은 UI에 대한 충분한 설명을 제공하도록 노력하였다.

• 사용자 중심 인터페이스: 사용자들이 작업할 때 가능하면 적은 노력으로 큰 결과를 얻을 수 있도록 설계하였으며 문장, 어절 형태소 등 언어 정보의 단위에 따라서 각각 다른 작업을 할 수 있도록 설계하였다.

• 시각화: 대부분의 내용은 직접 눈으로 확인할 수 있도록 하였으며 코드로 표현된 정보는 사용자의 요구에 따라서 적절히 선택할 수 있도록 하였다.

• (반)자동화: 가능하다면 자동적으로 언어 정보를 부착할 수 있도록 설계되어 사용자들의 수정 작업을 최소화하도록 설계하였다.

• 집중화: 작업의 집중도를 높이기 위해 다양한 색깔을 이용해서 문제가 될 수 있는 언어 정보를 한 눈에 확인할 수 있도록 하였다.

• 사용자 모델링: 사용자에 따라 사용할 수 있는 메뉴를 다르게 제공하여 자신의 수준에 맞게 작업할 수 있는 환경을 제공하였다.

• 부가 정보 지원: 주석자, 수정 날짜, 수정 이력 등이 많은 부가정보를 관리하도록 하였다.

Figure 2는 한국어 품사 부착 말뭉치의 수정 도구(TagBench)의 전체 구조이다[24][25]. 관리자는 작업자에게 수정할 말뭉치를 배정한다. 작업자는 4.3절에서 설명한 사용자 인터페이스(GUI)를 통해서 배정된 말뭉치의 오류를 수정하고 그 결과를 데이터베이스에 저장하며, 그 시나리오는 Figure 3과 같다. 작업자에게 처음으로 배정된 문장은 모두 ‘untagged’로 초기화되어 있다. 정상적으로는 한 문장을 선택하여(‘ongoing’) 오류를 수정하고 이를 저장한다(‘tagged’).그라나 작업자가 복잡한 언어 현상 등으로 수정이 어려울 경우에는 전문가에게 질문할 수 있다(‘asked’). 전문가는 ‘asked’된 문장에 주석으로 기재하여 초기 상태(‘untagged’)로 되돌린다. 또한 작업자가 수정 중에 수정을 완료하지 않고 장시간 자리를 비울 경우, 수정 작업을 완료하지 않고 임시 저장할 수도 있으며(‘deferred’) 제자리로 돌아왔을 때 임시 저장된 문장을 바로 수정할 수 있도록 하였다.

저장된 모든 정보는 모든 사용자(관리자, 작업자, 전문가)에 의해서 언제 어디서나 손쉽게 확인하고, 작업을 진행하는 데 참고할 수 있어서 작업의 능률을 크게 개선할 수 있다. 이와 같은 방법으로 모든 문장의 오류가 수정되면 그 말뭉치에 부착된 정보를 각각의 품사 부착 말뭉치 형식에 따라 출력할 수 있다. 현재는 세종 형태분석 말뭉치와 ETRI 의존구조 말뭉치 형식으로 출력할 수 있으나 다른 형식도 출력 모듈을 수정하면 쉽게 확장할 수 있다.

Figure 2:  
System configuration for detecting and correcting errors in Korean POS-tagged corpora

Figure 3:  
Data flow for detecting and correcting errors in Korean POS-tagged corpora

Figure 4는 본 논문에서 구현된 사용자 인터페이스이며 크게 다섯 부분(그림에 ① ~ ⑤로 표시된 부분)으로 구성되어 있다. Figure 4에서 ①로 표시된 부분은 현재문장창이라고 하며, 현재 작업 문장을 보여주고 있다. 작업자가 문장을 좀 더 쉽게 이해할 수 있도록 전후 문장도 함께 보여준다. 특히 이 문장 자체에 띄어쓰기 오류, 철자 오류 등이 포함되어 있을 경우, 문장 자체를 수정하고 수정된 문장을 한국어 형태소 품사 부착기를 통해서 재분석할 수 있다. 이 경우 작업자가 수정된 부분을 일일이 수정할 필요가 없게 되어 효율적으로 수정이 가능하다. ②로 표시된 부분은 작업자들이 자주 사용하는 수정 행위를 신속하게 수행할 수 있도록 단추(buttons)으로 구성하여 모아 두었다. 물론 익숙한 사용자들은 단축키(hot keys)도 사용할 수 있다. ③으로 표시된 부분은 문장창이라고 하며 전체 파일 중에서 얼마나 작업이 진행되었는지를 파악할 수 있다. 또한 문장들의 상태(untagged, tagged, asked 등)을 파악할 수 있으며 주석이 포함되어 있는지 등 문장의 상태를 쉽게 파악할 수 있다. ④로 표시된 부분은 분석창이라고 하며, 실질적으로 오류 수정 작업은 이곳에서 이루어진다. 작업자의 집중도를 높이기 위해서 오류일 가능성이 높은 형태소는 빨간색으로 표시하여 쉽게 오류에 쉽게 접근할 수 있도록 하였다. 이 오류들은 3장에서 설명한 방법으로 검출되며 오류 검출과 수정의 자동화는 작업이 진행될수록 정확하고 빠르게 수행할 수 있다. ⑤로 표시된 부분은 주석창이라고 하며 이 창을 통해서 문장, 어절, 형태소의 품사 부착이나 기타 부가 정보를 기재하고 다른 작업자와 공유할 수 있다. 기타 상태 표시나 메뉴 등은 일반적인 프로그램들과 동일하게 구성하였다.

Figure 4:  
Graphical user interface; ① Sub-window for the current sentence, ② Useful buttons for correcting errors, ③ Sub-window for whole sentences, ④ Main working window, ⑤ Sub-window for comments and communication between workers

작업자가 오류를 수정하고 데이터베이스에 저장할 때, 어절과 형태소 분석된 결과가 문자적으로 다를 경우 자동으로 검출하여 오류 패턴으로 등록한다. 문자열이 서로 다르더라도 음운 현상이나 용언의 불규칙 현상이 포함되어 있을 경우에는 오류가 아니므로 이를 작업자가 확인하도록 하였다. 만약 작업자가 실수로 오류 패턴을 저장하였다 하더라도 관리자가 이를 찾아서 수정할 수 있다.

한국어 품사 부착 오류의 수정 도구는 Windows7 하에서 개발되었으나 Java로 개발되어 운영체제에 관계없이 어디서나 동작할 수 있다. 데이터베이스는 MySQL server 5.5²⁾을 사용하였고, 프로그램이 방대하고 여러 개발자들이 함께 개발하므로 효율적인 프로그램 관리를 위해서 CollabNet Subversion Edge 3.0³⁾를 사용하였다. 현재 한국어 품사 부착 말뭉치 중에서 세종 말뭉치와 ETRI 의존구조 말뭉치에 대해서 수정이 가능하도록 입출력 모듈이 구현되어 있다.