빅데이터 분석을 위한 어텐션 기반의 단어 연관관계 분석 시스템

황치곤; 윤창표; 이수욱

doi:10.6109/jkiice.2023.27.1.41

주제분류

...

저널정보

한국정보통신학회
한국정보통신학회논문지 학술저널
한국정보통신학회논문지 제27권 제1호
2023.1 41 - 46 (6page)
DOI : 10.6109/jkiice.2023.27.1.41

저자정보

황치곤 (광운대학교)
윤창표 (경기과학기술대학교)
이수욱 (광운대학교)

이용수
내서재: 1

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

초록·키워드

오류제보하기

최근, 빅데이터 분석은 기계학습의 발전에 따른 다양한 기법들을 이용할 수 있다. 현실에서 수집된 빅데이터는 단어 간의 관계성에 대한 의미적 분석을 바탕으로 같거나 유사한 용어에 대한 자동화된 정제기법이 부족하다. 빅데이터는 일반적인 문장으로 기술되어 있다. 이러한 문제를 해결하기 위해 문장의 형태소 분석과 의미를 이해해야 할 필요가 있다. 이에 자연어를 분석하기 위한 기법인 NLP는 단어의 관계성과 문장을 이해할 수 있다. 본 논문에서는 빅데이터에서 추출된 문장에서 단어를 추출하여 단어 간의 연관 관계를 생성하는 방법을 연구한다. 이에 트랜스포머 기술을 이용한다.

Recently, big data analysis can use various techniques according to the development of machine learning. Big data collected in reality lacks an automated refining technique for the same or similar terms based on semantic analysis of the relationship between words. Since most of the big data is described in general sentences, it is difficult to understand the meaning and terms of the sentences. To solve these problems, it is necessary to understand the morphological analysis and meaning of sentences. Accordingly, NLP, a technique for analyzing natural language, can understand the word"s relationship and sentences. Among the NLP techniques, the transformer has been proposed as a way to solve the disadvantages of RNN by using self-attention composed of an encoder-decoder structure of seq2seq. In this paper, transformers are used as a way to form associations between words in order to understand the words and phrases of sentences extracted from big data.

#빅데이터 #어텐션 #자연어처리 #트랜스포머 #Big Data #Attention #NLP(Natural Language Processing) #Transformer