메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터

주제분류

사회과학
경영학 경제학 관광학 교육학 군사학 무역학 문헌정보학 법학 사회과학일반 사회복지학 사회학 신문방송학 심리과학 정치외교학 지리/지역개발학 지역학 행정학
공학
건축공학 공학일반 기계공학 산업공학 자원/재료공학 전자/제어계측공학 전자/정보통신공학 조선/해양공학 컴퓨터학 토목/환경공학 항공우주공학 화학/생물공학
자연과학
물리학 생물학 생활과학 수학/통계학 자연과학일반 전문/지구과학
의약학
간호학 수의학 약학 의학 의학일반 치의학 한의학
인문학
독일어문학 러시아어문학 문학 언어학 역사학 영어문학 인문학일반 일본어문학 종교학/신학 중국어문학 철학 프랑스어문학 한국어문학
예술체육학
건축 디자인 무용 미술 미용 사진 연극 영화 예술체육학일반 음악 의상 체육
농수해양학
농수해양학일반 농학 수산학 식품과학 임학 축산학 해상운송학
복합학
과학기술학/기술정책 뇌/인지과학 여성학 학제간연구

정기구독(개인)

소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.

회원혜택

로그인 회원이 가져갈 수 있는 혜택들을 확인하고 이용하세요.

아카루트

학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.

영문교정

영문 논문 작성에 도움을 드리기 위해, 영문 교정 서비스를
지원하고 있어요.
고객센터 제휴문의

...

저널정보

저자정보

표지
이용수
내서재
3
내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

초록·키워드

오류제보하기
이미지 캡션 생성이란 주어진 이미지로부터 객체 요소를 파악하여 장면을 설명하는 자연어를 자동으로 서술하는 연구이다. 선행 연구에서는 주로 단일 특징 추출기를 통해 이미지에서 정보를 포착한 후, 순환 신경망 기반의 디코더를 통해 캡션을 생성한다. 하지만 단일 특징 추출기를 사용하기 때문에 다중관점의 이미지 정보를 사용할 수 없고, 순환 신경망 기반의 장기 의존성 문제를 가지는 디코더를 사용한다. 이를 해결하기 위해서 본 연구는 복수의 특징 추출기를 사용하는 다중 관점 인코더를 통해 다양한 각도의 이미지 정보를 가공하여 전달한다. 또한, 순환 신경망의 한계를 보완하기 위해서, 트랜스포머 모델 기반의 디코더 레이어에 추가적인 멀티-헤드 주의 기제 기법을 통해 생성된 문장을 재구축하여 문장의 완성도를 높이는 자가 교열 트랜스포머를 제안한다. 제안하는 모델의 검증을 위해 MSCOCO 데이터셋을 이용하여 다양한 비교실험으로 정량적, 정성적 평가를 통해 제안한 방법론의 우수성을 검증하였다.

Image captioning is a task of automatically describing a scene by identifying an object element from a given image. In prior research, information has mainly been captured from the image using a single feature extractor, and captions have then been generated by a recurrent neural network-based decoder. However, multi-view image information is not available with this method because of the use of a single feature extractor, and the use of a recurrent neural network-based decoder causes a long-term dependency problem. To address these issues, the proposed model employs a multi-view encoder using a couple of feature extractors that provide processed image information from various view. In addition, to supplement the limits of the recurrent neural network, we propose a self-revising transformer that increases the completeness of sentences by revising the generated sentences by focusing additional multi-head attention in the transformer-based decoder layer. To present the proposed model, we verify its superiority through quantitative and qualitative evaluations with various comparative experiments using MSCOCO datasets.
#자연어 처리 #이미지 캡션 생성 #멀티-헤드 주의 기제 기법 #다중 관점 인코더 #natural language processing #image captioning #multi-head attention #multi-view encoder

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 모델 구조
4. 실험 및 결과
5. 결론
References

참고문헌 (38)

참고문헌 신청
S. Wu, J. Wieland, O. Farivar, and J. Schiller, "Automatic alt-text: Computer-generated image descriptions for blind users on a social network service," Proc. of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing, pp. 1180-1192, 2017. google schola V.-K. Vo-Ho, Q.-A. Luong, D.-T. Nguyen, M.-K. Tran, and M.-T. Tran, "A Smart System for Text-Lifelog Generation from Wearable Cameras in Smart Environment Using Concept-Augmented Image Captioning with Modified Beam Search Strategy," Applied Sciences, pp. 1886, 2019. google schola B. Mishra, D. Garg, P. Narang, and V. Mishra, "Drone-surveillance for search and rescue in natural disaster," Computer Communications, 2020. google schola A. Krizhevsky, I. Sutskever, and G.E. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems, pp. 1097-1105, 2012. google schola K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이 논문과 함께 이용한 논문

음향 이벤트 탐지를 위한 멀티-스케일 특징 기반 트랜스포머 모델
김수종 ,  정용주 한국정보기술학회논문지 2022.06
트랜스포머 블록과 윤곽선 디코더를 활용한 딥러닝 기반의 피부 병변 분할 방법
김지훈 ,  박경리 ,  김해문 외 1명 한국정보통신학회논문지 2022.04
미세먼지 예측 성능 개선을 위한 시공간 트랜스포머 모델의 적용
김영광 ,  김복주 ,  안성만 지능정보연구 2022.03
Visual SLAM을 위한 Transformer 기반 6DoF 자세 추정 기법
채재민 ,  이수찬 전자공학회논문지 2021.12
무인 감시 Transformer
최경훈 ,  하종은 제어로봇시스템학회 논문지 2021.12

최근 본 자료

전체보기

댓글(0)

0