머신러닝 기법을 적용한 하드웨어 데이터 프리페치 기법 구현

송경환; 김강희; 최상방

doi:10.5573/ieie.2019.56.3.11

주제분류

...

저널정보

대한전자공학회
전자공학회논문지 학술저널
전자공학회논문지 제56권 제3호(통권 제496호)
2019.3 11 - 23 (13page)
DOI : 10.5573/ieie.2019.56.3.11

저자정보

송경환
김강희 (인하대학교)
최상방 (인하대학교)

이용수
내서재: 1

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

초록·키워드

오류제보하기

프리페치 기법은 프로세서와 메모리 사이에서 발생하는 메모리 지연시간을 숨기고 성능 격차를 해소하기 위한 방법 중 하나로 프로세서가 자주 사용하는 데이터나 앞으로 사용할 데이터를 예측하고 캐시에 미리 올린다. 이는 프로세서의 메모리 접근 패턴이 길고 복잡해질수록 하드웨어의 구조가 복잡해지고, 매우 많은 저장 공간을 요구한다. 머신러닝 기반의 프리페치 기법인 LSTM (Long Short-Term Memory) 프리페치 기법은 LSTM 머신러닝 알고리즘을 이용하여 학습과 예측을 수행한다. 그러나 LSTM이 예측을 위해 필요로 하는 파라미터의 수가 많기 때문에 많은 파라미터 저장 공간을 요구한다. 본 논문에서는 프리페치의 예측기로서 RNN의 변형 알고리즘인 GRU (Gate Recurrent Unit)을 사용하고 워크로드의 메모리 접근 패턴을 GRU에서 학습하여 다음 접근 주소를 예측하는 프리페치 기법을 제안한다. 제안하는 기법은 우수한 예측 성능을 가진다. 파라미터의 개수를 줄였기 때문에 프리페처 설계시 파라미터를 읽고 쓰기 위한 저장 공간을 줄일 수 있다. 이는 다이면적을 크게 줄여 높은 에너지 소비 효율을 얻게 한다. 또한 예측을 위한 연산과정과 프리페치 주소를 생성하는 시간을 크게 줄인다.

The prefetch is a way to hide the memory latency between the processor and the memory and to resolve the performance gap, predicting and prepopulating the processor`s frequently used or future data. As the processor`s memory access pattern becomes longer and more complicated, the hardware structure becomes complicated and requires a lot of storage space. The LSTM (Long Short-Term Memory) prefetch technique, which is a prefetch method based on machine learning, performs learning and prediction using LSTM machine learning algorithm. However, since LSTM requires a large number of parameters for prediction, it requires a large amount of parameter storage space. In this paper, we propose a prefetch method that predicts the next access address by using GRU (Gate Recurrent Unit) which is a transformation algorithm of RNN as a predictor of prefetch and learning the memory access pattern of workload in GRU. The proposed method has excellent prediction performance. Reducing the number of parameters reduces the storage space for reading and writing parameters in the prefetcher design. This greatly reduces die area, resulting in high energy consumption efficiency. It also greatly reduces the computation time for the prediction and the time to generate the prefetch address.

#hardware #prefetch #cache #RNN #GRU