STPA-RL: 강화학습을 이용한 STPA에서 손실 시나리오 분석

장지영; 권령구; 권기현

doi:10.14801/jkiit.2023.21.7.39

주제분류

...

저널정보

한국정보기술학회
한국정보기술학회논문지 학술저널
한국정보기술학회논문지 제21권 제7호(JKIIT, Vol.21, No.7)
2023.7 39 - 48 (10page)
DOI : 10.14801/jkiit.2023.21.7.39

저자정보

장지영 (경기대학교)
권령구 (경기대학교)
권기현 (경기대학교)

이용수
내서재: 0

내서재에 추가
되었습니다. 내서재에서
삭제되었습니다.

초록·키워드

오류제보하기

시스템의 위험 분석 기법인 STPA(System Theoretic Process Analysis)에서는 안전하지 않은 제어 행동(Unsafe Control Action)으로 야기된 위험의 원인과 결과 관계를 설명하는 손실 시나리오 식별이 필수적이다. 지금까지는 전문가의 수작업, 주관적, 비체계적인 방법으로 손실 시나리오를 식별하였다. 이에 본 논문에서는 강화학습(RL, Reinforcement Learning)을 결합하여, 손실 시나리오를 자동으로 도출하는 STPA-RL을 제안한다. 이를 위하여 STPA 분석 결과를 바탕으로 안전한 제어 행동을 강화 학습하는 환경을 모델링하고, 이어서 위험상태에 도달하는 시스템 상태 전이 과정을 탐색한다. 산업 공정 시스템을 사례연구로 실험한 결과, 약 400개의 손실 시나리오를 생성할 수 있었다. 그 결과, 높은 빈도를 갖는 위험을 파악할 수 있었을 뿐만 아니라 위험에 이르는 상태 변화 과정을 시각화하여 손실 시나리오 이해를 높일 수 있었다.

In System Theoretical Process Analysis (STPA), a hazard analysis technique for systems, it is essential to identify loss scenarios that describe the cause and effect relationships of hazards caused by unsafe control actions. Until now, loss scenarios have been identified by experts using manual, subjective, and unsystematic methods. In this paper, we propose STPA-RL, which combines reinforcement learning (RL) to automatically derive loss scenarios. For this, we model an environment where safe control actions are reinforced based on STPA analysis results, and then explore the system state transition process that leads to a hazard state. Experimenting with an industrial process system as a case study, we were able to generate about 400 loss scenarios. As a result, we were able to not only identify high-frequency hazards, but also visualize the state transition process leading to the hazard to improve the understanding of loss scenarios.

#loss scenario #STPA #reinforcement learning #hazard analysis #process industry system