학습자 대시보드는 학습자에게 필요한 정보를 시각화하여 제공하는 맞춤형 교육서비스이다. 이러한 학습자 대시보드는 학습과정과 결과에 대한 모니터링을 제공한다는 점에서 내용지식의 전달을 목적으로 하는 기존의 교육콘텐츠와 차별화되며, 시각화된 다양한 학습데이터를 직관적으로 이해할 수 있도록 해야 한다는 점에서 HCI(Human-Computer Interaction) 관점에서의 접근이 요구된다. 따라서 본 연구는 HCI 이론에 기반하여 학습자 대시보드를 평가하기 위한 준거를 개발하는 것을 목적으로 하였다. 우선 문헌검토를 통해 평가영역을 교육적 유용성, 인터페이스 사용성, 시각적 매력성으로 도출하고, 학습자 대시보드가 갖추어야 하는 속성, 선행연구에서 제안된 교육 콘텐츠 평가준거, HCI 이론에 따른 설계원리를 반영하여 평가준거 초안을 제작하였다. 이후 전문가 검토를 바탕으로 평가준거를 수정하였으며, 최종적으로 교육적 유용성 13개 항목, 인터페이스 사용성 18개 항목, 시각적 매력성 15개 항목을 도출하였다. 다음으로 도출된 평가준거를 Kahn Academy 학습자 대시보드 평가에 적용하여 실제 평가준거로 사용되기에 적합함을 확인하였다. 본 연구에서 제안하는 평가준거는 단기적으로 향후 대시보드의 설계를 위해 기존 대시보드를 보다 정교하게 분석할 수 있는 준거로 기능할 것으로 기대된다. 또한 교육서비스로써의 학습자 대시보드 품질관리에 대한 고려가 아직 활발히 이루어지지 못하고 있는 실정임을 고려할 때, 본 연구의 평가준거는 궁극적으로 학습자 대시보드의 품질관리를 위한 기준으로 사용될 수 있을 것으로 기대된다. 마지막으로 설계와 개발, 평가의 순환적이고 자기교정적인 과정과 연계성(alignment)을 고려하면, 본 연구의 평가준거는 대시보드 설계를 위한 가이드라인을 간접적으로 제시하는 역할을 함께 수행할 수 있을 것으로 기대된다.
This study aims to develop criteria for evaluating the quality of learner dashboard. A learner dashboard is a personalized educational service which provides visualized information on learning progress. Given the dashboard focuses on facilitating learning by monitoring learning progress and outcome, the evaluation criteria for the dashboard should differ from the ones designed for learning contents. In this study, HCI(Human-Computer Interaction) approach is suggested as a major framework for the dashboard evaluation. First of all, researchers derived three evaluation areas-educational usefulness, interface usability, and visual appealing- from literatures on HCI, quality assurance of online learning, and learning design principles. Second, the first draft of evaluation criteria was developed for the learner dashboard context. Third, the draft was revised and validated based on expert review, resulting in final criteria-13 items for educational usefulness, 18 items for interface usability, and 15 items for visual appealing. Forth, researchers tried to validate the criteria by applying it to the existing dashboard service. The suggested criteria would be used for heuristic evaluation of the quality of online dashboard, and eventually, it should be used as a guidance at the stage of dashboard design, given the design and evaluation is an iterative as well as congruent process.