Korean Med Educ Rev > Volume 21(1); 2019 > Article
의과대학생은 시험을 준비하기 위해 어떻게 공부하는가: 평가 전 인지 및 메타인지 활동

Abstract

Although ‘assessment for learning’ rather than ‘assessment of learning’ has been emphasized recently, student learning before examinations is still unclear. The purpose of this study was to investigate pre-assessment learning activities (PALA) and to find mechanism factors (MF) that influence those activities. Moreover, we compared the PALA and MF of written exams with those of the clinical performance examination/objective structured clinical examination (CPX/OSCE) in third-year (N=121) and fourth-year (N=108) medical students. Through literature review and discussion, questionnaires with a 5-point Likert scale were developed to measure PALA and MF. PALA had the constructs of cognitive and meta-cognitive activities, and MF had sub-components of personal, interpersonal, and environmental factors. Cronbach's α coefficient was used to calculate survey reliability, while the Pearson correlation coefficient and multiple regression analysis were used to investigate the influence of MF on PALA. A paired t-test was applied to compare the PALA and MF of written exams with those of CPX/OSCE in third and fourth year students. The Pearson correlation coefficients between PALA and MF were 0.479 for written exams and 0.508 for CPX/OSCE. MF explained 24.1% of the PALA in written exams and 25.9% of PALA in CPX/OSCE. Both PALA and MF showed significant differences between written exams and CPX/OSCE in third-year students, whereas those in fourth-year students showed no differences. Educators need to consider MFs that influence the PALA to encourage ‘assessment for learning’.

서 론

평가(assessment)는 평가 전, 평가 중 그리고 평가 후에 학생들의 학습에 영향을 미친다[1]. 평가 전에 학생들은 시험을 준비하면서 학습하고, 평가 중에 자신의 학습을 확인하며, 평가 후에 시험결과에 대한 정보와 피드백을 통해 학습을 지속한다. 시험은 학생들의 준비과정에서 인지활동뿐만 아니라 메타인지활동을 촉진할 수 있어야 하며, 평가 후에도 학생들의 학업을 지원하는 방향으로 피드백이 제공되어야 한다. 시험이 학생들의 학습에 긍정적인 영향을 미치는 것은 좋은 평가의 판단기준이기도 하다[2]. 그동안 평가 후의 피드백의 효과와 중요성에 대해서는 연구가 지속적으로 시행되어 온 반면에[35], 평가 전에 학생들이 어떻게 학습하는지에 대한 연구는 비교적 드물다. 사실 학습의 대부분은 평가 전에 이루어지는데도 불구하고 이것에 대한 연구가 적다는 것은 놀랍다.
평가가 최대한 학습을 촉진하기를 기대하지만, 때로는 평가가 학생들의 학습을 이끌지 못하거나 저해하는 경우도 있다. 저자들은 임상실습 후 종합시험으로 필기시험과 실기시험을 시행할 때 학생들은 필기시험에 보다 집중하고 실기시험에 대해 소홀한 경향을 발견하였다. 어떤 요인들이 학생들의 시험준비에 영향을 주는지에 대한 고민이 본 연구의 동기가 되었다. 국내․ 외에는 성과바탕교육(outcome-based education)의 도입으로 다양한 성과에 따른 평가체계를 요구하고 있다[6,7]. 일회성의 평가가 아닌 통합적인 프로그램에 입각한 평가(programmatic assessment)가 대두되면서 평가는 학습의 측면, 의사 결정의 측면 및 교육과정의 질적 측면 모두에 대한 고려를 강조하고 있다[810]. 이러한 평가시스템을 구축할 때 ‘학습의 평가(assessment of learning)’보다 ‘학습을 위한 평가(assessment for learning)’가 되기 위해서는[8], 학습에 긍정적인 또는 부정적인 영향을 미치는 평가의 요인에 대해 아는 것이 중요하겠다.
Cilliers 등[1113]은 평가의 학습효과에 대해 관심을 갖고 시험을 준비하는 동안 학생들의 학습행동에 대해 연구하였다. 그들은 건강행동이론(theory of health behavior)과 자기조절학습(self-regulated learning theory)을 사용하여 종합시험의 평가 전 학습효과(pre-assessment learning effect of summative assessment) 모형을 제안하였다(Figure 1). 이 모형에 따르면 시험을 준비하는 동안의 학습활동은 하나 이상의 기전요인(mechanism factor)에 의해 매개된다는 것이다. 기전요인은 개인요인, 관계요인, 환경요인을 포함하고 있다. 개인요인은 시험의 중요성, 노력 정도, 통제 가능성에 대한 개인의 판단 등을 의미하고, 관계요인은 주변 학우 또는 교수들의 생각과 그것을 따르려는 동기를 포함하며, 환경요인은 시험준비를 위한 교육과정, 자료, 시설 등의 물질적․ 조직적 여건을 의미한다. 예를 들면, 학생들이 시험을 계획하고 노력하는 과정, 즉 학습활동은 학생이 시험 실패의 영향이 크다고 생각하거나(개인), 주변 학우들이 중요하다고 말해주거나(관계), 시험을 준비할 수 있는 여건(환경)이 되는 경우에 커진다고 할 수 있다. 이것은 시험준비와 그것에 영향을 주는 요소에 대한 내용을 포함하는 거시적인 모형이라 할 수 있다. 그러나 이 모형은 필기시험의 경우에 인터뷰를 통해 요인을 추출하는 질적 연구로부터 도출된 것으로, 학생들의 학습 정도와 기전요인을 측정하는 실용적인 방법에 대한 제안이 없고, 필기시험이나 실기시험에 어떻게 다르게 적용되는지 알 수 없다는 한계가 있다.
Figure 1.
The pre-assessment learning activities and mechanism factors in this study. The constructs were modified from the model by Cilliers et al. [1113].
kmer-2019-21-1-51f1.jpg
본 연구에서 저자들은 위의 모형을 토대로 설문문항을 작성하여 평가 전 학습활동과 기전요인을 측정하는 양적 연구를 시행하고자 하였다. 또한 기전요인이 평가 전 학습활동에 미치는 영향력이 필기와 실기시험에서 어떻게 다른지, 학년별 차이가 있는지에 대해 연구하고자 한다. 구체적인 연구문제는 다음과 같다.
첫째, 기전요인이 필기시험과 실기시험의 평가 전 학습활동에 미치는 영향은 어떠한가?
둘째, 3학년과 4학년 학생들에게서 필기시험과 실기시험의 평가 전 학습활동과 기전요인은 차이가 있는가?

연구대상 및 방법

1. 연구대상

본 연구는 2016년도 의학전문대학원 의학과에 재학 중인 3학년 131명과 4학년 129명을 대상으로 하였다. 연구참여자들로부터 동의(informed consent)를 받고 설문을 시행하였다. 설문조사 시기는 학년 종합시험을 치른 12월이었다.
3학년 학생들은 필수 임상실습과정을 마친 12월에 종합평가로 기본의학종합시험(필기)과 clinical performance examination/objective structured clinical examination (CPX/OSCE, 실기)를 치렀다. 기본의학종합시험은 전국단위인 기본의학평가 컨소시엄에서 주관하며, CPX/OSCE는 부산․ 경남지역 컨소시엄에서 주관한 시험이다. 이 시험결과는 교육과정 편성에 ‘임상의학종합평가 II’ 과목으로 4학점이 배정되어 있다.
4학년 학생들은 종합시험으로 2학기에 두 번의 필기시험과 한 번의 CPX/OSCE를 치렀다. 종합시험결과는 ‘임상의학종합평가 IV’ 과목으로 6학점이 배정되어 있다. 설문조사 시기는 의사국가고시 실기시험에 응시한 이후였다.

2. 평가 전 학습활동과 기전요인

평가 전 학습활동은 시험을 준비하는 동안 학습자의 인지와 메타인지활동(cognitive and meta-cognitive activities)을 의미하며, 기전요인은 그 학습활동에 영향을 주는 요인이다. Cilliers 등[1113]의 연구를 포함한 문헌연구를 토대로 연구진의 토의를 거쳐 요인을 설정하였다(Figure 1).
평가 전 학습활동 중 인지활동은 학습자가 자료를 기억하고 이해하는데 실제로 사용하는 활동으로, 하위변인은 Weinstein & Mayer 의 분류에 따라 시연(rehearsal), 정교화(elaboration) 및 조직화 (organization)로 분류하였다. 시연은 단기기억 속에서 정보가 사라지지 않게 하는 것으로 밑줄 긋기, 반복 읽기 등을 포함한다. 정교화는 새 정보와 이전 정보를 연관 짓는 것이고, 조직화는 학습요소 간의 관계를 논리적으로 구성하는 것이다. 메타인지활동(meta- cognitive activities)은 자신의 인지를 계획하고 조절하는데 관련된 전략으로, Brown의 분류에 따라 계획(planning), 점검(monitoring), 조절(regulation)을 설정하였다. 또한 Cilliers 등[1113]의 연구에서 나타난 교재 선택(choice of resources), 지속학습(persistent learning) 요인을 추가하였다. 계획은 어떤 전략과 정보처리를 사용할 것인지에 대한 생각을 일컬으며, 점검은 자신의 이해 정도를 스스로 평가해보는 것을 의미하며, 조절은 자신의 학습행동을 교정하는 것을 의미한다. 교재 선택은 학습할 교재를 선택하는 것이며, 지속학습은 학습의 지속성, 즉 평소에 얼마나 준비하는지를 의미한다.
기전요인의 하위요인은 개인(personal), 관계(interpersonal) 및 환경(environmental)요인으로 구분하였다. 개인요인은 효과평가(impact appraisal), 반응평가(response appraisal) 및 지각된 통제감(perceived agency), 관계요인은 규범․ 신념(normative beliefs), 순응동기(motivation to comply), 그리고 환경요인으로 구성하였다. 개인요인은 시험의 결과가 얼마나 큰 영향을 미칠지(효과평가), 시험 준비하는 과정의 가치나 효율성은 어떻게 평가하는지(반응평가), 주어진 상황에 대해 스스로 조절할 수 있는 정도는 어떠한지(지각된 통제감)를 포함한다. 관계요인은 학생의 행동에 영향을 주는 학우나 교수들의 의견(규범․ 신념)과, 학우나 교수들의 의견에 순응하려는 동기(순응동기)가 있다. 환경요인은 학습행동에 영향을 주는 물리적․ 조직적 환경으로, 교육과정, 자료 용이성, 지원 정도 또는 학사제도를 포함한다.

3. 설문 구성

종합시험 평가 전 학습활동과 기전요인에 대한 문헌연구를 토대로 설문지를 구성하였다. 교육학 전공자 1인을 포함한 의학교육전문가 3인의 토의를 통해 설문내용을 완성하였다(부록 1).
설문지는 크게 평가 전 학습활동과 기전요인의 두 부분으로 구성하였다. 평가 전 학습활동은 인지(시연, 정교화, 조직화) 6문항과 메타인지(계획, 교재, 점검, 조절, 지속학습) 10문항이었다. 기전요인은 개인(효과평가, 반응평가, 지각된 통제감) 6문항, 관계(규범과 신념, 순응동기) 5문항 및 환경(물리적, 조직적) 5문항이었다. 각 문항에 대해 5점 Likert 척도를 사용했으며 필기와 실기시험에 대해 각각 표기하도록 하였다.
개발된 설문문항은 외부 의학교육전문가 2인의 내용타당도 검증을 통해 최종 설문에 사용하였다. 학생 수와 설문내용을 고려하여 예비설문은 시행하지 않았다. 본 설문조사에서 최종 회수된 설문지는 3학년 121부, 4학년 108부였다.

4. 통계 분석

설문의 신뢰도는 크론바흐 알파계수(Cronbach's α coefficient)를 사용하였고, 평가 전 학습활동과 기전요인의 하위영역별로 신뢰도를 분석하였다. 평가 전 학습활동은 인지, 메타인지 항목별 합으로, 영향요인은 개인, 인간관계, 환경의 항목별 합으로 구하였다. 평가 전 학습활동과 기전요인과의 관련성을 조사하기 위해 피어슨(Pearson) 상관분석을 시행하였다. 기전요인의 평가 전 학습활동에 대한 상대적 공헌도를 알아보기 위해 다중회귀분석(multiple regression analysis, 동시적 독립변수 입력)을 시행하였다. 3학년과 4학년의 필기와 실기시험의 평가 전 학습활동과 기전요인을 비교하기 위해 독립표본 T검정과 대응표본 T검정을 시행하였다. p값이 0.05 미만인 경우 통계적 유의성이 있는 것으로 평가하였다. 분석은 IBM SPSS Statistics ver. 23.0 (IBM Corp., Armonk, NY, USA)을 통해 진행하였다.

결 과

1. 신뢰도

평가 전 학습활동에 대한 설문의 신뢰도는 필기시험에 대해 0.820, 실기시험에 대해 0.840이었다. 기전요인에 대한 설문의 신뢰도는 필기시험에 대해 0.813, 실기시험에 대해 0.834였다. 평가 전 학습활동과 기전요인의 하위요인별 신뢰도는 0.697–0.829였다(Table 1).
Table 1.
Reliability of two questionnaires
Variable Content No. of items Cronbach α
Written exam CPX/OSCE
Pre-assessment learning activities Cognitive activities 6 0.697 0.760
Meta-cognitive activities 10 0.729 0.734
Total 16 0.820 0.840
Mechanism factors Personal 6 0.696 0.717
Interpersonal 5 0.763 0.788
Environmental 5 0.806 0.829
Total 16 0.813 0.834

CPX/OSCE, clinical performance examination/objective structured clinical examination.

2. 기전요인이 평가 전 학습활동에 미치는 영향

필기시험의 평가 전 학습활동과 기전요인의 상관계수는 0.479였으며, 실기시험의 평가 전 학습활동과 기전요인의 상관계수는 0.508이었다. 평가 전 학습활동(인지와 메타인지)는 하위 기전요인과 0.272–0.447의 상관계수를 나타내었다(Table 2).
Table 2.
The correlation between pre-assessment learning activities and mechanism factors
Mechanism factors Pre-assessment learning activities
Cognitive Meta-cognitive Total
Written exam
  Personal 0.342* 0.394* 0.417*
  Interpersonal 0.343* 0.361* 0.392*
  Environmental 0.272* 0.352* 0.347*
  Total 0.395* 0.461* 0.479*
CPX/OSCE
  Personal 0.378* 0.341* 0.379*
  Interpersonal 0.443* 0.370* 0.447*
  Environmental 0.392* 0.315* 0.388*
  Total 0.514* 0.428* 0.508*

CPX/OSCE, clinical performance examination/objective structured clinical examination.*p<0.05.

기전요인의 독립변수 간의 상관계수는 0.80 이하로 다중공선성이 없는 것으로 판단하였다. 기전요인의 평가 전 학습활동에 대한 설명력(R2)은 필기시험에 대해 24.1%, 실기시험에 대해 25.9%였다. 필기시험의 평가 전 학습활동에 대한 기전요인의 상대적 영향력은 개인(0.279), 관계(0.176), 환경(0.164)의 순서로, 개인의 영향력이 가장 컸다. 반면에 실기시험의 평가 전 학습활동에 대해서는 관계(0.238), 환경(0.215), 개인(0.190)의 순서로, 개인보다 관계와 환경 의 영향력이 상대적으로 높았다. 구체적으로 필기시험의 평가 전 학습활동은 인지와 메타인지활동 모두에 개인(인지 0.217, 메타인지 0.267)의 영향력이 큰 반면에, 실기시험의 평가 전 학습활동은 메타인지보다 인지활동에 관계(0.235) 또는 환경(0.241)의 영향력이 컸다(Table 3).
Table 3.
The multiple regression analysis between pre-assessment learning activities and mechanism factors
Variable Written exam CPX/OSCE
B β t-value p-value B β t-value p-value
Cognitive
  Personal 0.280 0.217 3.139 0.002 0.224 0.177 2.641 0.009
  Interpersonal 0.208 0.191 2.456 0.015 0.270 0.235 3.217 0.001
  Environmental 0.095 0.100 1.367 0.173 0.238 0.241 3.622 <0.001
  F, R, R2, adjusted R2 14.702*, 0.407, 0.166, 0.154 25.877*, 0.514, 0.264, 0.254
Meta-cognitive
  Personal 0.527 0.267 3.980 <0.001 0.334 0.193 2.715 0.007
  Interpersonal 0.221 0.133 1.767 0.079 0.279 0.179 2.274 0.024
  Environmental 0.282 0.196 2.769 0.006 0.237 0.177 2.495 0.013
  F, R, R2, adjusted R2 20.994*, 0.471, 0.222, 0.211 25.877*, 0.430, 0.185, 0.174
Total
  Personal 0.836 0.279 4.189 <0.001 0.525 0.190 2.784 0.006
  Interpersonal 0.438 0.176 2.356 0.019 0.596 0.238 3.144 0.002
  Environmental 0.355 0.164 2.329 0.021 0.459 0.215 3.141 0.002
  F, R, R2, adjusted R2 23.232*, 0.491, 0.241, 0.231 24.859*, 0.509, 0.259, 0.249

CPX/OSCE, clinical performance examination/objective structured clinical examination.*p<0.05.

3. 3학년과 4학년에서 평가 전 학습활동과 기전요인의 비교

3학년과 4학년의 평가 전 학습활동과 기전요인를 비교해 보면, 4학년 학생들이 3학년 학생들에 비해 학습활동과 기전요인 점수가 높았다. 예외로 필기시험의 메타인지활동은 3학년과 4학년 간에 차이가 없었으며(3학년 34.54±5.24, 4학년 35.91±5.58, p= 0.059), 필기시험의 기전요인 중 개인요인은 유사하였다(3학년 21.92±2.91, 4학년 22.39±2.65, p=0.203) (Table 4).
Table 4.
The differences in the pre-assessment learning activities and mechanism factors for summative assessment between 3rd and 4th year students
Variable Category 3rd year (N=121) 4th year (N=108) t-value Degrees of freedom p-value
Pre-assessment learning activities
  Cognitive Written exam 22.34±3.42 23.63±3.63 -2.763 225 0.006
CPX/OSCE 21.07±3.87 23.90±4.07 -5.341 222 <0.001
  Meta-cognitive Written exam 34.54±5.24 35.91±5.58 -1.896 224 0.059
CPX/OSCE 33.31±5.36 35.94±5.56 -3.601 222 <0.001
  Total Written exam 56.92±7.72 59.54±8.48 -2.415 222 0.017
CPX/OSCE 54.32±8.26 59.82±9.05 -4.713 218 <0.001
Mechanism factors
  Personal Written exam 21.92±2.91 22.39±2.65 -1.275 227 0.203
CPX/OSCE 21.41±3.25 22.65±3.01 -2.997 226 <0.001
  Interpersonal Written exam 18.72±2.8 20.03±3.59 -3.090 226 0.002
CPX/OSCE 18.38±3.35 20.06±3.55 -3.677 226 <0.001
  Environmental Written exam 17.34±3.46 20.02±3.57 -5.765 227 <0.001
CPX/OSCE 16.40±3.82 19.26±3.92 -5.560 225 <0.001
  Total Written exam 57.93±6.92 62.40±8.06 -4.538 226 <0.001
CPX/OSCE 56.17±8.04 61.99±9.90 -5.452 223 <0.001

Values are presented as mean±standard deviation. Independent t-tests conducted for comparisons between 3rd and 4th year. The p-value <0.05 was considered to be statistically significant. CPX/OSCE, clinical performance examination/objective structured clinical examination.

학년별로 필기와 실기시험 전의 학습활동을 비교했을 때, 3학년에서 필기와 실기시험 간에 차이를 보였고(p<0.001), 필기시험에서 더 높았다. 3학년은 학습활동 하위요소인 인지(p<0.001)와 메타인지(p=0.004)에서도 차이를 보였고, 필기시험에서 더 높았다. 반면에 4학년에서 필기와 실기시험을 비교할 때 평가 전 학습활동의 총점 (p=0.711), 인지(p=0.360)와 메타인지(p=0.956) 모두에서 차이가 없었다(Table 5).
Table 5.
The differences of the pre-assessment learning activities and mechanism factors between written exam and CPX/OSCE in 3rd and 4th year students
Variable Category 3rd year (N=121) 4th year (N=108)
Mean±SD t-value df p-value a) Mean±SD t-value df p-value a)
Pre-assessment learning activities
  Cognitive Written exam 22.35±3.44 4.228 117 <0.001 23.66±3.60 -0.919 103 0.360
CPX/OSCE 21.03±3.89 23.90±4.07
  Meta-cognitive Written exam 34.53±5.25 2.934 115 0.004 35.96±5.61 0.055 105 0.956
CPX/OSCE 33.25±5.38 35.94±5.57
  Total Written exam 56.89±7.68 4.140 113 <0.001 59.64±8.58 -0.371 102 0.711
CPX/OSCE 54.23±8.30 59.82±9.05
Mechanism factors
  Personal Written exam 21.92±2.91 2.425 120 0.017 22.35±2.63 -1.628 106 0.106
CPX/OSCE 21.40±3.25 22.65±3.01
  Interpersonal Written exam 18.72±2.80 1.567 119 0.120 20.03±3.59 -0.122 107 0.903
CPX/OSCE 18.38±3.35 20.06±3.55
  Environmental Written exam 17.35±3.47 3.507 119 0.001 20.07±3.54 2.905 106 0.004
CPX/OSCE 16.40±3.82 19.26±3.92
  Total Written exam 57.97±6.93 3.768 118 <0.001 62.42±7.90 0.931 105 0.354
CPX/OSCE 56.17±8.04 61.97±7.90

CPX/OSCE, clinical performance examination/objective structured clinical examination; SD, standard deviation; df, degrees of freedom.

a) a) Paired t-tests conducted for comparisons between written exam and CPX/OSCE. The p-value <0.05 was considered to be statistically significant.

3학년 학생들의 필기시험과 실기시험에 대한 기전요인 총점은 유의수준 0.05에서 유의미한 차이를 보였고(p<0.001), 필기시험이 더 높았으나, 4학년 학생들은 필기시험과 실기시험 간에 차이가 없었다(p=0.354). 하위요인별로 3학년 학생들은 개인(p=0.017)과 환경(p=0.001)요인에서 필기-실기시험 간 차이를 보였으나, 관계요인(p=0.120)은 차이가 없었다. 반면에 4학년 학생들의 인식은 환경요인에서만 필기시험과 실기시험에 대한 점수 차이를 보였다(p=0.004) (Table 5).

고 찰

본 연구는 기전요인이 필기시험과 실기시험의 평가 전 학습활동에 미치는 영향력에 대해 살펴보고, 3학년과 4학년에서 필기시험과 실기시험의 평가 전 학습활동이 차이가 있는지, 그것에 영향을 주는 기전요인은 차이가 있는지를 알아보았다.
우선, 평가 전 학습활동과 기전요인은 중등도의 유의미한 상관성을 보였다. 학생들이 시험을 준비하는 동안 학습 정도는 복잡한 요인이 관여하는데, 학생 개인의 인식, 주변 학우들과 교수의 영향, 시험을 준비할 수 있는 제도 또는 환경과 관련이 있음을 나타낸다. 다만, 평가방법에 따라 기전요인의 상대적 영향력은 다를 수 있는데, 필기시험의 경우 개인요인이 학습에 가장 큰 영향을 주는 반면, 실기시험은 학우 또는 교수의 영향 또는 환경요인이 개인보다 높다는 사실은 흥미롭다. 평가 전 학습활동의 하위요인에 대한 기전요인의 영향력을 살펴보면, 필기시험에서 개인요인은 인지와 메타인지활동 모두에 가장 큰 영향을 주고, 실기시험에서 관계 및 환경요인은 메타인지보다 인지활동에 더 큰 영향을 미치고 있다. 학우 관계 또는 물리적․ 조직적 여건이 실기시험의 시연, 정교화 및 조직화와 같은 실제적 학습활동에 영향을 주고 있다는 것이다. 실기시험의 경우 학우들과 그룹으로 학습을 하거나 지원시설을 이용하는 경우가 많기 때문이기도 하다. 실기시험의 평가 전 학습활동을 높이기 위해서는 학생 전체의 믿음과 분위기를 조성하거나 지원제도와 시설에 대한 점검이 필요하겠다.
다음으로, 3학년과 4학년에서 평가 전 학습활동과 기전요인을 비교하였다. 먼저 4학년은 필기와 실기시험의 평가 전 학습활동과 기전요인의 총점과 대부분 하위요인에서 3학년보다 점수가 높았다. 4학년은 졸업시험과 의사국가고시 시험을 앞두고 있으므로 학습활동이 활발하다고 여겨진다. 흥미로운 사실은 필기시험의 메타인지활동과 개인요인은 3학년과 4학년이 차이가 없었다. 이것은 3학년 학생들도 4학년 학생들만큼 필기시험에 대해 중요하게 생각하고(개인요인), 학습을 계획하고 성찰하는 메타인지활동을 하고 있다는 것을 나타낸다. 역으로 실기시험에 대해서는 3학년 학생들이 4학년에 비해 일관되게 낮은 점수를 보이므로 학습활동과 기전요인을 촉진하는 다양한 방법들이 모색되어야 할 것이다.
또한 3학년과 4학년에서 평가 전 학습활동과 기전요인에 대해 필기와 실기시험을 비교하였을 때, 3학년 학생들의 학습활동은 필기와 실기시험 간에 차이를 보였으나, 4학년 학생들은 필기와 실기시험에 대해 유의한 차이를 보이지 않았다. 즉 3학년은 실기시험보다 필기시험 준비에 집중하는 경향이 있으며, 4학년은 필기시험 준비와 함께 실기시험 준비에도 동일하게 준비를 하였다. 3학년은 내용을 조직하고 정교화하는 인지활동과 계획하고 점검하고 조절하는 메타인지활동 모두 필기시험에 더 많이 사용하였다. 반면에 4학년 학생들은 필기시험과 실기시험에 대해 인지 ․ 메타인지활동 모두 비슷한 정도로 준비하였다. 4학년 때는 종합시험 이외에 하반기에 국가고시 실기시험을 치르고 이것의 영향이 설문에 반영되었을 가능성이 있기 때문에 정확한 비교는 어렵다. 그러나 3학년은 필기시험에 보다 집중하고, 4학년이 되어서야 실기시험 준비에 노력하는 이 결과는, 학생들이 실기시험을 준비할 때 임상실습을 포함한 장기적인 교육과정에 의존하여 준비하기보다는 시험을 앞둔 4학년에 단기적 연습에 치중하고 있음을 보여준다. 이 결과는 Park [14]의 연구 맥락과도 일치한다.
마지막으로, 3학년과 4학년에서 평가 전 학습활동에 영향을 주는 기전요인에 대해 필기와 실기시험을 비교하였다. 3학년에서 기전요인 총점은 필기와 실기시험에서 차이가 있었지만, 4학년에서는 차이가 없었다. 이것은 3학년 학생들이 필기시험과 실기시험에 대한 생각이 다르게 나타나고 있는 것이다. 기전요인의 하위요인을 구체적으로 살펴볼 때 3학년은 개인, 환경요인에서 필기와 실기시험 간에 차이를 보인다. 즉 학생 스스로의 믿음(개인) 또는 환경적 요인(환경)이 필기시험에 더 유리한 요인을 나타낸다. 그러나 4학년에서의 차이는 개인의 믿음(개인요인)이 필기와 실기시험 간에 차이가 없다는 것이다. 여전히 환경요인에서 차이가 있지만, 4학년 학생들은 필기와 실기시험의 기전요인에 대해 비슷하게 생각하는 것 같다.
지금까지 논의를 요약하면, (1) 기전요인은 평가 전 학습활동에 다양하게 영향을 주는데, (2) 3학년 학생들은 필기와 실기시험 간에 평가 전 학습활동와 기전요인에서 차이를 보이고, 4학년 학생들은 필기와 실기시험 간에 평가 전 학습활동과 기전요인에서 차이가 없다는 것이다. 건강행동이론(health behavior theory)의 관점에서 종합적으로 볼 때, 기전요인의 차이는 시험에 대한 인식 차이를 야기하며, 인식의 차이는 학습에 대한 행동의 차이로 이어진다[1113]. 다시 말해서 3학년 학생들의 필기시험에 대한 높은 인식은 시험에 대한 준비를 더 하도록 하며, 즉 평가 전 학습활동을 높인다. 상대적으로 낮은 인식을 하고 있는 실기시험에 대한 준비(평가 전 학습활동)는 낮아지게 된다. 그러나 4학년은 필기시험과 실기시험 간에 기전요인 차이가 없고, 즉 필기시험과 실기시험에 대한 인식이 유사하고, 이것은 시험에 대해 비슷한 정도로 준비하게 한다. 따라서 평가 전 학습활동에 영향을 미치는 기전요인을 찾아 긍정적인 요인은 더욱 강화하고, 부정적인 요인은 개선하는 것이 평가 전 학습활동을 높이는 방법이라 할 수 있다. 게다가 평가 전 학습활동은 기전요인의 복잡한 역동에 더하여 시험 자체의 특성도 관여하기 때문에 전체적 시스템에서 관계를 고려해야 한다[1113].
본 연구의 한계점으로는 첫째, 설문시기에 대한 고려가 필요하다. 설문이 시행된 12월에 4학년 학생들은 의사국가고시 실기시험을 치르고 필기시험을 준비하고 있는 상태였다. 교내․ 외 종합시험뿐만 아니라 국가고시의 영향이 설문결과에 반영되었다고 볼 수 있다. 둘째, 평가 자체의 특성이나 맥락에 대해 고려하지 않았다. 즉 필기와 실기시험은 평가 고유의 부담(task demand)이 다르고, 평가시스템(예: 평가 일정)에서 차이가 있을 수 있는데, 이것이 평가 전 학습활동에 영향을 줄 수 있다[13,15]. 셋째, 기전요인이 시험 전 인지와 메타인지활동에 영향을 주는 것을 확인하였으나, 평가 전 학습활동을 설문을 통해 평가하였으므로 실제 학습의 정도는 판단할 수 없다. 추가연구로 시험 고유의 특성, 기전요인 및 평가 전 학습활동의 전체적인 관계를 명확히 하거나 설문으로 나타난 평가 전 학습활동이 수행능력을 얼마나 설명하는지 연구해 볼 수 있겠다. 이것은 ‘시험 전–시험 중–시험 후’의 순환고리에 대해 구체화하는 방법이 될 것이다.
위 한계점에도 불구하고 본 연구는 시험 전 학생들의 준비과정에 초점을 맞추어 학습활동과 이것에 영향을 주는 요인에 대해 살펴보았다는 점에서 연구의 의의가 있다. 또한 3학년과 4학년에서 필기와 실기시험에 대한 평가 전 학습활동과 기전요인을 비교함으로써 평가의 문제점을 파악하는 예를 제시하였다. 교육자는 학생들의 학습을 촉진하도록 평가를 설계해야 하며, 학생 개인의 요소뿐만 아니라 학우나 교수들의 영향, 그리고 환경과 제도까지도 고려해야 한다.

저자 기여

윤소정: 연구설계, 통계, 초고작성; 이상엽: 연구설계, 결과 분석 및 논의; 임선주: 연구설계․ 실행․ 분석 총괄

감사의 글

이 논문은 양산부산대학교병원 정책연구과제 연구지원(50-2016-002)에 의하여 연구되었다.

REFERENCES

1.Dochy F, Segers M, Gijbels D, Struyven KAssessment engineering. In: Boud D, Falchikov N, editors. Rethinking assessment in higher education: learning for the longer term. Oxford: Routledge; 2007. p. 87-100.
2.Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, et al. Criteria for good assessment: consensus statement and re-commendations from the Ottawa 2010 Conference. Med Teach.. 2011;33(3):206-14.
crossref pmid
3.Gibbs G, Simpson C. Conditions under which assessment supports students’ learning. Learn Teach High Educ.. 2005;1:3-31.
4.Levant B, Zuckert W, Paolo A. Post-exam feedback with question rationales improves re-test performance of medical students on a multiple-choice exam. Adv Health Sci Educ Theory Pract.. 2018;23(5):995-1003.
crossref pmid pdf
5.Tekian A, Watling CJ, Roberts TE, Steinert Y, Norcini J. Qualitative and quantitative feedback in the context of competency-based education. Med Teach.. 2017;39(12):1245-9.
crossref pmid
6.Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, et al. Core principles of assessment in competency-based medical education. Med Teach.. 2017;39(6):609-16.
crossref pmid
7.Roh H, Lee JT, Yoon YS, Rhee BD. Development of a portfolio for competency-based assessment in a clinical clerkship curriculum. Korean J Med Educ.. 2015;27(4):321-7.
crossref pmid pmc
8.Schuwirth LW, van der Vleuten CP. Programmatic assessment: from assessment of learning to assessment for learning. Med Teach.. 2011;33(6):478-85.
crossref pmid
9.Timmerman AA, Dijkstra J. A practical approach to programmatic assessment design. Adv Health Sci Educ Theory Pract.. 2017;22(5):1169-82.
crossref pmid pmc pdf
10.Heeneman S, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ.. 2015;49(5):487-98.
crossref pmid
11.Cilliers FJ, Schuwirth LW, Adendorff HJ, Herman N, van der Vleuten CP. The mechanism of impact of summative assessment on medical students' learning. Adv Health Sci Educ Theory Pract.. 2010;15(5):695-715.
crossref pmid pmc
12.Cilliers FJ, Schuwirth LW, van der Vleuten CP. Modelling the pre- assessment learning effects of assessment: evidence in the validity chain. Med Educ.. 2012;46(11):1087-98.
crossref pmid pmc pdf
13.Cilliers FJ, Schuwirth LW, Herman N, Adendorff HJ, van der Vleuten CP. A model of the pre-assessment learning effects of summative assessment in medical education. Adv Health Sci Educ Theory Pract.. 2012;17(1):39-53.
crossref pmid pmc
14.Park HK. The impact of introducing the Korean Medical Licensing Examination clinical skills assessment on medical education. J Korean Med Assoc.. 2012;55(2):116-23.
crossref
15.Lafleur A, Laflamme J, Leppink J, Cote L. Task demands in OSCEs influence learning strategies. Teach Learn Med.. 2017;29(3):286-95.
crossref pmid

Appendices

부록 1.

종합 시험 준비에 대한 설문 조사

1. 필기시험과 실기시험을 어떻게 준비했는지 각각 5단계로 표기해 주세요.
매우 그렇다(5), 그렇다(4), 보통이다(31, 그렇지 않대2), 매우 그렇지 않다(1)
영역 항목 필기시험 실기시험
인지 시연 1. 중요한 내용에 밑줄을 긋거나 표시를 해두었다. 5 4 3 2 1 5 4 3 2 1
2. 중요한 내용을 반복해서 읽어보았다. 5 4 3 2 1 5 4 3 2 1
정교화 3. 학우들과 질의응답을 하면서 공부하였다. 5 4 3 2 1 5 4 3 2 1
4. 이해가 되지 않는 부분은 다른 자료를 찾아보았다. 5 4 3 2 1 5 4 3 2 1
조직화 5. 중요한 내용을 정리하면서 공부하였다. 5 4 3 2 1 5 4 3 2 1
6. 중요한 개념에 대해 도표나 그림을 그려보았다. 5 4 3 2 1 5 4 3 2 1
메타인지 계획 7. 시험을 위해 미리 계획을 세워서 공부했다. 5 4 3 2 1 5 4 3 2 1
8. 무엇부터 공부할지 순서를 정한 후 시작했다. 5 4 3 2 1 5 4 3 2 1
교재 9. 시중에 나와 있는 참고도서를 활용했다. 5 4 3 2 1 5 4 3 2 1
10. 교과서 또는 수업 강의록을 활용했다. 5 4 3 2 1 5 4 3 2 1
점검 11. 나는 시험을 잘 준비하고 있는지 스스로 점검해 보았다. 5 4 3 2 1 5 4 3 2 1
12. 틀린 문제는 다시 확인하고 공부하였다. 5 4 3 2 1 5 4 3 2 1
조절 13. 나는 공부 내용과 양에 따라 시간과 공부 방법을 조절하였다. 5 4 3 2 1 5 4 3 2 1
14. 시간이 부족하면 중요하지 않는 부분은 건너뛰었다. 5 4 3 2 1 5 4 3 2 1
지속학습 15. 임상실습 또는 평소에 이 시험을 준비했다. 5 4 3 2 1 5 4 3 2 1
16. 시험을 앞두고 몰아서 준비했다.a) 5 4 3 2 1 5 4 3 2 1

a) a) 역채점.

2. 평소에 필기시험과 실기시험을 준비하면서 느끼고 있던 생각을 각각 5단계로 표기해 주세요.
매우 그렇다(5), 그렇다(4), 보통이다(3), 그렇지 않대(2), 매우 그렇지 않다(1)
영역 항목 필기시험 실기시험
개인 효과 1. 이 시험을 준비하면 유급 등의 나쁜 일은 생기지 않을 것이다. 5 4 3 2 1 5 4 3 2 1
평가 2. 이 시험은 성적이 떨어지거나 실패할 위험이 너무 크다. 5 4 3 2 1 5 4 3 2 1
반응 3. 이 시험을 준비해야 편한 결과를 얻을 수 있다. 5 4 3 2 1 5 4 3 2 1
평가 4. 이 시험 준비로 인해 내 생활의 균형을 깨고 싶지 않다. 5 4 3 2 1 5 4 3 2 1
5. 내가 잘 하는 것은 중요하다: 나쁜 결과를 얻거나 실패하고 싶지 않다. 5 4 3 2 1 5 4 3 2 1
지각된통제감 6. 내가 공부하면 이 상황에서 충분히 잘 할 수 있다고 믿는다. 5 4 3 2 1 5 4 3 2 1
관계 규범 7. 다른 학생들은 내가 공부하면 충분히 잘 할 것이라고 말해 준다. 5 4 3 2 1 5 4 3 2 1
신념 8. 학우들은 이 시험이 중요하다고 말한다. 5 4 3 2 1 5 4 3 2 1
9. 교수님들은 이 시험의 중요성을 강조한다. 5 4 3 2 1 5 4 3 2 1
순응 10. 학우들에게서 지도를 받는 것은 도움이 된다. 5 4 3 2 1 5 4 3 2 1
동기 11. 교수님들의 수업과 실습지도는 이 시험을 준비하는데 의미가 있다. 5 4 3 2 1 5 4 3 2 1
환경 물리적 • 12. 이 시험 준비를 위한 여건이 된다. 5 4 3 2 1 5 4 3 2 1
조직적 13. 이 시험 준비를 위한 교육과정이 있다. 5 4 3 2 1 5 4 3 2 1
14. 공부 자료를 쉽게 얻을 수 있다. 5 4 3 2 1 5 4 3 2 1
15. 지원이 있고 시설 이용이 용이하다. 5 4 3 2 1 5 4 3 2 1
16. 학교의 정책은 이 시험의 중요성을 강조한다. 5 4 3 2 1 5 4 3 2 1
TOOLS
METRICS Graph View
  • 0 Crossref
  •  0 Scopus
  • 667 View
  • 4 Download
Related articles


Editorial Office
Yonsei University College of Medicine, 50-1 Yonsei-ro, Seodaemun-gu, Seoul 03722, Korea
Tel: +82-2-2228-2514   Fax: +82-2-364-5450   E-mail: kmer@yuhs.ac                

Copyright © 2024 by Yonsei University College of Medicine.

Developed in M2PI