Structural Analysis of a Cognitive Multiple Choice Measuring Instrument: Exemplified by the Test of Economic Literacy (TEL4-G)

Manuel Förster; Sebastian Brückner; Roland Happ; Klaus Beck; Olga Zlatkin-Troitschanskaia

doi:10.25162/zbw-2017-0016

53650 Search results

Clear filter Show 53650 results

Article Authentication required

Subscibe in publisher´s online store Share via email

Structural Analysis of a Cognitive Multiple Choice Measuring Instrument

Exemplified by the Test of Economic Literacy (TEL4-G)

Förster, Manuel; Brückner, Sebastian; Happ, Roland; Beck, Klaus; Zlatkin-Troitschanskaia, Olga

From the journal ZBW Zeitschrift für Berufs- und Wirtschaftspädagogik, Volume 113, September 2017, issue 3

Published by Franz Steiner Verlag

article, 11683 Words
Original language: German
ZBW 2017, pp 366-396
https://doi.org/10.25162/zbw-2017-0016

Abstract Related content References

Abstract

Despite considerable progress in the development of computer-based, simulative, and adaptive assessment tools, traditional paper-pencil performance tests are predominantly used in education research and practice. On closer examination, however, the internal structure of these tests reveals aspects that remain unnoticed if only standard testing parameters, usually determined in pilot studies, are considered for the assessment. We use the German version of the internationally administered „Test of Economic Literacy, 4th Ed.“ as an example to discuss further features that should be considered for an adequate interpretation of testing parameters and scores, their importance, and possible enhancements needed to ensure the validity of interpretations. As (not only) the results of our validity study indicate, the cognitive features widely applied in international test development do not have the theoretically alleged power to fully determine task difficulty. From such observations we conclude that additional features, including non-cognitive conditions and characteristics of test solving strategies, require closer investigation and more elaborated control.

Author information

Manuel Förster

Sebastian Brückner

Roland Happ

Klaus Beck

Olga Zlatkin-Troitschanskaia

Keywords

References

1. Abele, S. (2016). Umgang mit Komplexität: Eine bedeutsame psychische Voraussetzung des domänespezifischen Problemlösens? Zeitschrift für Berufs- und Wirtschaftspädagogik, 112(1), 37-59.
2. Abele, S. / Behrendt, S. / Weber, W. / Nickolaus, R. (2016). Berufsfachliche Kompetenzen von Kfz-Mechatronikern - Messverfahren, Kompetenzdimensionen und erzielte Leistungen (KOKO Kfz). In K. Beck, M. Landenberger & F. Oser (Hrsg.), Technologiebasierte Kompetenzmessung in der beruflichen Bildung. Ergebnisse aus der BMBF-Förderinitiative ASCOT (S. 171-203). Bielefeld: Bertelsmann.
3. Alexander, P. A. / Kulikowich, J. M. / Schulze, S. K. (1994). The influence of topic knowledge, domain knowledge, and interest on the comprehension of scientific exposition. Learning and Individual Differences, 6, 379-397.
4. American Educational Research Association (AERA) / American Psychological Association (APA) / National Council on Measurement in Education (NCME) (2014). Standards for Educational and Psychological Testing. Washington. DC: American Educational Research Association.
5. Anderson, L. W. / Krathwohl, D. R. (Hrsg.). (2001). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives. Boston: Allyn & Bacon (Pearson Education Group).
6. Arffman, I. (2013). Problems and Issues in Translating International Educational Achievement Test. Educational Measurement: Issues and Practice, 32(2), 2-14. DOI 10.1111/emip.12007
7. Beck, K. (1991). Economic Literacy in German Speaking Countries and the United States. First Steps to a Comparative Study. Economia, 1, 17-23.
8. Beck, K. / Krumm, V. (1992). Economic Literacy in the United States, Germany, and Austria: Results of cross national studies. Paper presented at the Annual Meeting of the Joint Council on Economic Education and the National Association on Economic Education JCEE/NAEE, Los Angeles, USA. Nov. 09, 1990. ERIC. Microfiche No. ED 340 629, 1-65.
9. Beck, K. / Krumm, V. / Dubs, R. (1998). Wirtschaftskundlicher Bildungs-Test (WBT). Göttingen: Hogrefe.
10. Beck, K. / Landenberger, M. / Oser, F. (Hrsg.) (2016). Technologiebasierte Kompetenzmessung in der beruflichen Bildung. Bielefeld: Bertelsmann.
11. Bloom, B. S. (1956). (Hg.). Taxonomy of Educational Objectives: The Classification of Educational Goals. New York: McKay.
12. Bray, M. / Adamson, B. / Mason, M. (2007). Comparative education research - approaches and methods. Hong Kong, China: Springer.
13. Brückner, S. (2017). Prozessbezogene Validierung anhand von mentalen Operationen bei der Bearbeitung wirtschaftswissenschaftlicher Testaufgaben. Landau: Verlag Empirische Pädagogik (im Druck).
14. Brückner, S. / Förster, M. / Zlatkin-Troitschanskaia, O. / Walstad, W. B. (2015a). Effects of prior economic education, native language, and gender on economic knowledge of first-year students in higher education. A comparative study between Germany and the USA. Studies in Higher Education, 40(3), 437-453.
15. Brückner, S. / Förster, M. / Zlatkin-Troitschanskaia, O. / Happ, R. / Walstad, W. B. / Yamaoka, M. / Asano, T. (2015b). Gender Effects in Assessment of Economic Knowledge and Understanding: Differences Among Undergraduate Business and Economics Students in Germany, Japan, and the United States. Peabody Journal of Education, 90(4), 503-518.
16. Brückner, S. / Pellegrino, J. W. (2016). Integrating the Analysis of Mental Operations into Multilevel Models to Validate an Assessment of Higher Education Students’ Competency in Business and Economics. Journal of Educational Measurement, 53(3), 293-312.
17. Brückner, S. / Pellegrino, J. W. (2017). Contributions of Response Processes Analysis to the Validation of an Assessment of Higher Education Students’ Competency in Business and Economics (Chap. 3). In B. Zumbo & A. Hubley (Eds.), Understanding and Investigating Response Processes in Validation Research (pp. 31-52). New York: Springer.
18. Buckles, S. / Siegfried, J. (2006). Using multiple-choice questions to evaluate in-depth learning of economics. Journal of Economic Education, 37(1), 48-57.
19. Cole, J. S. / Osterlind, S. J. (2008). Investigating differences between low- and high-stakes test performance on a general education exam. Journal of General Education, 57, 119-130.
20. Council for Economic Education (CEE) (2010). Voluntary national content standards in economics. New York: Council for Economic Education.
21. Damman, E. / / Behrendt, S. / Ştefánică, F. / Nickolaus, R. (2016). Erreichte Kompetenzniveaus in der ingenieurwissenschaftlichen Grundbildung - Analyse am Beispiel der Technischen Mechanik. Zeitschrift für Erziehungswissenschaft, 19(2), 351-374.
22. Davis, B. G. (2001). Tools for teaching. San Francisco, CA: Jossey-Bass.
23. Davies, P. / Mangan, J. (2007). Threshold concepts and the integration of understanding in economics, Studies in Higher Education, 32(6), 711-726.
24. Deutsche Gesellschaft für ökonomische Bildung (DEGÖB) (2004). Kompetenzen der ökonomischen Bildung für allgemeinbildende Schulen und Bildungsstandards für den mittleren Schulabschluss. Abruf am 22.07.2016 unter http://degoeb.de/uploads/degoeb/04_DEGOEB_Sekundarstufe-I.pdf
25. Draxler, D. (2005). Aufgabendesign und basismodellorientierter Physikunterricht (Dissertation). Unv. Duisburg-Essen: Universität Duisburg-Essen. Abruf am 22.07.2016 unter http://duepublico.uni-duisburg-essen.de/servlets/DocumentServlet?id=14098
26. Ericsson, K. A. (Ed.). (1996). The road to excellence: The acquisition of expert performance in the arts and sciences, sports, and games. Mahwah, N. J.: Erlbaum.
27. Fassott, G. / Eggert, A. (2005). Zur Verwendung formativer und reflektiver Indikatoren in Strukturgleichungsmodellen: Bestandsaufnahme und Anwendungsempfehlungen. In F. Bliemel, A. Eggert, G. Fassott, & J. Henseler (Hrsg.), Handbuch PLS-Pfadmodellierung. Methode, Anwendung, Praxisbeispiele (S. 31-47). Stuttgart: Schäffer-Poeschel.
28. Finch, H. (2005). The MIMIC Model as a Method for Detecting DIF: Comparison with Mantel-Haenszel, SIBTEST, and the IRT Likelihood Ratio. Applied Psychological Measurement, 29, 278-295.
29. Förster, M. / Zlatkin-Troitschanskaia, O. / Happ, R. (2015). Adapting and Validating the Test of Economic Literacy to Assess the Prior Economic Knowledge of First-Year Students in Business and Economic Studies in Germany (Discussion Paper; Annual Meeting of the American Economic Association). Boston: AEA.
30. Förster, M. / Brückner, S. / Zlatkin-Troitschanskaia, O. (2015a). Assessing the Financial Knowledge of University Students in Germany. Empirical Research in Vocational Education and Training, 7(6), 1-20.
31. Förster, M. / Zlatkin-Troitschanskaia, O. / Brückner, S. / Happ, R. / Hambleton, R. K. / Walstad, W. B. / Asano, T. / Yamaoka, M. (2015b). Validating Test Score Interpretations by Cross-National Comparison: Comparing the Results of Students From Japan and Germany on an American Test of Economic Knowledge in Higher Education. Zeitschrift für Psychologie, 223(1), 14-23.
32. Frey, A. / Hartig, J. (2013). Wann sollten computerbasierte Verfahren zur Messung von Kompetenzen anstelle von Papier- und Bleistiftbasierten Verfahren eingesetzt werden? Zeitschrift für Erziehungswissenschaft, 16(Sonderheft 1), 53-57.
33. Gigerenzer, G. (2008). Bauchentscheidungen: die Intelligenz des Unbewussten und die Macht der Intuition. München: Goldmann.
34. Hambleton, R. K. (2001). The Next Generation of the ITC Test Translation and Adaption Guidelines. European Journal of Psychological Assessment, 17, 164-172.
35. Happ, R. (2017). Die Entwicklung des volkswirtschaftlichen Grundlagenwissens im Studienverlauf - Effekte von Eingangsvoraussetzungen auf den Wissenserwerb. Landau: Verlag Empirische Pädagogik (im Druck).
36. Harkness, J. A. (2008). Comparative survey research: Goals and challenges. In E. D. de Leeuw, J. J. Hox, & D. A. Dillman (Hrsg.), International handbook of survey methodology (pp. 56-77). New York: L. Erlbaum Associates.
37. Harteis, C. / Billett, S. (2013). Intuitive expertise: Theories and empirical evidence. Educational Research Review, 9, 145-157. DOI 10.1016/j.edurev.2013.02.001
38. Hartig, J. (2007). Skalierung und Definition von Kompetenzniveaus. In E. Klieme & B. Beck (Hrsg.), Sprachliche Kompetenzen. Konzepte und Messung. DESI-Studie (S. 83-99). Weinheim: Beltz.
39. Hartig, J. / Frey, A. / Nold, G. / Klieme, E. (2012). An Application of Explanatory Item Response Modeling for Mode-Based Proficiency Scaling, Educational and Psychological Measurement, 72(4), 665-686.
40. Hartmann, G. B. (2015). Gesamtwirtschaftliche Aspekte - Industrie (9. Aufl.). Rinteln: Merkur Verlag.
41. Hontheim, T. (2016). Ökonomische Bildung von Jugendlichen in Rheinland-Pfalz - Bedeutung der curricularen Verankerung volkswirtschaftlicher Inhalte in der Sekundarstufe II. Lehrstuhl für Wirtschaftspädagogik: Mainz (unveröffentlichte Masterarbeit).
42. International Test Commission (ITC) (2005). ITC Guidelines for Translating and Adapting Tests. Abruf am 22.07.2016 unter http://www.intestcom.org/files/guideline_test_adaptation.pdf
43. Jude, N. / Klieme, E. (2010). Das Programme for International Student Assessment (PISA). In E. Klieme, C. Artelt, J. Hartig, N. Jude, O. Köller, M. Prenzel, W. Schneider & P. Stanat (Hrsg.), PISA 2009. Bilanz nach einem Jahrzehnt (S. 11-22). Münster [u. a.]: Waxmann.
44. Kane, M. T. (2013). Validating the Interpretations and Uses of Test Scores. Journal of Educational Measurement, 50(1), 1-73.
45. Kelava, A. / Moosbrugger, H. (2012). Deskriptivstatistische Evaluation von Items (Itemanalyse) und Testwertverteilungen. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion. (S. 75-102). Berlin: Springer.
46. Korelyakov, Yu. A. / Landa, L. N. (1982). On parametric approaches to the analysis and description of thought processes. Instructional Science, 11, 29-50.
47. Krugman, P. / Obstfeld, M. / Melitz, M. (2011): Internationale Wirtschaft - Theorie und Politik der Außenwirtschaft (9. Aufl.). Hallbergmoos: Pearson Studium.
48. Kuhn, C. / Zlatkin-Troitschanskaia, O. / Pant, H. / Hannover, B. (2016). Valide Erfassung der Kompetenzen von Studierenden in der Hochschulbildung. Eine kritische Betrachtung des nationalen Forschungsstandes. Zeitschrift für Erziehungswissenschaften, 16(1), 1-24. DOI 10.1007/s11618-016-0673-7
49. Kutscha, G. (1975). Ökonomie an Gymnasien. Ziele, Konflikte, Konstruktionen. München: Kösel.
50. Leighton, J. P. (2004). Avoiding Misconception, Misuse, and Missed Opportunities: The Collection of Verbal Reports in Educational Achievement Testing. Educational Measurement: Issues and Practice, 23(4), 6-15.
51. Liu, O. L. / Bridgeman, B. / Adler, R. M. (2012). Measuring learning outcomes in higher education: Motivation matters. Educational Researcher, 41, 352-362.
52. Lorz, O. / Siebert, H. (2007). Einführung in die Volkswirtschaftslehre (15. Aufl.). Stuttgart: Kohlhammer.
53. Mankiw, N. G. / Taylor, M. P. (2012). Grundzüge der Volkswirtschaftslehre (5. Aufl.). Stuttgart: Schäffer-Poeschel.
54. Messick, S. (1989b). Validity. In R. L. Linn (Hrsg.), Educational Measurement (3. Aufl., S. 13-103). New York: Macmillan Publishing.
55. Meyer, J. / Land, R. (2006). Threshold concepts: an introduction. In J. Meyer & R. Land (Eds.), Overcoming barriers to student understanding: Threshold concepts and troublesome knowledge (S. 3-18). London, New York: Routledge.
56. Millman, J. / Bishop, C. H. / Ebel, R. (1965). An analysis of test-wiseness. Educational and Psychological Measurement, 25(3), 707-726.
57. Ministerium für Kultus, Jugend und Sport (MKJS) Baden-Württemberg (Hrsg.) (2016). Bildungsplan 2016: Allgemeinbildende Schulen Gymnasium (Endfassung) -Wirtschaft. Stuttgart: MKJS.
58. Minnameier, G. (2000). Entwicklung und Lernen - kontinuierlich oder diskontinuierlich? Münster: Waxmann.
59. Minnameier, G. (2005). Wissen und inferentielles Denken. Zur Analyse und Gestaltung von Lehr- Lern-Prozessen. Frankfurt: P. Lang.
60. Mislevy, R. J. / Haertel, G. D. (2006). Implications of Evidence-Centered Design for Educational Testing. Educational Measurement: Issues and Practice, 25(4), 6-20.
61. Mislevy, R. J. (2007). Validity by Design. Educational Researcher, 36(8), 463-469.
62. Mislevy, R. J. (2016). How Developments in Psychology and Technology Challenge Validity Argumentation. Journal of Educational Measurement, 53(3), 265-292.
63. Möhlmeier, H. / Skorzenski, F. / Wierichs, G. / Wurm, G. (2015). Allgemeine Wirtschaftslehre für den Bankkaufmann/die Bankkauffrau (11. Aufl.). Troisdorf: Bildungsverlag EINS.
64. Muthén, B. / Kao, C.-F. / Burstein, L. (1991). Instructionally Sensitive Psychometrics: Application of a new IRT-Based Detection Technique to Mathematics Achievement Test Items. Journal of Educational Measurement, 28(1), 1-22.
65. Muthén, L. K. / Muthén, B. O. (1998-2012). Mplus User’s Guide. (Seventh Edition). Los Angeles, CA: Muthén & Muthén.
66. Neuweg, G. H. (2015). Das Schweigen der Könner. Münxter: Waxmann.
67. Nickolaus, R. (2016). Barrieren bei der Bewältigung berufsfachlicher Aufgaben. Zeitschrift für Berufs- und Wirtschaftspädagogik, 112(2),167-183.
68. Nickolaus, R. / Gschwendtner, T. / Abele, S. (2009). Die Validität von Simulationsaufgaben am Beispiel der Diagnosekompetenz von Kfz-mechatronikern. Vorstudie zur Validität von Simulationsaufgaben im Rahmen eines VET-LSA. Abschlussbericht für das Bundesministerium für Bildung und Forschung zum Projekt. Stuttgart: Universität Stuttgart, Institut für Erziehungswissenschaft und Psychologie. Abruf am 29.08.2016 unter https://www.bmbf.de/files/Abschluss-Bericht_Druckfassung.pdf
69. Nickolaus, R. / Abele, S. / Gschwendtner, T. / Nitschke, A. / Greiff, S. (2012). Fachspezifische Problemlösefähigkeit in gewerblich-technischen Ausbildungsberufen. Modellierung, erreichte Niveaus und relevante Einflussfaktoren. Zeitschrift für Berufs- und Wirtschaftspädagogik, 108(2), 243-272.
70. Nickolaus, R. / Abele, S. / Schmidt, T. (2014). Die Relevanz expliziten und impliziten Wissens für berufsfachliche Leistungen - Forschungsergebnisse in gewerblich-technischen Domänen und ihre Bedeutung für berufliche Qualifizierungsprozesse. In BMBF (Hrsg.), Bildungsforschung 2020. Zwischen wissenschaftlicher Exzellenz und gesellschaftlicher Verantwortung. Bildungsforschung (S. 333-346). Bd. 42. Berlin.
71. OECD (2013). Assessment of Higher Education Learning Outcomes. Feasibility Study Re-port. Volume 3 - Further Insights. Paris: OECD Publishing.
72. Opp, K. D. (1972). Methodologie der Sozialwissenschaften. Reinbek: Rowohlt.
73. Petsch, D. / Norwig, K. / Nickolaus, R. (2015). Berufsfachliche Kompetenzen in der Grundstufe Bautechnik. Strukturen, erreichte Niveaus und relevante Einflussfaktoren. In A. Rausch, J. Warwas, J. Seifried & E. Wuttke (Hrsg.), Konzepte und Ergebnisse ausgewählter Forschungsfelder der beruflichen Bildung. Festschrift für Detlef Sembill (S. 59-88). Schneider Verlag Hohengehren: Baltmannsweiler.
74. Pindyck, R. / Rubinfeld, D. (2009): Mikroökonomie (7. Aufl.). Hallbergmoos: Pearson Studium.
75. Pindyck, R. / Rubinfeld, D. (2014): Makroökonomie (6. Aufl.). Hallbergmoos: Pearson Studium.
76. Prim, R. / Tilmann, H. (1997). Grundlagen einer kritisch-rationalen Sozialwissenschaft. 7. Aufl. Wiesbaden: Quelle & Meyer.
77. Reiss, K. / Vermeer, H. J. (2014). Towards a General Theory of Translational Action: Skopos Theory Explained. Manchester: St. Jerome.
78. Schmidt, S. (2017). Veränderungsmessung des fachlichen Wissens von Studierenden - Eine Längsschnittanalyse des Wissenserwerbs in einem latenten Mehrebenenmodell (Economics Education and Human Resource Management). Springer Gabler: Wiesbaden (im Druck).
79. Seeber, S. (2008). Ansätze zur Modellierung beruflicher Fachkompetenz in kaufmännischen Ausbildungsberufen. Zeitschrift für Berufs- und Wirtschaftspädagogik, 106(1), 74-97.
80. Seifried, J. / Ziegler, B. (2009). Domänebezogene Professionalität. In O. Zlatkin-Troitschanskaia, K. Beck, D. Sembill, R. Nickolaus & R. Mulder (Hrsg.), Lehrprofessionalität. Bedingungen, Genese, Wirkungen und ihre Messung (S. 83-92). Weinheim: Beltz.
81. Solano-Flores, G. / Backhoff, E. / Contreras-Niño, L. A. (2009). Theory of test translation error. International Journal of Testing, 9, 78-91.
82. Soper, J. C. / Walstad, W. B. (1987). Test of Economic Literacy (2. Ed.). New York: Joint Council on Economic Education.
83. Stegmüller, W. (1984). Probleme und Resultate der Wissenschaftstheorie und Analytischen Philosophie, Bd. 2. Berlin: Springer.
84. Walstad, W. B. / Rebeck, K. / Butters, R. B. (2013a). Test of economic literacy: Examiner`s manual (4. Ed.). New York: Council for Economic Education.
85. Walstad, W. B. / Rebeck, K. / Butters, R. B. (2013b). The Test of Economic Literacy: Development and Results. Journal of Economic Education, 44(3), 298-309.
86. Weirich, S. / Hecht, M. / Böhme, K. (2014). Modeling Item Position Effects Using Generalized Linear Mixed Models. Applied Psychological Measurement, 38(7), 535-548.
87. Wise, S. L. / DeMars, C. E. (2005). Low examinee effort in low-stakes assessment: Problems and potential solutions. Educational Assessment, 10(1), 1-17.
88. Witt, R. (2009). Pädagogische Professionalität und die Differenzierung der Domänen in der beruflichen Bildung. In O. Zlatkin-Troitschanskaia, K. Beck, D. Sembill, R. Nickolaus & R. Mulder (Hrsg.), Lehrprofessionalität. Bedingungen, Genese, Wirkungen und ihre Messung (S. 93-103). Weinheim: Beltz.
89. Yamaoka, M. / Walstad, W. B. / Watts, M. W. / Asano, T. / Abe, S. (2010). Comparative Studies on Economic Education in Asia-Pacific Region. Tokyo: Shumpusha Publishing.
90. Zlatkin-Troitschanskaia, O. / Förster, M. / Brückner, S. / Happ, R. (2014). Insights from a German assessment of business and economics competence. In H. Coates (Ed.), Higher Education Learning Outcomes Assessment - International Perspectives (S. 175-197). Frankfurt/Main: Peter Lang.
91. Zlatkin-Troitschanskaia, O. / Pant, H. A. / Kuhn, C. / Toepper, M. / Lautenbach, C. (2016a). Assessment Practices in Higher Education and Results of the German Research Program Modeling and Measuring Competencies in Higher Education (KoKoHs). Journal Research & Practice in Assessment, 11, 46-54.
92. Zlatkin-Troitschanskaia, O. / Pant, H. A. / Kuhn, C. / Toepper, M. / Lautenbach, C. (2016b). Messung akademisch vermittelter Kompetenzen von Studierenden und Hochschulabsolventen. Ein Überblick zum nationalen und internationalen Forschungsstand. Wiesbaden: Springer.

We use cookies.