Cognitive diagnostic models to accompany individualized teaching and learning processes: New possibilities from an alternative approach?

Article Authentication required
Subscibe in publisher´s online store Share via email
Cognitive diagnostic models to accompany individualized teaching and learning processes: New possibilities from an alternative approach?
Bley, Sandra; George, Ann Cathrice

From the journal ZBW Zeitschrift für Berufs- und Wirtschaftspädagogik, Volume 113, March 2017, issue 1

Published by Franz Steiner Verlag

article, 11233 Words
Original language: German
ZBW 2017, pp 56-85
https://doi.org/10.25162/zbw-2017-0003

Abstract Related content References

Abstract

The categories of good teaching and the teaching standards both indicate a need for detailed information on learning and performance processes. This detailed information should support an efficient and effective support of learners (e. g., “competence to diagnose”). In daily business teachers mostly rely on many years of experience. In this article we first give an overview of the approach of cognitive diagnostic models. Especially we highlight and discuss the model’s potentials for an evidence-based individual, theoretically grounded and valid learning and performance support. Second, we exemplify the method of cognitive diagnosis models by measuring intrapreneurship competence within the vocational education training of industrial clerks. The example includes an explanation of underlying assumptions as well as their implementation through a technology-based performance assessment. Finally, the outcomes of the cognitive diagnostic model on intrapreneurship competence are presented and interpreted in terms of their potential to promote individual learning and performance processes.

Author information

Sandra Bley

Ann Cathrice George

Keywords

Kognitive Diagnosemodelle | Lehr-Lernprozesse | Intrapreneurship | Assessment | Kompetenz | Skills | cognitive diagnostic models | sub-competencies | teaching and learning processes | intrapreneurship | assessment

Related content

References

  • 1. Achtenhagen, F. / Winther, E. (2009): Konstruktvalidität von Simulationsaufgaben: Computergestützte Messung berufsfachlicher Kompetenz - am Beispiel der Ausbildung von Industriekaufleuten. Bericht an das Bundesministerium für Bildung und Forschung (350600). https://www.bmbf.de/pubRD/Endbericht_BMBF09.pdf. 02.03.2015.
  • 2. Achtenhagen, F. / Winther, E. (2014): Workplace-based competence measurement: developing innovative assessment systems for tomorrow`s VET programmes. In: Journal of Vocational Education & Training 66, H. 3, S. 281-295. DOI 10.1080/13636820.2014.916740
  • 3. American Educational Research Association American Psychological Association National Council on Measurement in Education (2014): Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
  • 4. Aronson, E. / Patnoe, S. (2011): Cooperation in the classroom. The jigsaw method. London: Printer & Martin.
  • 5. Artelt, C. / Gräsel, C. (2009): Diagnostische Kompetenz von Lehrkräften. In: Zeitschrift für Pädagogische Psychologie 23, H. 4, S. 157-160.
  • 6. Baethge, M. / Seeber, S. (2016): Die gemeinsame theoretische und methodische Basis der ASCOT-Projekte. In: Beck, K. / Landenberger, M. / Oser, F. (Hrsg.): Technologiebasierte Kompetenzmessung in der beruflichen Bildung - Resultate aus dem Forschungsprogramm ASCOT. Bielefeld: Bertelsmann, S. 15-32.
  • 7. Baumert, J. / Kunter, M. (2006): Stichwort: Professionelle Kompetenz von Lehrkräften. In: Zeitschrift für Erziehungswissenschaft 9, H. 4, S. 469-520. DOI 10.1007/978-3-658-00908-3_13
  • 8. Beck, K. / Landenberger, M. / Oser, F. (Hrsg.) (2016): Technologiebasierte Kompetenzmessung in der beruflichen Bildung - Resultate aus dem Forschungsprogramm ASCOT. Bielefeld: Bertelsmann.
  • 9. Billet, S. (2002): Toward a workplace pedagogy: guidance, participation, and engagement. In: Adult Education Quarterly 53, H. 1, S. 27-43.
  • 10. Bley, S. (in Begutachtung): Developing and validating a technology-based diagnostic assessment using the evidence-centred game design-approach. an example of intrapreneurship competence.
  • 11. Bley, S. / Wiethe-Körprich, M. / Weber, S. (2015): Formen kognitiver Belastung bei der Bewältigung technologiebasierter authentischer Testaufgaben. Eine Validierungsstudie zur Abbildung von beruflicher-Kompetenz. In: Zeitschrift für Berufs- und Wirtschaftspädagogik 111, H. 2, S. 268-294.
  • 12. Bögeholz, S. / Eggert, S. (2013): Welche Rolle spielt Kompetenzdiagnostik im Rahmen von Lehr-Lernprozessen? In: Zeitschrift für Erziehungswissenschaft 16, H. 1, S. 59-64. DOI 10.1007/s11618-013-0384-2
  • 13. Bundesinstitut für Berufsbildung (2012): Datenrerport 2012. https://datenreport.bibb.de/html/dr2012.html. 02.09.2016.
  • 14. Darling-Hammond, L. / Herman, J. / Pellegrino, J. W. / Abedi, J. / Aber, J. L. / Baker, E. / Bennet, R. / Gordon, E. / Haertel, E. H. / Hakuta, K. / Ho, A. / Linn, R. L. / Pearson, P. D. / Popham, J. / Resnick, L. B. / Schoenfeld, A. H. / Shavelson, R. J. / Shepard, L. A. / Schulman, L. / Steele, C. M. (2013): Criteria for high-quality assessment. Stanford, CA: Stanford Center for Opportunity Policy in Education.
  • 15. De La Torre, J. / Karelitz, T. M. (2009): Impact of Diagnosticity on the Adequacy of Models for Cognitive Diagnosis under a Linear Attribute Structure. A Simulation Study. In: Journal of Educational Measurement 46, H. 4, S. 450-469. DOI 10.1111/j.1745-3984.2009.00092.x
  • 16. De La Torre, J. / Minchen, N. (2014): Cognitively diagnostic assessments and the cognitive diagnosis model framework. In: Psicología Educativa 20, H. 2, S. 89-97. DOI 10.1016/j.pse.2014.11.001
  • 17. Deci, E. L. / Ryan, R. M. (1993): Die Selbstbestimmungstheorie der Motivation und ihre Bedeutung für die Pädagogik. In: Zeitschrift für Pädagogik 39, H. 2, S. 223-238.
  • 18. DiBello, L. V. / Roussos, L. A. / Stout, W. F. (2007): Review of cognitively diagnostic assessment and a summary of psychometric models. In: Rao, C. R. / Sinharay, S. (Hrsg.): Psychometrics. Amsterdam, Boston: Elsevier, S. 979-1030.
  • 19. Embretson, S. E. / Reise, S. (2000): Item response theory for psychologists. Mahwah, N. J: Erlbaum.
  • 20. George, A. C. / Bley, S. / Pellegrino, J. W. (in Begutachtung): On combining insrtuctionally relevant results from diagnostic assessments and cognitive diagnosis models. An example of intrapreneurship.
  • 21. George, A. C. / Robitzsch, A. (2015): Cognitive diagnosis models in R: A didactic. In: The Quantitative Methods for Psychology 11, H. 3, S. 189-205.
  • 22. George, A. C. / Robitzsch, A. / Kiefer, T. / Gross, J. / Ünlü, A. (2016): The R Package CDM for cognitive diagnosis modeling. In: Journal of Statistical Software 74, H. 2, S. 1-24.
  • 23. Gierl, M. J. / Cui, Y. (2008): Defining characteristics of diagnostic classification models and the problem of retrofitting in cognitive diagnostic assessment. In: Measurement: Interdisciplinary Research & Perspectives 6, H. 4, S. 263-268. DOI 10.1080/15366360802497762
  • 24. Hattie, J. / Timperley, H. (2007): The power of feedback. Review of Educational Research. In: Review of Educational Research 77, S. 81-112.
  • 25. Helm, C. / Bley, S. / George, A. C. / Pocrnja, M. (2015): Potentiale kognitiver Diagnosemodelle für den berufsbildenden Unterricht. In: Stock, M. / Schlögl, P. / Schmid, K. / Moser, D. (Hrsg.): Kompetent - wofür? Life-Skills - Beruflichkeit - Persönlichkeitsbildung. Innsbruck: StudienVerlag, S. 206-224.
  • 26. Helmke, A. / Hosenfeld, I. / Schrader, F.-W. (2004): Vergleichsarbeiten als Instrument zur Verbesserung der Diagnosekompetenz von Lehrkräften. In: Arnold, R. / Griese, C. (Hrsg.): Schulleitung und Schulentwicklung. Baltmannsweiler: Schneider Verl. Hohengehren, S. 119- 144.
  • 27. Interstate Teacher Assessment and Support Consortium (2011): Model core teaching standards. A resource for state dialogue. Washington, DC: Council of Chief State School Officers.
  • 28. Janesick, V. J. (2006): Authentic assessment. New York: Lang Primer.
  • 29. Klotz, V. (2015): Diagnostik beruflicher Kompetenzentwicklung. Eine wirtschaftsdidaktische Modellierung für die kaufmännische Domäne. Berlin, Heidelberg: Springer.
  • 30. KMK (2004): Standards für die Lehrerbildung. Bildungswissenschaften (Beschluss der Kultusministerkonferenz vom 16.12.2004). http://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2004/2004_12_16-Standards-Lehrerbildung.pdf. Accessed 21 Aug 2014. 20.09.2016.
  • 31. Kohler, B. / Schrader, F.-W. (2004): Ergebnisrückmeldung und Rezeption. Von der externen Evaluation zur Entwicklung von Schule und Unterricht. In: Themenheft der Emprischen Pädagogik 18, H. 1.
  • 32. Korunka, C. / Frank, H. / Lueger, M. / Ebner, M. L. (2009): Entwicklung und Prüfung eines Modells zur Förderung von Intrapreneurship in der dualen Berufsausbildung. In: Zeitschrift für Personalpsychologie 8, H. 3, S. 129-146.
  • 33. Kunina-Habenicht, O. / Rupp, A. A. / Wilhelm, O. (2009): A practical illustration of multidimensional diagnostic skills profiling: Comparing results from confirmatory factor analysis and diagnostic classification models. In: Studies in Educational Evaluation 35, 2-3, S. 64-70. DOI 10.1016/j.stueduc.2009.10.003
  • 34. Kunina-Habenicht, O. / Rupp, A. A. / Wilhelm, O. (2012): The impact of model misspecification on parameter estimation and item-fit assessment in log-linear diagnostic classification models. In: Journal of Educational Measurement 49, H. 1, S. 59-81. DOI 10.1111/j.1745-3984.2011.00160.x
  • 35. Lehmann, R. H. / Seeber, S. (Hrsg.) (2007): ULME III. Untersuchung von Leistungen, Motivation und Einstellungen der Schülerinnen und Schüler in den Abschlussklassen der Berufsschulen. Hamburg: HIBB.
  • 36. Leighton, J. P. / Gierl, M. J. (Hrsg.) (2007a): Cognitive diagnostic assessment for education. Theory and applications. Cambridge, New York: Cambridge University Press.
  • 37. Leighton, J. P. / Gierl, M. J. (2007a): Why cognitive diagnistic assessment? In: Leighton, J. P. / Gierl, M. J. (Hrsg.): Cognitive diagnostic assessment for education. Theory and applications. Cambridge, New York: Cambridge University Press, S. 3-18.
  • 38. Leighton, J. P. / Gierl, M. J. / Hunka, S. M. (2004): The attribute hierarchy model for cognitive assessment: A variation on Tatsuoka’s rule-space approach. In: Journal of Educational Measurement, S. 205-237. DOI 10.1111/j.1745-3984.2004.tb01163.x
  • 39. Leiss, D. / Rakoczy, K. (2013): Wie können Ergebnisse der Kompetenzdiagnostik in Forschungsprojekten sinnvoll zurückgemeldet werden? In: Zeitschrift für Erziehungswissenschaft 16, H. 1, S. 81-88. DOI 10.1007/s11618-013-0389-x
  • 40. Leuders, T. (2014): Modellierungen mathematischer Kompetenzen - Kriterien für eine Validitätsprüfung aus fachdidaktischer Sicht. In: Journal für Mathematikdidaktik 35, H. 1, S. 7-48. DOI 10.1007/s13138-013-0060-3
  • 41. Maydey-Olivares, A. (2013): Goodness-of-fit assessment of item response theory models. In: Measurement: Interdisciplinary Research and Perspectives 11, S. 71-137.
  • 42. Messick, S. (1989): Validity. In: Linn, R. L. (Hrsg.): Educational measurement. New York: American Council on Education, S. 13-103.
  • 43. Meyer, H. (2011a): Unterrichtsmethoden. Berlin: Cornelsen Scriptor.
  • 44. Meyer, H. (2011b): Was ist guter Unterricht? Mit 65 Min.-Vortragsvideo (DVD). Berlin: Cornelsen Scriptor.
  • 45. Mislevy, R. J. / Risconscente, M. M. (2006): Evidenced-centered assessment design: Layers, concepts and terminology. In: Downing, S. M. / Haladyna, T. M. (Hrsg.): Handbook of test development. Mahwah, NJ: Erlbaum, S. 61-90.
  • 46. Neumann, K. (2013): Mit welchem Auflösungsgrad können Kompetenzen modelliert werden? In welcher Beziehung stehen Modelle zueinander, die Kompetenz in einer Domäne mit unterschiedlichem Auflösungsgrad beschreiben? In: Zeitschrift für Erziehungswissenschaft 16, H. 1, S. 35-39. DOI 10.1007/s11618-013-0382-4
  • 47. Nickolaus, R. / Seeber, S. (2013): Berufliche Kompetenzen. Modellierungen und diagnostische Verfahren. In: Frey, A. / Lissmann, U. / Schwarz, B. (Hrsg.): Handbuch Berufspädagogische Diagnostik. Weinheim: Beltz, S. 166-195.
  • 48. Oser, F. K. (1997): Standards in der Lehrerbildung. Teil 1 Berufliche Kompetenzen, die hohen Qualitätsmerkmalen entsprechen. In: Beiträge zur Lehrerbildung 15, H. 1, S. 26-37.
  • 49. Oser, F. K. / Salzmann, P. / Heinzer, S. (2009): Measuring the competence-quality of vocational teachers: An advocatory approach. In: Empirical Research in Vocational Education and Training 1, S. 65-83.
  • 50. Pant, H. A. (2013): Wer hat einen Nutzen von Kompetenzmodellen? In: Zeitschrift für Erziehungswissenschaft 16, H. 1, S. 71-79. DOI 10.1007/s11618-013-0388-y
  • 51. Pellegrino, J. W. / Chudowsky, N. / Glaser, R. (2001): Knowing what students know: The science and design of educational assessment: National Academy Press.
  • 52. Pellegrino, J. W. / DiBello, L. V. / Goldman, S. R. (2016): A framework for conceptualizing and evaluating the validity of instructionally relevant assessments. In: Educational Psychologist 51, H. 1, S. 59-81. DOI 10.1080/00461520.2016.1145550
  • 53. R Core Team (2016): R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing.
  • 54. Rupp, A. A. / Templin, J. L. / Henson, R. A. (2010): Diagnostic measurement. Theory, methods, and applications. New York: Guilford Press.
  • 55. Rupprecht, M. / Mulder, R. H. / Gruber, H. / Neumann, W. (2011): Fostering innovative behaviour and dealing with diversity within consulting teams. In: IPOB (Hrsg.): The future of knowledge-intensive service work. Theory and practice of managing human and organisational resources; based upon the symposium ( June 17-18, 2010 at the Carl von Ossietzky University Oldenburg, Germany). Marburg: Metropolis, S. 153-182.
  • 56. Schrader, F.-W. (2009): Anmerkungen zum Themenschwerpunkt Diagnostische Kompetenz von Lehrkräften. In: Zeitschrift für Pädagogische Psychologie 23, 3-4, S. 237-245. DOI 10.1024/1010-0652.23.34.237
  • 57. Seeber, S. (2005): Input-Controlling in der beruflichen Bildung. Aspekte der Bestimmung von Lernausgangslagen. In: Unterrichtswissenschaft 33, H. 4, S. 314-333.
  • 58. Shavelson, R. J. (2012): Assessing business planning competence using the collegiate learning assessment. In: Empirical Research in Vocational Education and Training 4, H. 1, S. 77-90.
  • 59. Strobl, C. (2012): Das Rasch-Modell. Eine verständliche Einführung für Studium und Praxis. München: Hampp.
  • 60. Tatsuoka, K. K. (1983): Rule space: An approach for dealing with misconceptions based on item response theory. In: Journal of Educational Measurement 20, H. 4, S. 345-354. DOI 10.1111/j.1745-3984.1983.tb00212.x
  • 61. Tynjälä, P. (2013): Toward a 3-P Model of Workplace Learning: a Literature Review. In: Vocations and Learning 6, H. 1, S. 11-36.
  • 62. Weber, S. / Beck, K. / Köller, O. (2016): Potentiale in der beruflichen Bildung sichtbar machen. In: Unterrichtswissenschaft 44, H. 2, S. 106-113.
  • 63. Weber, S. / Draxler, C. / Bley, S. / Wiethe-Körprich, M. / Weiss, C. / Gürer, C. (2016): Der Projektverbund CoBALIT - Intrapreneurship: Large Scale-Assessments in der kaufmännischen Berufsausbildung. In: Beck, K. / Landenberger, M. / Oser, F. (Hrsg.): Technologiebasierte Kompetenzmessung in der beruflichen Bildung - Resultate aus dem Forschungsprogramm ASCOT. Bielefeld: Bertelsmann, S. 75-92.
  • 64. Weber, S. / Trost, S. / Wiethe-Körprich, M. / Weiss, C. / Achtenhagen, F. (2014): Intrapreneur: An entrepreneur within a company - an approach on modeling and measuring intrapreneurship competence. In: Weber, S. / Oser, F. K. / Achtenhagen, F. / Fretschner, M. / Trost, S. (Hrsg.): Becoming an entrepreneur. Rotterdam, Boston, Taipei: Sense Publishers, S. 256-287.
  • 65. Weber, S. / Wiethe-Körprich, M. / Bley, S. / Weiss, C. / Achtenhagen, F. (2015): Intrapreneurship-Verhalten an kaufmännischen Arbeitsplätzen. Analysen von Projektberichten. In: Empirische Pädagogik Sonderheft: Ökonomische Kompetenzen in Schule, Ausbildung und Hochschule 28, H. 1, S. 84-105.
  • 66. Weber, S. / Wiethe-Körprich, M. / Bley, S. / Weiss, C. / Draxler, C. / Gürer, C. (2016b): Modellierung und Validierung eines Intrapreneurship-Kompetenz-Modells bei Industriekaufleuten. In: Unterrichtswissenschaft 44, H. 2, S. 149-168.
  • 67. Wild, K.-P. / Krapp, A. (2006): Pädagogisch-psychologische Diagnostik. In: Krapp, A. / Weidenmann, B. (Hrsg.): Pädagogische Psychologie. Weinheim, Basel: Beltz, S. 525-574.
  • 68. Winther, E. (2010): Kompetenzmessung in der beruflichen Bildung. Bielefeld: Bertelsmann.
  • 69. Winther, E. / Achtenhagen, F. (2009): Skalen und Stufen kaufmännischer Kompetenz. In: Zeitschrift für Berufs- und Wirtschaftspädagogik 105, H. 4, S. 521-556.
  • 70. Winther, E. / Seeber, S. / Festner, D. / Sangmeister, J. / Liedke, M. (2016): Large Scale-Assessments in der kaufmännischen Berufsbildung (CoBALIT). In: Beck, K. / Landenberger, M. / Oser, F. (Hrsg.): Technologiebasierte Kompetenzmessung in der beruflichen Bildung - Resultate aus dem Forschungsprogramm ASCOT. Bielefeld: Bertelsmann, S. 55-73.
  • 71. Wunderer, R. (2003): Führung und Zusammenarbeit. Eine unternehmerische Führungslehre. München: Luchterhand.