Abstract
Zusammenfassung. Die internationale Forschung im Bereich der Hochschulzulassung zeigt eindrücklich, dass Leistungstests gute Prädiktoren der späteren Studienleistung sind und inkrementelle Validität über Schulnoten hinaus aufweisen. An deutschen Hochschulen ist der Einsatz standardisierter Leistungstests jedoch nach wie vor die Ausnahme. In der vorliegenden Arbeit schildern wir die Entwicklung und Validierung einer Testbatterie für die Zulassung von Psychologiestudierenden an deutschen Hochschulen. Im Rahmen der Testung von 1187 Bewerberinnen und Bewerbern für die Vergabe von 60 Studienplätzen prüfen wir mit Strukturgleichungsmodellen und Regressionsanalysen die prädiktive und inkrementelle Validität der neuen Testbatterie. Neben einem allgemeinen Faktor für das schlussfolgernde Denken kann auf der Prädiktorseite ein zweiter, geschachtelter Faktor für relevantes Vorwissen etabliert werden. Beide latenten Faktoren tragen nennenswert zur Vorhersage der Studienleistungen bei. Die Ergebnisse unterstützen nachdrücklich die Forderung, bei der Zulassung zu Studiengängen mit hohem Bewerberandrang Leistungstests einzusetzen. Neben schlussfolgerndem Denken verdient das relevante Vorwissen besondere Beachtung.
Abstract. International research in the field of college admission unequivocally demonstrates that achievement and ability tests are adequate predictors of subsequent graduate and undergraduate grade point average and that they are incrementally valid over and above high school grade point average. Nevertheless, German universities rarely use standardized ability and achievement tests for admission purposes. Here we describe the development and validation of a test battery for admission to psychology programs at German universities. In the context of selecting 1,187 applicants for 60 university places, we use regression analysis and structural equation modelling to investigate predictive and incremental validity of the new test battery. In addition to a general factor for reasoning ability, a second, nested factor for relevant prior knowledge can be established as a predictor. Both latent factors contribute substantially to the prediction of undergraduate grade point average. The results clearly support the use of ability and achievement tests for admission to degree programs with more applicants than available places. In addition to reasoning ability, relevant prior knowledge deserves close consideration.
Literatur
(2006). Determinants of domain knowledge and independent study learning in an adult sample. Journal of Educational Psychology, 98, 366–381.
(2008). Auxiliary variables predicting missing data. Retrieved January 19, 2010, from www.statmodel.com/download/AuxM2.pdf.
(2009). Model-related factor score predictors for confirmatory factor analysis. British Journal of Mathematical and Statistical Psychology, 62, 489–506.
(2005). Age, ability, and the role of prior knowledge on the acquisition of new domain knowledge: Promising results in a real-world learning environment. Psychology and Aging, 20, 341–355.
(1990). Comparative fit indexes in structural models. Psychological Bulletin, 107, 238–246.
(2000). Predictions of freshman grade-point average from the revised and recentered SAT I: Reasoning Test (College Board Research Report No. 2001-01). New York: College Entrance Examination Board.
(1993). Alternative ways of assessing model fit. In , Testing structural equation models (pp. 136–162). Newbury Park, CA: Sage Publications.
(1993). Human cognitive abilities. A survey of factor-analytic studies. Cambridge: University Press.
(2005). The three-stratum theory of cognitive abilities. In , Contemporary intellectual assessment (2nd ed., pp. 69–77). New York: Guilford Press.
(1963). Theory of fluid and crystallized intelligence: A critical experiment. Journal of Educational Psychology, 54, 1–22.
(1971). Abilities: Their structure, growth, and action. Boston: Houghton Mifflin.
(2001). A comparison of inclusive and restrictive strategies in modern missing data procedures. Psychological Methods, 6, 330–351.
(2001). The Common European Framework of Reference for Languages. Cambridge: University Press.
(2005). Issues in evaluating model fit with missing data. Structural Equation Modeling, 12, 578–597.
(1997). Hochschulzulassung und Studieneignungstests. Studienfeldbezogene Verfahren zur Feststellung der Eignung für Numerus-clausus- und andere Studiengänge. Göttingen: Vandenhoeck & Ruprecht.
(2005a). Empfehlungen der Deutschen Gesellschaft für Psychologie e.V. (DGPs) zur Einrichtung von Bachelor- und Masterstudiengängen in Psychologie an den Universitäten. Münster: Deutsche Gesellschaft für Psychologie e.V.
(2005b). Stellungnahme der Deutschen Gesellschaft für Psychologie e.V. (DGPs) zur Auswahl von Studierenden durch die Hochschulen (vom 22. November 2004). Psychologische Rundschau, 56, 153–154.
(2007). Nachrichten. Auswahl von Studierenden durch die Hochschulen. Psychologische Rundschau, 58, 39–40.
(2009). About the GRE® General Test. Retrieved December 15, 2009, from http://www.ets. org/gre/general/about/.
(2010). Sign up for the Free GRE® Search Service. Retrieved March 9, 2010, from http://www. ets.org/gre/general/about/tools/search_service/index.html.
(2011). Schlussfolgerndes Denken und fachspezifisches Vorwissen als Prädiktoren der Studienleistung im Fach Psychologie. Hamburg: Dr. Kovac.
(2008). Validitäts- und Nützlichkeitsüberlegungen zur Studierendenauswahl im Allgemeinen mit Präzisierungen für das Fach Psychologie im Besonderen. In , Studierendenauswahl und Studienentscheidung (S. 204–214). Göttingen: Hogrefe.
(2001). UC and the SAT: Predictive validity and differential impact of the SAT I and SAT II at the University of California. Oakland, CA: University of California, Office of the President.
(1992). Assessing the validity of the GRE for students in psychology: A validity generalization approach. Educational and Psychological Measurement, 52, 1019–1027.
(2003). Adding missing-data-relevant variables to FIML-based structural equation models. Structural Equation Modeling, 10, 80–100.
(2009). Missing data analysis: Making it work in the real world. Annual Review of Psychology, 60, 549–576.
(2003). Methods for handling missing data. In , Handbook of psychology: Research methods in psychology (Vol. 2, pp. 87–114). Hoboken, NJ: John Wiley & Sons.
(2007). How many imputations are really needed? Some practical clarifications of multiple imputation theory. Prevention Science, 8, 206–213.
(1984). A unifying model for the structure of intellectual abilities. Intelligence, 8, 179–203.
(1993). General and specific abilities as predictors of school achievement. Multivariate Behavioral Research, 28, 407–434.
(2005). Ermittlung von Eignungsanforderungen für das Psychologiestudium. Die Anforderungsanalyse als Grundlage der Studierendenauswahl.
Unveröffentlichte Diplomarbeit, Humboldt-Universität zu Berlin .(2006). Auswahl- und Feststellungsverfahren beim Hochschulzugang in Deutschland und ausgewählten Ländern. Eine Bestandsaufnahme (HIS-Kurzinformation A 3/2006). Hannover: Hochschul-Informations-System GmbH.
(2005). Verfahren der Studierendenauswahl aus Sicht der Bewerber. Empirische Pädagogik, 19, 361–376.
(2007). Eine Metaanalyse der Validität von fachspezifischen Studierfähigkeitstests im deutschsprachigen Raum. Empirische Pädagogik, 21, 251–270.
(2007). Die Validität von Auswahlgesprächen im Rahmen der Hochschulzulassung – eine Metaanalyse. Psychologische Rundschau, 58, 93–102.
Hochschulrahmengesetz (HRG) (2002). Retrieved August 3, 2010, from http://www.cepes.ro/services/pdf/germany2. pdf.
(2008). Validity of the SAT for predicting first-year college grade point average (College Board Research Report No. 2008-5). New York: The College Board.
. (2004). Wege zur Hochschulreife in Baden-Württemberg. TOSCA – Eine Untersuchung an allgemein bildenden und beruflichen Gymnasien. Opladen: Leske + Budrich.
(2007). Standardized tests predict graduate students’ success. Science, 315, 1080–1081.
(2001). A comprehensive meta-analysis of the predictive validity of the Graduate Record Examinations: Implications for graduate student selection and performance. Psychological Bulletin, 127, 162–181.
(2007). Extended criteria and predictors in college admission: Exploring the structure of study success and investigating the validity of domain knowledge. Psychological Science, 49, 88–114.
(2002). Statistical analysis with missing data (2nd ed.). Hoboken, NJ: John Wiley & Sons.
(2007). Umgang mit fehlenden Werten in der psychologischen Forschung: Probleme und Lösungen. Psychologische Rundschau, 58, 103–117.
(1999). Test theory: A unified treatment. Mahwah, NJ: Lawrence Erlbaum.
(2005). The Cattell-Horn-Carroll theory of cognitive abilities: Past, present, and future. In , Contemporary intellectual assessment: Theories, tests, and issues. (2nd ed., pp. 136–181). New York: Guilford Press.
(1984). A general structural equation model with dichotomous, ordered categorical, and continous latent variable indicators. Psychometrika, 49, 115–132.
(2008). Mplus Discussion. Confirmatory Factor Analysis. How Mplus computes factor scores. Retrieved August 2, 2010, from www.statmodel.com/discussion/messages/9/3778.html?1277315839#POST43071.
(1998–2009). Mplus (Version 5.21) [Computer software]. Los Angeles, CA: Muthén & Muthén.
(1994). Psychometric theory (3rd ed.). New York: McGraw-Hill.
(2001). Using achievement tests/SAT II: Subject Tests to demonstrate achievement and predict college grades: Sex, language, ethnic, and parental education groups (College Board Research Report No. 2001-5). New York: College Entrance Examination Board.
(1997). Analysis of incomplete multivariate data. Boca Raton: Chapman & Hall/CRC.
(2002). Missing data: Our view of the state of the art. Psychological Methods, 7, 147–177.
(2005). Prädiktion von Studienerfolg bei Psychologiestudenten. Psychologische Rundschau, 56, 131–133.
(2005). Auswahl von Studierenden: Historie, Zweck und Aufbau dieses Diskussionsforums. Psychologische Rundschau, 56, 123–124.
(2010). Testing reasoning ability with handheld computers, notebooks, and paper and pencil. European Journal of Psychological Assessment, 26, 284–292.
(1990). Predictive validity of high-school grades: A meta-analysis. Applied Psychology: An International Review, 39, 89–103.
Siebtes Gesetz zur Änderung des Hochschulrahmengesetzes (7. HRGÄndG) (2004). Retrieved June 6, 2010, from www.bmbf.de/pub/HRG_7_bgbl_.pdf.
(2009). Studierende und Studienanfänger im Fach Psychologie nach Alter und Geschlecht im WS 2007/2008. Sonderauswertung des Statistischen Bundesamtes: VI B – HS.
(1984–2005). STATISTICA (Version 7.1) [Computer Software]. Tulsa, OK: StatSoft, Inc.
(2005). Prädiktion von Studienerfolg: Der Zusammenhang zwischen Schul- und Studiennoten im Diplomstudiengang Psychologie. Psychologische Rundschau, 56, 129–131.
(2010). Find a college. Retrieved March 9, 2010, from www.collegeboard.com/student/csearch/index.html.
(2007). Die Validität von Schulnoten zur Vorhersage des Studienerfolgs – eine Metaanalyse. Zeitschrift für Pädagogische Psychologie, 21, 11–27.
(2005). Studierendenauswahl durch die Hochschulen: Welche Verfahren kommen prinzipiell in Betracht, welche nicht? Psychologische Rundschau, 56, 138–140.
(1998). Evaluation des Tests für medizinische Studiengänge (TMS): Synopse der Ergebnisse. Bonn: Institut für Test- und Begabungsforschung.
(1997). Prognostische Validität des Tests für medizinische Studiengänge (TMS). In , Hochschulentwicklung – Aufgaben und Chancen (S. 57–78). Heidelberg: Asanger.
(2004). Mathematikleistungen in allgemein bildenden und beruflichen Gymnasien. In , Wege zur Hochschulreife in Baden-Württemberg. TOSCA – Eine Untersuchung an allgemein bildenden und beruflichen Gymnasien (S. 205–283). Opladen: Leske + Buderich.
(2008). Studierendenauswahl – Eignungsdiagnostischer Nutzen von Noten aus Schule und Studium. Psychologische Rundschau, 59, 123–125.
(2004, 4). Entwicklung eines Anforderungsprofils für Studierende am Beispiel der Psychologie. Paper presented at the Bühler-Kolloquium, Technische Universität Dresden.
(2000). Psychologie des schlussfolgernden Denkens. Differentialpsychologische Prüfung von Strukturüberlegungen. Hamburg: Dr. Kovac.
(2005). Measuring reasoning ability. In , Handbook of understanding and measuring intelligence (pp. 373–392). Thousand Oaks, CA: Sage Publications.
(2006). Auswahltests für Psychologiestudierende: Befundlage und neue Ergebnisse. Report Psychologie, 31, 338–349.
(2009). Psychologie – Plätze, Bewerber WS 1990/1991 bis WS 2004/2005. Statistische Daten der ZVS. Dortmund: Zentralstelle für die Vergabe von Studienplätzen.
