Was ist Dein Replicandum?

1 Die Äquivalenz von kognitiven Fähigkeiten und schulischen Leistungen

Nach dem theoretischen Modell bei ES werden die schulischen Leistungen in der Sekundarstufe direkt von den Leistungen vorher in der Grundschule bestimmt, und der Effekt ist, überall wo man das geprüft hat, empirisch auch mit Abstand der stärkste. Das legt die Vorstellung nahe, die HM im Abschnitt 3.4 ihrer Replik aufgreifen: Die Leistungen vorher tragen die Systemeffekte schon alleine und damit nicht das, was in der Sekundarstufe in den Schulklassen nachfolgend noch geschieht. Die Leistungen vorher in der Grundschule müssten daher als intervenierende Variable zwischen den kognitiven Fähigkeiten und den Leistungen in der Sekundarstufe immer mitkontrolliert werden. Wenn man das mache, verschwänden alle Systemeffekte der Stringenz (Tab. 2 bei HM: 106). Warum also kontrollieren ES die Leistungen vorher nicht? Es gibt zwei Gründe, beide in den Einzelheiten des theoretischen Modells und in den Abbildungen dazu bei ES (Abb. 1: 282) verdeutlicht.

Erstens, sind kognitive Fähigkeiten und schulische Leistungen theoretisch, empirisch und in den Effekten nicht das Gleiche und bilden daher auch keine Äquivalente (vgl. dazu auch Esser 2021, Kapitel 4). Die kognitiven Fähigkeiten beinhalten allgemeine, relativ stabile und latente Eigenschaften, die im Prinzip in allen Umgebungen und für alle Inhalte von Bedeutung sind und sich über die Effizienz des Lernens auswirken: Der gleiche Input erzeugt bei gleichen Bedingungen einen höheren Output. Die jeweils schon erreichten Leistungen spiegeln dagegen spezielle, eher änderbare, manifest sichtbare und erst einmal nur faktisch gegebene Bedingungen des Lernens, von denen das Lernen ausgeht, aber – ceteris paribus – nicht effizienter wird, wenn es einen weiteren Input gibt. Es geht also bei ES gerade nicht um eine Differenzierung nach den (vorher) gezeigten Leistungen, um ein „Achievement“-Tracking demnach, es geht um das Ability-Tracking. Zweitens, kommt es für die kognitive Homogenisierung der Schulklassen und die daran anschließenden (Schul-)Effekte deshalb – nach dem theoretischen Modell – gerade nicht auf die Leistungen vorher an, auch nicht darauf, über welche Einzelmechanismen die Platzierung verläuft, sondern auf die jeweils faktisch entstehende kognitive Struktur in den Schulklassen – egal wie diese zustande kommt, also über den direkten und alle indirekten Wege von den kognitiven Fähigkeiten auf die Leistungen in der Sekundarstufe, darunter dann auch die Leistungen vorher in der Grundschule.

Es geht somit bei der Schätzung der unterschiedlichen Einflüsse um den totalen Effekt der kognitiven Fähigkeiten und der entsprechenden kognitiven Zusammensetzung der Schulen und Schulklassen auf die Leistungen in der Sekundarstufe. Wenn das aber so ist, wird die Antwort auf die Frage, ob dann mit den kognitiven Fähigkeiten auch auf die Leistungen vorher als intervenierende Variable konditioniert werden darf, fast schon trivial: Weil im totalen Effekt der jeder intervenierenden Bedingung schon enthalten ist, wäre das nicht nur überflüssig, sondern würde den angezielten Effekt verfälschen, vermindern und ggf. auch ganz weg „erklären“. Es wäre ein schon exemplarischer Fall der overcontrol. ES hatten mit Verweis auf das theoretische Modell ausdrücklich darauf hingewiesen (ES: 290). Unsere Re-Analysen zeigen allerdings, dass sich die Hauptbefunde mit Blick auf das zentrale Estimandum, im Gegensatz zu den davon abweichenden Analysen bei HM, auch bei Kontrolle der Leistungen vorher nicht substantiell ändern, also selbst gegen die eigentlich unzulässige Konditionierung auf die Leistungen vorher robust sind (vgl. Tab. 1 im Online-Appendix).

2 Die Dreifach-Interaktion

Ein zweiter Eingriff in die theoretischen Vorgaben bei ES durch HM ist noch gravierender: Mit der Dreifach-Interaktion von Stringenz der Differenzierung (T), kognitivem Niveau (NABL) und kognitiver Homogenität (HABL) der Schulklassen (T*NABL*HABL bei ES) bezögen sich die Vergleiche auf hochspezifische Extreme der Schulklassenkomposition, seien „overly complex“ und würden nur wenig über den „general moderating effect of tracking“ aussagen (HM: 107; Hervorhebung nicht im Original). Um zu prüfen, ob es denn dann den „general“ Moderationseffekt zwischen Stringenz und kognitiver Komposition gibt, werden nur die beiden Zweifach-Interaktionen T*NABL und T*HABL gerechnet. Heraus kommen dafür stark abgeschwächte Effekte im Vergleich zu den Befunden bei ES, gerade einmal signifikant auf dem 10 % Niveau, und mit der, eigentlich wegen overcontrol wieder nicht zulässigen, simultanen Kontrolle der Leistungen in der Grundschule bleibt gar nichts mehr übrig (HM: 109).

Auch hier wurden gegen die theoretischen Begründungen und die daran orientierten Entscheidungen bei der Analysestrategie Änderungen vorgenommen: Es geht bei ES nicht um die average-Effekte der Stringenz als Systemmerkmal, so aufschlussreich sie sonst auch sein mögen und ausreichen, sondern um die Identifikation von u. U. auch sehr speziellen weiteren Bedingungen, unter denen die Effekte erst konditional auftreten, insbesondere, dass sich der Effekt der Homogenität mit dem Niveau ändern kann (NABL*HABL) und das dann ggf. auch unterschiedlich nach der Stringenz (T*NABL*HABL). Hintergrund sind wieder bestimmte, gut begründete Annahmen des theoretischen Konzepts. Das Modell bei ES berücksichtigt ausdrücklich die Möglichkeit, dass es, etwa über eine positive Aptitude-Treatment-Interaktion, Schereneffekte nach oben geben kann, aber auch Kompensationseffekte unten, etwa über Passungs- und Spezialisierungsgewinne beim Lernen unten, ggf. auch mit dem Ausbleiben von Überforderungen oder negativen Vergleichen, wie bei den Big-Fish-Little-Pond-Effekten. Nach der Integrationsposition wären dagegen Kompensationen unten geradezu ausgeschlossen. Es ist der Kern dessen, was der Differenzierungsposition immer entgegengehalten wurde: Sie verschärfe die Ungleichheiten nur, und das insbesondere in den unteren Leistungsbereichen. Genau das aber ist nicht der Fall, ganz im Gegenteil. Aber das könnte sich nur zeigen, wenn diese komplexeren theoretischen Zusammenhänge in den empirischen Estimanden auch vorgesehen sind. Bei HS werden sie, weil sie übertrieben komplex wären, einfach weggelassen und das empirische Replicandum geändert – so als wären Scheren- bzw. Kompensationseffekte schon theoretisch grundsätzlich ausgeschlossen. Die Re-Analysen (im Online-Appendix und bei Esser 2023, Kapitel 9) weisen darauf hin, dass es vorrangig eben diese Änderung an der Analysestrategie ist, die zu abweichenden Befunden bei HM gegenüber ES geführt hat.

3 Klassenkomposition und die leave-i-out-Regel

Eine über alles andere hinausgehende Einwendung von HM bezieht sich auf ein zunächst unscheinbar aussehendes technisches Detail der Operationalisierung der Komposition der Schulklassen. Darauf wird hier auch etwas ausführlicher eingegangen, weil sich damit besonders deutlich zeigen lässt, wie wichtig es gewesen wäre, sich die theoretische Modellierung und empirische Umsetzung genauer anzusehen. Es wäre, so wenden HM ein, „generally preferable to construct peer averages using a ‚leave-i-out approach‘“ (HM: 102; Hervorhebungen nicht im Original). Damit ist gemeint, dass bei der Bildung der Klassenmittelwerte das jeweils betrachtete Subjekt i nicht mitberücksichtigt werden dürfe. Das soll bei der Analyse von Effekten der Zusammensetzung der Schulklassen eine allein schon analytisch erzeugte Kovariation der Klassenkomposition mit der abhängigen Variable vermeiden. Die entsteht dadurch, dass jedes Subjekt i sowohl bei der abhängigen Variablen, die individuelle Leistung etwa, wie bei der unabhängigen Variablen, dem Mittelwert bei den Leistungen in der Schulklasse entsprechend, vorkommt und dass darüber ein „tautologischer“ Effekt der Klassenkomposition erzeugt wird. Wenn man diese, eigentlich selbstverständliche und in der Literatur zu den peer-Effekten auch vorgeschriebene Regel des leave-i-out für die Daten bei ES vollziehe, die das nicht gemacht hätten, fielen die Kompositionseffekte der kognitiven Homogenität der Schulklassen deutlich geringer aus (HM: 102 f. und die Tabelle B1 im Appendix dort).

Ohne Frage ist die Operationalisierung der schulischen Lernumwelten und die Identifikation der entsprechenden Schuleffekte eine voraussetzungsvolle Angelegenheit mit einer Reihe von Fallstricken und der Gefahr von Fehlschlüssen, auf die in besonderer Weise geachtet werden muss, darunter das Problem der artifiziellen Kovariation von abhängiger und unabhängiger Variable (vgl. die Fußnote 12 dazu bei ES: 291). Für die Analysen bei ES ist die Vorhaltung jedoch nicht nur gegenstandslos, sondern falsch. Es sind zwei Gründe. Sie haben beide damit zu tun, dass es gerade hier auf die theoretischen Details ankommt und darum, dass sich keine Routinen einschleichen, die für bestimmte Konstellationen sinnvoll sind, aber genau daran auch gebunden sind.

Erstens: Die abhängige individuelle Variable bei ES sind die Leistungen in der Sekundarstufe, die unabhängige Kontexteigenschaft aber die Zusammensetzung der Schulklassen nach den kognitiven Fähigkeiten, also zwei konzeptionell und empirisch unterschiedliche Merkmale, bei denen sich das Problem der schon analytisch erzeugten Kovariation eben nicht stellt. An dieser Stelle findet sich die wohl entscheidende Fehlannahme von HM wieder, die die ganze Entgegnung mehr oder weniger unmittelbar durchzieht: Die Annahme, dass die kognitiven Fähigkeiten und die Leistungen die gleichen Konstrukte und somit in den Analysen als Äquivalente zu behandeln wären (vgl. dazu den Aspekt 1 gerade oben schon). Zweitens: Man könnte das als eine verzeihliche Folge bestimmter Routinen ansehen, aber die Fehlanwendung liegt tiefer, nämlich in der nicht beachteten theoretischen Verankerung der Schuleffekte in unterschiedlichen Mechanismen. Der Einwand bei HM bezieht sich auf den Beitrag „The perils of peer-effects“ von Angrist (2014), also auf die Effekte von Gelegenheitsstrukturen für Interaktionen innerhalb der Schulklassen. Im theoretischen Modell des MoAbiT werden aber Effekte der Umstellung der Curricula und der Fokussierung des Unterrichts über das Lehrpersonal angenommen. Das jedoch sind, anders als die peer-Interaktionen, globale Merkmale des schulischen Kontextes, die alle in dem jeweiligen Kontext betreffen (vgl. zu diesen Unterscheidungen die frühe Typologie aus der soziologischen Kontext- und Mehrebenanalyse bei Lazarsfeld und Menzel 1961 bereits). Das Problem ist dann aber: Ein leave-i-out würde bei der statistischen Schätzung den Bezug der Effekte der kognitiven Homogenität der Schulklassen auf die Vorgänge, Curriculum und Unterricht, artifiziell vergrößern, ein Bezug, der faktisch jedoch unverändert ist, weil das Lehrpersonal es weiter mit der jeweils ganzen Klasse zu tun hat – und eben nicht mit jeweils individuellen und damit variierenden Umgebungen. Deshalb würde, ganz anders als bei den peer-Interaktionen, ein leave-i-out die Varianz innerhalb der Schulklassen artifiziell erhöhen und damit den Effekt der kognitiven Homogenität unterschätzen.

Und genau das zeichnet sich ja auch in den Analysen von HM ab. Der Befund bei HM, dass der Effekt der kognitiven Homogenität geringer ausfällt, wenn die leave-i-out-Regel fälschlicherweise angewandt wird, bedeutet so gesehen sogar eine Bestärkung des theoretischen Modells. Angrist, auf den sich HM in ihrer Vorhaltung an ES beziehen, hatte ausdrücklich davor gewarnt, die Regel automatisch und ohne Blick auf die Hintergründe, Vorgänge und insbesondere die jeweilige theoretische Modellierung anzuwenden (Angrist 2014: 101). Und die besagt bei ES, dass es nicht dieselben Konstrukte bei der Operationalisierung der abhängigen und der unabhängigen Variablen sind und – insbesondere – ein gänzlich anderer Mechanismus bei der Erklärung der Schuleffekte vorliegt: Curriculum und Unterricht als globale Merkmale im Unterschied zu den peer-Interaktionen und der Gelegenheitsstrukturen als analytische Merkmale der Schulklassen.