Lineare Regression – die Suche nach Abhängigkeiten

Zusammenfassung

Fausts Wunsch „… dass ich erkenne, was die Welt im Innersten zusammenhält …“ ist auch heute noch Inbegriff menschlichen Forschens; nämlich erstens die Beziehung zwischen Variablen zu entdecken und zu beschreiben und zweitens sie nach Ursache und Wirkung, Input und Output zu trennen. Im weitesten Sinne ist die Beschäftigung mit dieser Aufgabe das Thema dieses letzten Kapitels. Dabei werden wir ganz bescheiden uns allein mit linearen Zusammenhängen beschäftigen. Während Korrelationen lineare Zusammenhänge zwischen gleichartigen Variablen beschreiben, haben wir es in der Regressionsrechnung mit der Wirkung $\mu\left(\boldsymbol{x}\right)$ einer determinierten Größe x auf eine davon abhängige Variable y zu tun. Unser Grundmodell ist

$$\begin{aligned}\displaystyle\text{Beobachtung}&\displaystyle=\text{Systematische }\mu(\boldsymbol{x})\text{-Komponente plus St{\"o}rung}\\ \displaystyle y&\displaystyle=\mu\left(\boldsymbol{x}\right)+\varepsilon.\end{aligned}$$

Dabei steht x für eine noch näher zu definierende ein- oder mehrdimensionale Variable.

Die geschätzte $\mu(\boldsymbol{x})$-Komponente soll „möglichst nah“ bei y liegen und der nicht erfasste Rest möglichst wenig mit der x-Komponente zu tun haben.