Data Mining

Mittels der Regressionsanalyse werden die Parameter funktionaler Beziehungen zwischen Variablen geschätzt. Üblicherweise wird eine Kausalrichtung postuliert, so dass der Einfluss der Regressoren auf die erklärende Variable geschätzt wird. 4.1.1.1 Lineare Einfachregression Es wird angenommen, dass ein linearer Zusammenhang zwischen den beobachtbaren Variablen X und Y besteht. Es wird dabei aber lediglich eine Wirkung von X auf Y unterstellt. Der beobachtete Zusammenhang ist allerdings nicht perfekt, d.h. es gibt noch weitere unbeobachtbare Einflussfaktoren, die keinen systematischen Einfluss auf Y haben und deshalb in der Zufallsvariable ε zusammengefasst werden können. Dadurch wird das Modell stochastisch. Die zugrunde liegende Modellgleichung53 lautet: (4.1) Yi = α + βXi + εi (i = 1, …, N). Das lineare Regressionsmodell übernimmt damit die Aufgabe einer Identifikationsstrategie zur Lösung kontrafaktischer Fragestellungen. 4.1.1.1.1 Schätzung der Koeffizienten Die Parameter α und β sind die zu schätzenden Koeffizienten des Modells. Der Parameter β gibt den Einfluss einer marginalen Veränderung der Variable X auf die Variable Y an. Entsprechend der oben verwendeten Argumentation gibt α an, wie groß Yi wäre, wenn Xi Null wäre. Anschaulich bedeutet die Schätzung von α und β, aus der gegebenen Stichprobe eine Gerade in die Punktwolke, die durch die Beobachtungspaare (Yi, Xi) entsteht, zu legen, so dass ein festgelegtes Optimierungsziel erfüllt wird. Für die Schätzung der Parameter existieren mehrere Schätzmethoden, wobei die Methode der kleinsten Quadrate (Ordinary Least Squares, OLS)54 und die Maximum Likelihood-Methode55 zu den bekanntesten und am weitesten verbreiteten gehören. Das OLS-Prinzip gibt als Optimierungsziel die Minimierung der Summe der quadrierten senkrechten Abstände e der Beobachtungspaare (Yi, Xi) von der Gerade an. Formal bedeutet dies: (4.2) [...]

Abbildung 4.1 zeigt Modelle, deren Anpassungen an den Datenbestand nicht für das Scoring geeignet sind. Das erste Modell besitzt keine Aussagekraft, es ist ein sog. NullModell. Es ist nicht ausreichend komplex, was auch als Underfitting bezeichnet wird. Modelle mit Underfitting zeichnen sich durch einen hohen Bias und eine geringe Varianz aus. Dagegen ist das zweite Modell zu komplex gestaltet worden, so dass eine Interpolation der Daten vorliegt. Dieses Overfitting hat als Merkmale geringen Bias und hohe Varianz. Wie schon in Abschnitt 2.2.2 angedeutet, ist die Bestimmung der Modellkomplexität ein Problem, welches häufig im Zusammenhang mit KNN und der Möglichkeit der Variation bei der Anzahl der Neuronen und den verdeckten Schichten auftritt. Durch die Tatsache, dass der funktionale Zusammenhang i.d.R. vor der Modellanpassung nicht bekannt ist, können die verschiedenen Verfahren stark unterschiedliche Generalisierungsfähigkeiten aufweisen. Entscheidungsbäume mit univariaten Splits können nur senkrechte bzw. waagerechte Trennungen vornehmen. Die lineare Separierbarkeit ist daher mit Bäumen – im Gegensatz zur Regressionsanalyse – nur näherungsweise zu bewerkstelligen. Die Regressionsanalyse dagegen hat trotz Interaktionstermen Schwierigkeiten bei nicht-linearen Abhängigkeiten: [...]

Ein weiterer wichtiger Schritt, der vor der Modellanpassung bedacht werden sollte, ist die Transformation der Variablen. Folgende Probleme können auftreten: Fehlende Normalverteilung51, ungünstige Skalierungen oder Probleme mit Ausreißern. Eine Normalverteilung kann durch verschiedene Transformationen52 erzeugt werden. Skalierungen wie beispielsweise Postleitzahlen haben aufgrund ihrer Intervallskaliertheit nur einen geringen Aussagewert. Dasselbe gilt für viele Variablen, die ordinalskaliert sind. An dieser Stelle müssen Rekodierungen vorgenommen werden. Dies kann durch den Einsatz von Dummy-Variablen oder durch Bildung neuer Variablen geschehen. Eine weitere Möglichkeit der Verbesserung ist die Behebung der Ausreißer durch Filter. Dies kann ökonomisch signifikant sein. So sorgt beispielsweise ab einem gewissen Niveau ein weiterer Anstieg des Einkommens für keine nennenswerten Steigerungen im Konsum. [...]