Modul 6: Modellbewertung, Overfitting und Regularisierung
Ein Modell, das niemand ehrlich geprüft hat, ist ein Risiko. In diesem Modul lernen Sie alle Kennzahlen, die in der Prüfung vorkommen: Konfusionsmatrix, Accuracy, Precision, Recall, F1, ROC und AUC für Klassifikation sowie MAE, MSE, RMSE und R² für Regression. Sie lernen, Over- und Underfitting zu erkennen, mit Regularisierung gegenzusteuern und Modelle per Kreuzvalidierung fair zu vergleichen. Dieses Modul kommt in fast jeder Prüfung vor.
Einleitung und häufige Fragen jedes Kapitels sind frei lesbar. Den vollständigen Inhalt mit Übungen und Quiz schalten Sie einmalig für 29 € frei.
FreischaltenA · Klassifikation
- Lektion 1: Warum ehrlich messen?Eine Kennzahl ist nur so gut wie ihre Passung zum Ziel. Immer auf ungesehenen Daten, immer gegen eine Baseline.
- Lektion 2: Die KonfusionsmatrixTP Treffer, FN übersehen, FP Fehlalarm, TN richtig in Ruhe gelassen. Aus diesen vier Zahlen lassen sich alle Kennzahlen berechnen.
- Lektion 3: Accuracy, Precision, RecallPrecision: Stimmt der Alarm? Recall: Wird alles gefunden? Spezifität: Bleibt Gutes unbehelligt?
- Lektion 4: F1-Score und MehrklassenF1 = harmonisches Mittel aus Precision und Recall – nur hoch, wenn beide hoch sind. Bei seltenen Klassen F1 statt Accuracy.
- Lektion 5: Schwelle und KostenDie Schwelle ist eine Geschäftsentscheidung: Kosten eines FN gegen Kosten eines FP. Sie wird auf Validierungsdaten festgelegt.
- Lektion 6: ROC und AUCROC: Richtig-Positiv-Rate gegen Falsch-Positiv-Rate über alle Schwellen. AUC 0,5 = Raten, 1 = perfekt. Bei seltenen Klassen zusätzlich PR-Kurve.
B · Regression
C · Generalisierung
- Lektion 8: Over- und UnderfittingGroßer Abstand zwischen Training und Validierung = Overfitting. Beide schlecht = Underfitting.
- Lektion 9: Bias und VarianzHoher Bias = zu einfach, Underfitting. Hohe Varianz = zu empfindlich, Overfitting. Ziel: das Minimum des Gesamtfehlers.
- Lektion 10: LernkurvenLernkurven zeigen, ob mehr Daten oder ein anderes Modell hilft. Bei Epochen-Kurven: Early Stopping am Minimum des Validierungsfehlers.
- Lektion 11: RegularisierungRegularisierung bestraft Komplexität: L2 verkleinert Gewichte, L1 setzt sie auf null, Dropout und Early Stopping bremsen neuronale Netze.
- Lektion 12: Kreuzvalidierungk-fache Kreuzvalidierung: k Durchläufe, jeder Teil einmal Prüfteil, Ergebnis = Mittelwert ± Streuung. Testdaten bleiben trotzdem unberührt.
D · Praxis
- Lektion 13: Modelle vergleichenEin Modell ist nur dann besser, wenn der Unterschied größer als die Streuung ist. Bei Gleichstand gewinnt das einfachere Modell.
- Lektion 14: Mehr als GenauigkeitEin gutes Modell ist genau, gut kalibriert, robust, fair, stabil, bezahlbar und erklärbar genug für seinen Einsatz.
- Lektion 15: Fallbeispiel BewertungsberichtKennzahlen rechnen, passende Kennzahl begründen, in Euro übersetzen, Empfehlung ableiten.
Abschluss
- ÜbungenTragen Sie Ihre Antworten in die Felder ein. Prozente ohne %-Zeichen, Komma oder Punkt erlaubt. Freitext bewertet die KI wie ein IHK-Prüfer.
- Abschlussquiz20 Fragen, jeweils eine richtige Antwort. Ab 14 richtigen Antworten sind Sie gut vorbereitet.
- FormelkarteGröße Formel Accuracy (TP + TN) / (TP + TN + FP + FN) Precision TP / (TP + FP) Recall, Richtig-Positiv-Rate TP / (TP + FN) Spezifität TN / (TN + FP) Falsch-Positiv-Rate FP / (FP + TN) F1 2 · P · R / (P + R) Kosten FN · Kosten_FN + FP · Kosten_FP MAE / MSE / RMSE Ø |Fehler| / Ø Fehler² / √MSE R² 1 − Σ(y − ŷ)² / Σ(y − ȳ)² Ridge / Lasso MSE + λ Σ w² / MSE + λ Σ |w| Weiter mit Modul 7: Neuronale Netze