Modul 3: Daten: Qualität, Vorverarbeitung, Feature Engineering
Ein Modell ist nur so gut wie seine Daten. In der Praxis stecken 60 bis 80 Prozent der Arbeit eines KI-Projekts in der Datenaufbereitung. In diesem Modul lernen Sie, Daten aus Datenbanken zu holen (SQL), ihre Qualität zu prüfen, Fehler zu beheben, Merkmale so umzuwandeln, dass ein Modell sie versteht, und die Daten sauber aufzuteilen, ohne in die gefährlichste Falle zu tappen: Data Leakage.
Einleitung und häufige Fragen jedes Kapitels sind frei lesbar. Den vollständigen Inhalt mit Übungen und Quiz schalten Sie einmalig für 29 € frei.
FreischaltenA · Datenquellen
- Lektion 1: Daten als RohstoffStrukturiert = Tabelle, semistrukturiert = JSON/XML, unstrukturiert = Text, Bild, Ton. Die Qualität der Daten begrenzt die Qualität jedes Modells.
- Lektion 2: Relationale DatenbankenPrimärschlüssel identifiziert eine Zeile, Fremdschlüssel verweist auf eine andere Tabelle. Normalisierung speichert jede Information nur einmal.
- Lektion 3: SQL-GrundlagenSELECT wählt Spalten, WHERE wählt Zeilen, GROUP BY bildet Gruppen, HAVING filtert Gruppen, ORDER BY sortiert.
- Lektion 4: SQL-JOINsINNER JOIN = nur gemeinsame Treffer. LEFT JOIN = alle links, rechts fehlt es als NULL. Für Modelle meist: LEFT JOIN plus GROUP BY auf eine Zeile pro Beispiel.
- Lektion 5: Datenerhebung und DatenschutzDaten müssen repräsentativ und rechtmäßig erhoben sein. Pseudonymisiert ist noch personenbezogen, anonymisiert nicht mehr.
B · Bereinigung
- Lektion 6: DatenqualitätSechs Dimensionen: vollständig, korrekt, konsistent, aktuell, eindeutig, repräsentativ.
- Lektion 7: Explorative DatenanalyseErst anschauen, dann anfassen: Größe, Typen, Lücken, Kennzahlen, Verteilungen, Kategorien, Zusammenhänge, Zielvariable.
- Lektion 8: Fehlende WerteErst fragen, warum ein Wert fehlt. Zahlen meist mit dem Median füllen, Kategorien mit dem Modus oder „unbekannt“. Ersatzwerte nur aus den Trainingsdaten berechnen.
- Lektion 9: Dubletten, Ausreißer, FormateDubletten entfernen, Formate vereinheitlichen, Ausreißer erst verstehen und dann behandeln – und alles dokumentieren.
C · Feature Engineering
- Lektion 10: Kategorien kodierenNominal → One-Hot. Ordinal → Ordinal-Encoding mit richtiger Reihenfolge. Nie willkürliche Nummern für Kategorien ohne Reihenfolge.
- Lektion 11: SkalierenStandardisieren ist die Standardwahl. Nötig bei Abstands- und Gradientenverfahren, unnötig bei Bäumen. Immer nur auf Trainingsdaten anpassen.
- Lektion 12: Neue Merkmale bildenGute Merkmale schlagen komplizierte Modelle. Fachwissen der Abteilung ist die beste Quelle für neue Merkmale.
- Lektion 13: Unbalancierte DatenBei seltenen Klassen ist Accuracy wertlos. Ausgleichen (Gewichte, Sampling) nur im Training und mit Recall, Precision und F1 bewerten.
D · Aufteilung
- Lektion 14: Train, Validierung, TestTraining lernt, Validierung wählt aus, Test bewertet einmal. Seltene Klassen stratifiziert aufteilen, Zeitreihen nach der Zeit.
- Lektion 15: Data LeakageZu gut, um wahr zu sein, ist meistens Leakage. Für jedes Merkmal fragen: Kenne ich das zum Zeitpunkt der Vorhersage? Vorverarbeitung immer in einer Pipeline nur auf Training anpassen.
- Lektion 16: Python und pandasPython + pandas für Tabellen, scikit-learn für Vorverarbeitung und Modelle. Code muss man in der Prüfung vor allem lesen und erklären können.
Abschluss
- ÜbungenTragen Sie Ihre Antworten in die Felder ein. Zahlen und Auswahl prüft die Seite selbst, Freitext und SQL bewertet auf Knopfdruck die KI wie ein IHK-Prüfer. Öffnen Sie die Musterlösung erst danach. Ihre Antworten werden gespeichert, und Ihre Lehrkraft sieht Ihren Stand.
- Abschlussquiz20 Fragen im Stil der schriftlichen Prüfung, jeweils eine richtige Antwort. Ab 14 richtigen Antworten (70 %) sind Sie gut vorbereitet.
- ZusammenfassungDatenarten Strukturiert (Tabelle), semistrukturiert (JSON), unstrukturiert (Text, Bild, Ton). Datenbank Primärschlüssel identifiziert, Fremdschlüssel verbindet; Normalisierung vermeidet Doppeltes. SQL SELECT – FROM – WHERE – GROUP BY – HAVING – ORDER BY; LEFT JOIN für „auch ohne Partner“. Qualität Vollständig, korrekt, konsistent, aktuell, eindeutig, repräsentativ. Fehlende Werte Erst „warum?“, da