Modul 1 · Lektion 11

Mischformen

Geprüft am 19.11.2026

Große Sprachmodelle werden zuerst selbstüberwacht trainiert: Sie sagen immer wieder das nächste Wort voraus.

Im Alltag

Ein Lückentext: „Der Hund ___ laut.“ Sie wissen sofort, dass „bellt“ fehlt. Niemand musste Ihnen die Lösung geben – die Lösung steckt im Text selbst, man hat sie nur abgedeckt. So lernen große Sprachmodelle.

LernformIdeeBeispiel
HalbüberwachtWenige Beispiele haben ein Label, sehr viele nicht. Das Modell nutzt beide.500 markierte und 50.000 unmarkierte Röntgenbilder
SelbstüberwachtDas Label wird aus den Daten selbst erzeugt, indem man einen Teil verdeckt.Sprachmodell lernt, das nächste Wort vorherzusagen
Merksatz

Große Sprachmodelle werden zuerst selbstüberwacht trainiert: Sie sagen immer wieder das nächste Wort voraus.

Hinweise für Lehrende

Machen Sie mit der Gruppe zwei, drei Lückentexte. Erklären Sie dann: Das Internet ist ein riesiger Lückentext – deshalb braucht man für Sprachmodelle keine Menschen, die Labels vergeben. Das Thema wird in Modul 8 vertieft.