Modul 1 · Lektion 11
Mischformen
Geprüft am 19.11.2026
Große Sprachmodelle werden zuerst selbstüberwacht trainiert: Sie sagen immer wieder das nächste Wort voraus.
Im Alltag
Ein Lückentext: „Der Hund ___ laut.“ Sie wissen sofort, dass „bellt“ fehlt. Niemand musste Ihnen die Lösung geben – die Lösung steckt im Text selbst, man hat sie nur abgedeckt. So lernen große Sprachmodelle.
| Lernform | Idee | Beispiel |
|---|---|---|
| Halbüberwacht | Wenige Beispiele haben ein Label, sehr viele nicht. Das Modell nutzt beide. | 500 markierte und 50.000 unmarkierte Röntgenbilder |
| Selbstüberwacht | Das Label wird aus den Daten selbst erzeugt, indem man einen Teil verdeckt. | Sprachmodell lernt, das nächste Wort vorherzusagen |
Merksatz
Große Sprachmodelle werden zuerst selbstüberwacht trainiert: Sie sagen immer wieder das nächste Wort voraus.
Hinweise für Lehrende
Machen Sie mit der Gruppe zwei, drei Lückentexte. Erklären Sie dann: Das Internet ist ein riesiger Lückentext – deshalb braucht man für Sprachmodelle keine Menschen, die Labels vergeben. Das Thema wird in Modul 8 vertieft.