Wie ein Sprachmodell arbeitet

Einstieg: Ein Kunde ruft an

Kurzversuch (2 Minuten): Öffnen Sie auf Ihrem Smartphone eine Nachricht und tippen Sie „Ich komme heute etwas“. Notieren Sie die drei Wörter, die Ihre Tastatur vorschlägt. Vergleichen Sie mit Ihrer Sitznachbarin oder Ihrem Sitznachbarn: Sind die Vorschläge gleich? Woher könnte die Tastatur sie haben?

Der Fall: Sie arbeiten im Support eines IT-Dienstleisters. Ein Kunde ruft an:

„Ihr KI-Assistent hat mir gestern eine falsche Druckernummer genannt. Wie kann das sein? Der schaut doch im Internet nach!“

Um dem Kunden fachlich richtig zu antworten, müssen Sie wissen, wie ein Sprachmodell zu seinen Antworten kommt. Die Smartphone-Tastatur und ein Chatbot arbeiten nach einem ähnlichen Grundprinzip – nur in sehr unterschiedlicher Größe. Am Ende der Stunde beantworten Sie den Anruf schriftlich (Aufgabe 7.5).

Phase 1: Text wird in Tokens zerlegt

Ein Sprachmodell (englisch: Large Language Model, kurz LLM) liest keine Buchstaben und keine ganzen Wörter, sondern Tokens. Ein Token ist ein Textbaustein: oft ein kurzes, häufiges Wort, manchmal nur eine Silbe, ein Wortteil oder ein Satzzeichen. Lange oder seltene Wörter werden in mehrere Tokens zerlegt.

Jedes Token hat im Modell eine feste Nummer (Token-ID). Das Modell rechnet ausschließlich mit diesen Zahlen, nicht mit Buchstaben. Die genaue Zerlegung hängt vom Modell ab. Als Faustregel gilt: Ein englisches Wort entspricht im Schnitt etwa 1,3 Tokens, ein deutsches Wort eher 1,5 bis 2 Tokens.

Warum Tokens im Beruf wichtig sind

• Kosten: Anbieter berechnen die Nutzung von KI-Schnittstellen pro Token, getrennt nach Eingabe und Ausgabe.
• Grenzen: Wie viel Text ein Modell auf einmal verarbeiten kann, wird in Tokens gemessen (siehe Phase 3).
• Sprache: Derselbe Inhalt auf Deutsch braucht meist mehr Tokens als auf Englisch.

Merksatz: Ein Sprachmodell zerlegt Text in Tokens und rechnet mit deren Nummern. Kosten und Grenzen von KI-Diensten werden in Tokens gemessen.

Vorführung am Beamer (Lehrkraft, 3 Minuten)

1. Den OpenAI Tokenizer öffnen.
2. „Hallo, wie geht es Ihnen?“ eingeben: Die farbigen Felder zeigen die Tokens, darunter stehen die Anzahl Tokens und Zeichen.
3. Auf „Token IDs“ umschalten: Jetzt sieht man die Zahlen, mit denen das Modell rechnet.
4. Ein langes deutsches Wort eingeben, z. B. „Datenschutzgrundverordnung“, und die Zahl der Tokens zeigen.

Aufgabe 7.1 · Tokens zählen und vergleichen

AFB I–II · Partnerarbeit · 10 Minuten · Werkzeug: OpenAI Tokenizer

Geben Sie die vier Texte nacheinander in den Tokenizer ein. Übertragen Sie die Tabelle in Ihr Dokument und füllen Sie sie aus.

Text	Anzahl Wörter	Anzahl Tokens	Tokens pro Wort
Der Drucker im Büro ist offline.
The printer in the office is offline.
Netzwerkadministratorinnenausbildung
Ein selbst gewählter Satz aus Ihrem Berufsalltag

Beantworten Sie schriftlich:

1. Warum braucht das lange deutsche Wort so viele Tokens?
2. Welche Sprache ist „günstiger“, Deutsch oder Englisch? Begründen Sie in zwei Sätzen mit Ihren Messwerten.
3. Ein Unternehmen lässt täglich 1.000 Support-Antworten von einer KI schreiben. Welche Folge hat Ihr Ergebnis aus Frage 2 für die Kosten?

Plan B: Ist der OpenAI Tokenizer im Schulnetz gesperrt, nutzen Sie den Tokenizer Playground von Hugging Face.

Phase 3: Kontextfenster und Training

Das Kontextfenster: das Kurzzeitgedächtnis

Ein Sprachmodell berücksichtigt bei jeder Antwort nur eine begrenzte Menge Text: Ihre aktuelle Frage, den bisherigen Chatverlauf, angehängte Dateien und versteckte Anweisungen des Anbieters. Diese Höchstmenge heißt Kontextfenster und wird in Tokens gemessen. Aktuelle Modelle haben Kontextfenster von einigen zehntausend bis über einer Million Tokens.

Wird ein Chat länger als das Kontextfenster, fallen frühe Teile heraus. Schon vorher kann es passieren, dass Angaben vom Anfang eines sehr langen Chats ungenauer berücksichtigt werden.

Praxistipp: Beginnen Sie für ein neues Thema einen neuen Chat und wiederholen Sie wichtige Vorgaben, statt einen endlosen Verlauf fortzuführen.

Training und Nutzung sind getrennte Phasen

Weil die Trainingsdaten bis zu einem bestimmten Datum reichen (Wissensstichtag), kennt das Modell spätere Ereignisse nicht. Manche Chatbots können zusätzlich im Internet suchen und die Treffer ins Kontextfenster laden. Auch dann formuliert das Modell die Antwort nach Wahrscheinlichkeit und kann Quellen falsch wiedergeben.

Merksatz: Ein Sprachmodell kennt nur zwei Dinge: was in seinen Trainingsdaten stand und was gerade im Kontextfenster steht. Klingt eine Angabe plausibel, ist sie deshalb noch nicht richtig.

Aufgabe 7.4 · Rechnen und zuordnen

AFB II · Einzelarbeit, danach Vergleich mit dem Nachbarn · 8 Minuten

Teil A – Rechnen: Ein Modell hat ein Kontextfenster von 128.000 Tokens. Gehen Sie davon aus, dass ein deutsches Wort 1,5 Tokens braucht und eine Seite Handbuch 300 Wörter hat. Wie viele Seiten passen ungefähr ins Kontextfenster? Schreiben Sie den Rechenweg auf.

Teil B – Zuordnen: Ordnen Sie jede Aussage zu: Vortraining, Feinabstimmung, Nutzung oder falsch.

Aussage	Zuordnung
1. Das Modell verarbeitet riesige Mengen an Webseiten und Büchern.
2. Das Modell berechnet Token für Token eine Antwort auf Ihre Frage.
3. Menschen bewerten Antworten, damit das Modell hilfreicher antwortet.
4. Das Modell lernt aus Ihrem Chat und ist danach für alle Nutzer klüger.
5. Das Modell berücksichtigt den bisherigen Chatverlauf.

Zusatzaufgabe für Schnelle · Das Kontextfenster testen

Nennen Sie dem Schul-Chatbot zu Beginn eines Chats ein Codewort. Lassen Sie sich danach drei lange Texte schreiben. Fragen Sie am Ende nach dem Codewort. Notieren Sie, ob und wie genau er sich erinnert, und erklären Sie das Ergebnis mit dem Begriff Kontextfenster.

Fachbegriffe

Zehn Fachbegriffe für diesen Block

Die englischen Begriffe begegnen Ihnen in Dokumentationen, Einstellungen und Preislisten der Anbieter.

Fachbegriff	Englisch	Erklärung
Großes Sprachmodell	Large Language Model (LLM)	KI-Modell, das aus sehr großen Textmengen gelernt hat, Text Token für Token fortzusetzen.
Token	Token	Textbaustein (Wort, Wortteil, Satzzeichen), mit dem ein Sprachmodell rechnet; Abrechnungseinheit der Anbieter.
Token-ID	Token ID	Feste Nummer eines Tokens im Vokabular des Modells.
Tokenizer	Tokenizer	Programm, das Text in Tokens zerlegt und in Token-IDs umwandelt.
Temperatur	Temperature	Parameter, der den Zufallsanteil bei der Auswahl des nächsten Tokens steuert.
Kontextfenster	Context Window	Höchstmenge an Tokens, die das Modell bei einer Antwort berücksichtigt (Eingabe, Verlauf, Anhänge).
Vortraining	Pre-Training	Trainingsphase, in der das Modell aus riesigen Textmengen Wahrscheinlichkeiten für Token-Folgen lernt.
Feinabstimmung	Fine-Tuning	Nachtraining, u. a. mit menschlichen Bewertungen, damit das Modell hilfreich und sicher antwortet.
Inferenz	Inference	Nutzung des fertigen Modells: Berechnen einer Antwort, ohne dass sich das Modell verändert.
Wissensstichtag	Knowledge Cutoff	Datum, bis zu dem die Trainingsdaten reichen.