1. Semester · Unterrichtsblock 4
KI-Modelle vergleichen
Nach dieser Stunde kann ich in der Rangliste drei Zahlen ablesen und sagen, welches von zwei Modellen zu einer Aufgabe passt.
Darum geht es
„Welche KI ist die beste?“ Jeder sagt etwas anderes. Heute messen wir das.
Artificial Analysis ist eine Firma, die KI-Modelle testet. Sie gehört keinem KI-Anbieter. Alle Modelle bekommen dieselben Aufgaben. Die Ergebnisse stehen kostenlos in der Rangliste, dem LLM Leaderboard. Dort stehen über 250 Modelle von OpenAI, Anthropic, Google, Meta und anderen.
Die Seite ist auf Englisch. Du darfst die Übersetzung im Browser einschalten. Die Spaltennamen lernst du trotzdem auf Englisch, weil sie in jedem Werkzeug so heißen.
Die drei Zahlen, die zählen
| Spalte auf der Seite | Deutsch | Was die Zahl sagt | Besser ist |
|---|---|---|---|
| Intelligence Index | Intelligenzwert | Punkte aus vielen Testaufgaben | höher |
| Output Speed (Tokens/s) | Geschwindigkeit | Wie schnell die Antwort geschrieben wird | höher |
| Price (USD per 1M Tokens) | Preis | Was eine Million Textstücke kosten | niedriger |
| Latency (Zusatz) | Wartezeit | Sekunden bis zum ersten Wort | niedriger |
| Context Window (Zusatz) | Textmenge | Wie viel Text auf einmal hineinpasst | höher |
Vokabeln
Sechs Begriffe für diesen Block
Begriff Einfach erklärt Beispiel Vergleichstest (Benchmark) Alle Modelle bekommen dieselben Aufgaben. So kann man sie vergleichen. 100 Matheaufgaben für jedes Modell. Intelligenzwert (Intelligence Index) Punkte aus vielen Testaufgaben. Mehr ist besser. 58 Punkte gegen 40 Punkte. Geschwindigkeit (Output Speed) Wie schnell das Modell seine Antwort schreibt. Mehr ist besser. 130 Textstücke pro Sekunde. Preis (Price) Was eine Million Textstücke kosten. Weniger ist besser. 5 Dollar für eine Million Textstücke. Textstück (Token) Die KI zerlegt Text in kleine Stücke, etwa ein Wort oder eine Silbe. „Informatikassistent“ sind etwa fünf Textstücke. Wartezeit (Latency) Sekunden, bis das erste Wort der Antwort kommt. Weniger ist besser. 1 Sekunde, oder 30 Sekunden bei Denkmodellen.
Vormachen am Beamer: Die Rangliste lesen
Die Lehrkraft macht jeden Klick vor. Du machst ihn an deinem Platz nach.
- Öffne artificialanalysis.ai.
- Klicke oben auf Models, dann auf LLM Leaderboard.
- Schalte die Übersetzung im Browser ein.
- Prüfe oben in der Tabelle den Filter Status: Current. So sind alte Modelle ausgeblendet.
- Klicke auf den Spaltenkopf Intelligence Index. Die Tabelle sortiert sich. Klicke noch einmal: andersherum.
- Mache dasselbe mit Output Speed und Price.
- Tippe in das Suchfeld den Namen eines Modells. Die Tabelle zeigt nur noch dieses Modell.
Beim Filter Reasoning erklärt die Lehrkraft, warum manche Modelle 30 Sekunden Wartezeit haben: Sie denken vor der Antwort nach.
Aufgaben
Pflichtaufgabe 1: Steckbrief für zwei Modelle
Die Lehrkraft nennt dir zwei Modelle: ein großes und ein kleines. Suche beide mit dem Suchfeld. Lies die drei Zahlen ab und trage sie ein.
Modell A: ______ Modell B: ______ Anbieter Intelligenzwert (Intelligence Index) Geschwindigkeit (Tokens/s) Preis Ausgabe ($ je Million Token) Datum des Ablesens Checkliste zum Abhaken:
- ☐ Seite geöffnet und Rangliste gefunden
- ☐ Nach einer Spalte sortiert
- ☐ Beide Modelle mit dem Suchfeld gefunden
- ☐ Drei Zahlen je Modell eingetragen
- ☐ Datum eingetragen
Pflichtaufgabe 2: Welches Modell passt?
Zu zweit. Je Fall: Modell A oder B ankreuzen. Eine Zahl als Grund aufschreiben. Dann den Satz vervollständigen.
Fall Modell A oder B? Welche Zahl sagt das? Mein Satz: „Ich nehme Modell …, weil …“ A: Schnelle Hilfe auf dem Handy, wenig Kosten B: Schwere Aufgabe, muss stimmen, Zeit und Preis egal Plan B: Sind beide Zahlen fast gleich, nimm die Wartezeit (Latency) als dritte Zahl dazu.
Zusatzaufgabe für Schnelle
Fall C: Ein PDF mit 300 Seiten soll auf einmal zusammengefasst werden. Tipp: Spalte Textmenge (Context Window). Suche dafür selbst ein Modell in der Rangliste.
Probiere außerdem den Model Recommender auf der Startseite. Er schlägt nach deinen Wünschen ein Modell vor. Stimmt er mit deiner Wahl überein?
Kann-Liste
Hake am Ende der Stunde ab, was du kannst. Merksatz: Es gibt nicht die beste KI, nur die passende.
- ☐ Ich kann die Rangliste auf artificialanalysis.ai öffnen.
- ☐ Ich kann die Tabelle nach einer Spalte sortieren und ein Modell suchen.
- ☐ Ich kann Intelligenzwert, Geschwindigkeit und Preis ablesen.
- ☐ Ich kann für einen Fall ein Modell wählen und das mit einer Zahl begründen.
- ☐ Ich kann die sechs Vokabeln dieses Blocks erklären.
Hausaufgabe: Lies in zwei Wochen die drei Zahlen deiner beiden Modelle noch einmal ab. Was hat sich geändert?