Was in ChatGPT wirklich passiert: Notizen aus einem Deep Dive

Andrej Karpathy hat sich dreieinhalb Stunden Zeit genommen, um eine einzige Frage zu beantworten: Was passiert eigentlich, wenn Du etwas in das Textfeld eines LLM (large language model) eintippst und Enter drückst? Karpathy war 2016 Wissenschaftler bei OpenAI und hat danach die KI-Abteilung bei Tesla geleitet. Sein Video “Deep Dive into LLMs like ChatGPT” führt durch den Maschinenraum.

Ich habe mir das Ganze angesehen und mitgeschrieben. Hängengeblieben sind weniger die großen Zahlen als die kleinen Momente, in denen klar wird, warum diese Modelle sich so seltsam verhalten. Eines, das Olympiade-Mathematik löst und gleichzeitig behauptet, 9,11 sei größer als 9,9. Eines, das Wikipedia-Artikel auswendig kann und trotzdem Menschen erfindet, die es nie gab.

Dieses Video ist über YouTube eingebettet. Wenn Du das Video abspielst, kann es sein, dass YouTube Cookies in deinem Browser setzt. Mehr Informationen findest du in der Datenschutzerklärung von YouTube.

Ich verstehe

Das gefilterte Internet passt auf eine Festplatte

Common Crawl durchsucht das Web seit 2007 und hatte 2024 rund 2,7 Milliarden Webseiten indexiert. Was daraus wird, zeigt Karpathy am offenen Datensatz FineWeb von Hugging Face.

Die Pipeline arbeitet in Stufen. Zuerst fliegen ganze Domains raus: Malware, Spam, Adult-Seiten, alles auf Blocklisten. Dann wird aus dem rohen HTML der reine Text extrahiert, ohne Navigation und CSS. Danach der Sprachfilter, FineWeb behält nur Seiten mit über 65 Prozent Englisch. Anschließend Deduplizierung und zum Schluss das Entfernen personenbezogener Daten.

Übrig bleiben rund 44 Terabyte. Das gefilterte Internet passt damit auf eine einzelne größere Festplatte, vielleicht nicht auf meine zu Hause, aber größere Hoster haben davon in der Regel mehrere. Wie genau gefiltert wird, hüten die großen Anbieter als Geschäftsgeheimnis.

Der Sprachfilter hat direkte Folgen. Wer Spanisch herausfiltert, bekommt ein Modell, das kaum Spanisch kann. Wie gut ein Modell mit Deutsch umgeht, ist also eine Entscheidung, die Jahre vor dem Release in einer Filterkonfiguration gefallen ist. Lass ChatGPT aus den USA und Mistral aus Frankreich einmal in einem Französisch-Test gegeneinander antreten, dann siehst Du das sofort.

Warum das Modell keine Buchstaben sieht

Ein neuronales Netz braucht Zahlen. Text wird deshalb in Tokens zerlegt, mit einem Verfahren namens Byte Pair Encoding: Häufige Zeichenfolgen, also Wörter oder Wortteile, werden zu einem eigenen Symbol zusammengefasst, seltene bleiben zerstückelt. Der Tokenizer von GPT-4 kennt genau 100.277 Symbole.

Karpathy demonstriert das an einem Detail, das ich vorher nicht auf dem Schirm hatte. “hello world” sind zwei Tokens. Mit großem H sind es andere. Mit zwei Leerzeichen dazwischen wieder andere. Das Modell sieht nie einen Buchstaben, es sieht Nummern.

Was das Training tatsächlich kostet

Im Video läuft ein echtes Training mit. Jede Zeile im Log ist ein Update, jedes verarbeitet eine Million Tokens und dauert rund sieben Sekunden. Geplant sind 32.000 Schritte, zusammen etwa 33 Milliarden Tokens.

Nach 20 Schritten produziert das Modell reinen Buchstabensalat. Nach einem Prozent des Trainings kommt Text heraus, der lokal fast wie Englisch aussieht und trotzdem keinen Sinn ergibt.

Gerechnet wird auf einem Knoten mit acht Nvidia H100, bei einem Anbieter wie Lambda für rund drei US-Dollar pro GPU und Stunde. GPT-2 kostete 2019 im Training geschätzt 40.000 US-Dollar. Karpathy hat es mit seinem Projekt llm.c für rund 600 US-Dollar an einem Tag nachtrainiert und hält 100 Dollar für erreichbar. Die Ursachen sind bessere Hardware, deutlich bessere Software und vor allem sauberere Daten.

Ein Base Model beantwortet keine Fragen

Karpathy lädt Llama 3.1 mit 405 Milliarden Parametern als reines Base Model und tippt “Was ist 2 plus 2?” ein.

Das Modell antwortet nicht. Es schreibt weiter und driftet ins Philosophische ab. Beim zweiten Versuch kommt etwas völlig anderes heraus, beim dritten wieder.

Ein Base Model ist ein Token-Simulator, es setzt Text statistisch fort. Gibt Karpathy den ersten Satz des Wikipedia-Artikels über Zebras ein, rattert das Modell den Artikel seitenlang wortwörtlich herunter. Es hat ihn im Training vermutlich zehnmal gesehen und auswendig gelernt.

Beim Gegentest kennt das Modell den Stoff nicht. Llama 3.1 hat einen Wissensstand bis Ende 2023 und weiß nichts über die US-Wahl 2024. Karpathy gibt ihm trotzdem den Anfang eines Textes darüber. Das Modell erfindet flüssig ein Paralleluniversum mit Mike Pence gegen Hillary Clinton. Beim nächsten Durchlauf ein anderes, diesmal mit Ron DeSantis gegen Joe Biden.

So sieht eine Halluzination von innen aus. Das Modell tut exakt das, wofür es gebaut wurde.

Stufe 2: Du sprichst mit einem simulierten Labeler

Jetzt werden die Trainingsdaten ausgetauscht. Statt Internettext bekommt das Modell Dialoge zwischen “User” und “Assistant”. Technisch ändert sich nichts, die Konversationen werden über Sondertokens in eine Tokensequenz gegossen, und das Modell macht weiter, was es immer macht.

Woher die Dialoge kommen, steht im InstructGPT-Paper von OpenAI. Menschliche Auftragnehmer, angeworben über Upwork und Scale AI, schrieben sowohl die Fragen als auch die idealen Antworten. Anleitung war ein internes Dokument mit den Leitlinien hilfreich, wahrheitsgemäß, harmlos. Solche Dokumente sind in der Praxis hunderte Seiten lang.

Wenn Du ChatGPT nach den fünf schönsten Sehenswürdigkeiten in Paris fragst, recherchiert da also keine überlegene Intelligenz. Du bekommst die statistische Simulation eines bezahlten Menschen, der genau diese Frage bekommen, zwanzig Minuten gesucht und eine Liste geschrieben hätte.

Wie handgemacht das ist, sieht man am offenen Modell OLMo vom Allen Institute. In dessen Trainingsmix aus einer Million Konversationen liegt ein Ordner mit 240 handgeschriebenen Dialogen. Inhalt: “Erzähl mir von Dir.” Antwort: “Ich bin OLMo, entwickelt vom Allen Institute.” Ohne diese 240 Beispiele würde das Modell behaupten, es sei ChatGPT von OpenAI, weil das im Internet am häufigsten steht.

Was ein Modell über sich selbst sagt, steht also im Trainingsdatensatz oder im System-Prompt.

Halluzinationen und wie man sie eindämmt

Karpathy fragt ein älteres Modell, wer “Orson Kovats” sei. Der Name ist frei erfunden. Das Modell antwortet: amerikanischer Science-Fiction-Autor. Neuer Versuch: Figur aus einer Fernsehserie der Fünfziger. Dritter Versuch: früherer Baseballspieler.

Das Modell weiß es nicht und sagt es trotzdem nicht. In den Trainingsdaten folgt auf jede “Wer ist”-Frage eine selbstbewusste Antwort, also lernt es den Tonfall und nicht die Ehrlichkeit.

Meta beschreibt im Llama-3-Paper, wie man das repariert. Man nimmt einen zufälligen Wikipedia-Absatz, lässt daraus Fragen mit bekannten Antworten generieren und stellt sie dem eigenen Modell mehrfach. Karpathy führt das mit dem Eishockeytorwart Dominik Hašek vor. Bei welchem Team er spielte, weiß das Modell dreimal richtig, Buffalo Sabres. Wie viele Stanley Cups er gewann, rät es dreimal falsch. Also wandert genau diese Frage mit der Antwort “Das weiß ich nicht” in den Trainingssatz. Ein paar tausend solcher Beispiele genügen, damit das Modell sein eigenes Nichtwissen erkennt.

Die zweite Maßnahme ist Tool Use. Das Modell erzeugt ein Sondertoken, die Suche läuft, das Ergebnis landet im Kontextfenster. Parameter und Kontextfenster machen dabei zwei ganz verschiedene Dinge:

Material in den Kontext geben schlägt Abfragen aus dem Gedächtnis. Karpathys Beispiel ist eine Zusammenfassung von Kapitel eins aus “Stolz und Vorurteil”. Das Modell schafft das aus der Erinnerung. Fügst Du das Kapitel in den Prompt ein, wird die Zusammenfassung deutlich besser.

Warum Modelle Tokens zum Denken brauchen

Pro Token steht dem Netz eine feste, kleine Menge Rechenleistung zur Verfügung, rund hundert Schichten. Eine Aufgabe, deren Lösung im ersten Token stehen muss, geht deshalb schief.

Dazu diese Aufgabe: Emily kauft drei Äpfel und zwei Orangen, eine Orange kostet zwei Dollar, insgesamt 13 Dollar. Was kostet ein Apfel? Zwei Antworten führen beide zur richtigen Lösung, drei Dollar. Aber eine nennt das Ergebnis sofort und begründet danach, die andere rechnet schrittweise. Nur die zweite taugt als Trainingsbeispiel, bei der ersten müsste das Modell die gesamte Rechnung in ein einziges Token pressen. Mit größeren Zahlen kippt es dann auch: 23 Äpfel, 177 Orangen, Antwort in einem Token erzwungen, Ergebnis fünf. Darf es rechnen, kommt sieben raus.

Zwei weitere Beispiele aus derselben Ursache. Karpathy fügt eine Reihe Punkte ein und fragt, wie viele es sind. Das Modell sagt 161, richtig wären 177. Und der Klassiker: Wie viele “r” stecken in “strawberry”? Lange behaupteten alle Spitzenmodelle, es seien zwei. Hier treffen zwei Schwächen aufeinander, das Modell sieht keine Buchstaben und kann nicht zählen. In allen drei Fällen hilft dasselbe, nämlich Code ausführen zu lassen.

Manche Fehler bleiben auch mit Erklärung merkwürdig. Auf die Frage, ob 9,11 größer ist als 9,9, sagen Modelle erstaunlich oft ja. Karpathy berichtet, dass beim Blick in die Aktivierungen ausgerechnet Neuronen anspringen, die sonst mit Bibelversen zu tun haben. Dort folgt Vers 9.11 tatsächlich auf 9.9.

Karpathy vergleicht die Fähigkeiten mit Schweizer Käse. Die Fläche ist groß und tragfähig, aber es gibt Löcher, und Du merkst sie erst, wenn Du hineintrittst.

Stufe 3: Wenn das Modell selbst übt

Karpathy erklärt die drei Stufen mit einem Schulbuch.

Bei Stufe zwei weiß kein Mensch, welcher Lösungsweg für das Modell der beste ist. Was für uns ein trivialer Zwischenschritt ist, kann für das Modell ein zu großer Sprung sein, und umgekehrt verschwenden wir Tokens an Dinge, die es längst kann. Unsere Kognition ist nicht seine.

Beim Reinforcement Learning generiert das Modell tausende Lösungswege zur selben Aufgabe. Die, die zur richtigen Antwort führen, werden verstärkt. Voraussetzung ist ein überprüfbares Ergebnis, also vor allem Mathematik und Code.

DeepSeek hat mit dem R1-Paper öffentlich gemacht, was dabei passiert. Die Genauigkeit steigt, und die Antworten werden von selbst länger. Das Modell fängt an, sich zu unterbrechen: “Moment, lass mich das nochmal Schritt für Schritt prüfen.” Es rechnet rückwärts, verwirft Ansätze, wechselt die Perspektive. Niemand hat ihm das beigebracht, es hat entdeckt, dass es die Trefferquote erhöht. Wenn Du ein Reasoning-Modell selbst ausprobieren willst, zeigen wir in unserem Guide, wie Du DeepSeek mit Ollama auf einem VPS installierst.

AlphaGo zeigt dasselbe Muster. Reine Imitation menschlicher Partien läuft gegen eine Decke und bleibt unter Weltklasseniveau. Reinforcement Learning kennt diese Decke nicht. Der berühmte Move 37 gegen Lee Sedol hätte ein Mensch mit einer Wahrscheinlichkeit von etwa 1 zu 10.000 gespielt. Die Kommentatoren hielten ihn zuerst für einen Fehler.

Für alles, was sich nicht automatisch prüfen lässt, also Gedichte, Witze, Stil, gibt es RLHF, Reinforcement Learning from Human Feedback. Menschen sortieren Antworten nach Präferenz, daraus entsteht ein Reward Model, gegen das optimiert wird. Statt einer Milliarde menschlicher Bewertungen reichen so ein paar tausend Rankings.

Die Grenze zeigt Karpathy an Witzen über Pelikane. Optimiert man lange genug, produziert das Modell irgendwann als Bestleistung “the the the the”. Das Reward Model vergibt die Höchstnote, für Menschen ist es sinnlos. Reinforcement Learning findet zuverlässig die Lücken in jedem Bewertungsmodell, deshalb bricht man RLHF nach einigen hundert Schritten bewusst ab. Karpathys Fazit: RLHF ist kein echtes RL, man kann nicht unbegrenzt Rechenzeit hineinstecken und immer besser werden.

Was das für Deine Infrastruktur bedeutet

Modelle wie Llama, DeepSeek oder Mistral sind Open Weights, was Karpathy im Video nur kurz streift. Das Training bleibt Sache der großen Labore, die Inference nicht. Drei Gründe sprechen fürs Self-Hosting: Datenschutz, weil auf Deinem Server nichts die EU verlässt. Kalkulierbarkeit, weil ein Servertarif planbarer ist als Tokenabrechnung. Und Unabhängigkeit davon, dass ein Anbieter sein Modell abschaltet oder die Preise ändert.

Für den Einstieg reicht ein solider Cloud Server mit genug RAM und Ollama darauf. Wer den Betrieb nicht selbst übernehmen möchte, fährt mit einem Managed Cloud Server besser. Wie das konkret aussieht, zeigen wir Schritt für Schritt in unserer Anleitung zum lokalen Hosten von KI.

Fazit

Am Ende empfiehlt Karpathy, die Modelle als Werkzeug zu nutzen und nicht als Autorität. Für den ersten Entwurf, für Inspiration und für Fragen. Aber prüfe die Ergebnisse und übernimm die Verantwortung für das, was Du ablieferst.

Nach dreieinhalb Stunden weiß ich vor allem, an welchen Stellen ich nochmal nachprüfen muss: bei Jahreszahlen, bei Namen, die ich nicht kenne, und bei allem, was gezählt werden muss.

Häufige Fragen

Was ist der Unterschied zwischen einem Base Model und einem Chatmodell? Ein Base Model setzt Text statistisch fort und beantwortet keine Fragen. Ein Chatmodell hat zusätzlich ein Post-Training durchlaufen und antwortet in Rollen aus User und Assistant.

Warum kann ChatGPT die Buchstaben in einem Wort nicht zählen? Weil das Modell keine Buchstaben sieht, sondern Tokens, und weil Zählen mehr Rechenschritte braucht, als in einem Token Platz haben. Ein kurzes Code-Snippet ist zuverlässiger.

Was ist der Unterschied zwischen Parametern und Kontextfenster? Die Parameter sind das vage Langzeitgedächtnis aus dem Training, das Kontextfenster ist der präzise Arbeitsspeicher für die aktuelle Konversation.

Was ist ein Reasoning-Modell? Ein Modell, das zusätzlich per Reinforcement Learning trainiert wurde und dabei gelernt hat, Zwischenschritte zu prüfen und Ansätze zu verwerfen. Beispiele sind DeepSeek-R1 und die o-Modelle von OpenAI.

Kann ich ein LLM auf einem eigenen Server betreiben? Ja. Open-Weight-Modelle laufen mit Ollama auf einem ausreichend dimensionierten Server.

Quelle: Andrej Karpathy, “Deep Dive into LLMs like ChatGPT”, YouTube, 3 Stunden 31 Minuten.

Artikel von

Oliver Dick

Hallo! Ich bin Oliver, einer der Gründer und Geschäftsführer von hosting.de. Seit dem Jahr 2000 arbeite ich als Hosting-Unternehmer.