Alle Quellen⬇️// Was passiert eigentlich genau im Inneren, wenn du ChatGPT eine Frage stellst? 3 Den groben Ablauf habe ich im Video einmal versucht, so ausführlich wie möglich darzustellen. Ein paar weitere spannende Details findest du im Folgenden: 1️⃣ Das Modell nimmt nicht immer das wahrscheinlichste Wort. Wenn es die Wahrscheinlichkeit für bestimmte Tokens berechnet hat, dann wählt es (diesen Wahrscheinlichkeiten entsprechend) zufallig eins aus. Deshalb bekommst du auf dieselbe Frage selten zweimal exakt dieselbe Antwort. 2️⃣ Der Aufmerksamkeitsmechanismus kennt von sich aus keine Reihenfolge. „Hund beißt Mann“ und „Mann beißt Hund“ sind für ihn erst mal gleich. Deshalb bekommt jedes Wort zusätzlich vorher noch eine Information über seine Positionierung im Satz mit. 3️⃣ Ganz von vorne geht es bei einer erneuten Eingabe im Chatfenster zum Glück meistens nicht los. Das Modell speichert Zwischenergebnisse der vorherigen Wörter (KV-Cache) und muss nur das neue Wort komplett durchrechnen, weil es mit jeder neuen Rechnung auf die bereits vorliegenden Ergebnisse zurückgreifen kann. 4️⃣ Ein frisch trainiertes Modell nach dem Pretraining beantwortet keine Fragen in dem Sinne wie wir es später kennen. Es schreibt einfach Text weiter. Wenn du zB fragst, „Was ist die Hauptstadt von Frankreich?“, dann Antwortet es erst „Was ist die Hauptstadt von Deutschland?“ Denn statistisch gesehen? Am „wahrscheinlichsten“ kann es durchaus sein, dass diese Frage in einem Test vorkommt. Erst indem es lernt, dass es aus der Perspektive eines hilfreichen Assistenten eine Anfrage beantworten und dementsprechend aus dieser Perspektive heraus berechnen soll, welches Wort am wahrscheinlichsten als Nächstes kommt, lernt es, auf die Art und Weise zu antworten, wie wir es bei der Nutzung gewohnt sind. Alle verwendeten Quellen findest du hier drunter oder als noch ausführlicher über den Link in der Bio auf meiner Website. *https://arxiv.org/pdf/1301.3781 *https://www.youtube.com/watch?v=eMlx5fFNoYc&t=273s *https://doi.org/10.12779/dnd.2018.17.3.83 *https://www.ibm.com/de-de/think/topics/neural-networks * https://arxiv.org/abs/1706.03762 *https://arxiv.org/pdf/2203.02155 * https://www.understandingai.org/p/large-language-models-explained-with - @niklastitgemeyer