Das KI-Vokabular · 01 Das Modell
Was ist Mixture of Experts?
Ein Modell aus vielen spezialisierten Teilnetzen, von denen pro Eingabe nur wenige eingeschaltet werden.
Ein klassisches Modell nutzt für jedes Token alle seine Parameter. Bei einer Mixture of Experts, kurz MoE, ist ein Teil des Modells in viele Teilnetze aufgeteilt, die Experten heißen. Ein kleiner Verteiler entscheidet pro Eingabe, welche wenigen Experten arbeiten. So kann das Modell insgesamt sehr groß sein und pro Token trotzdem relativ wenig rechnen.
Die „Experten“ sind keine Fachleute im menschlichen Sinn, etwa einer für Recht und einer für Medizin. Das Modell lernt selbst, wie es die Arbeit aufteilt, und diese Aufteilung ist meist schwer zu deuten.
Warum es für dich wichtig ist
Mixture of Experts macht die Inferenz pro Token günstiger, aber das ganze Modell muss trotzdem in den Speicher passen. Deshalb nennen manche Modellhersteller zwei Zahlen: Parameter insgesamt und aktive Parameter pro Token.
Own it
Wenn du Open-Weight-Modelle fürs Self-Hosting vergleichst, schau auf beide Zahlen. Die Gesamtzahl entscheidet, wie viel Speicher du brauchst, die aktiven Parameter ungefähr, wie schnell und günstig jede Antwort ist.
Woher es kommt
Die Idee, mehrere Expertennetze zu kombinieren, ist älter. Die Form in heutigen großen Modellen geht aber auf Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer von Noam Shazeer und Kollegen bei Google zurück (Januar 2017). Ihre Schicht hatte bis zu Tausende Teilnetze und bis zu 137 Milliarden Parameter und steigerte laut den Autoren die Kapazität um mehr als das Tausendfache, bei nur geringen Einbußen an Effizienz.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.