Das KI-Vokabular · 06 Own Your AI
Was ist Model Routing?
Jede Anfrage an das Modell schicken, das am besten passt: klein und günstig für einfache Aufgaben, groß für schwierige.
Model Routing heißt, nicht ein einziges Modell für alles zu nutzen. Ein Router, das kann eine einfache Regel oder ein kleiner Klassifikator sein, schaut sich jede Anfrage an und schickt sie an das passendste Modell: ein Small Language Model fürs Klassifizieren oder kurze Umformulierungen, ein Frontier-Modell für komplexes Schlussfolgern, ein lokales Modell für sensible Daten.
Gut gemacht senkt Routing Kosten und Wartezeit, ohne an Qualität zu verlieren. Schlecht gemacht landen schwierige Anfragen bei schwachen Modellen, und die Qualität sinkt unbemerkt. Deshalb braucht Routing Evals.
Warum es für dich wichtig ist
Die meisten KI-Workloads sind eine Mischung aus leichten und schweren Aufgaben. Für jede Anfrage den Preis des Top-Modells zu zahlen, ist oft der größte vermeidbare Posten im KI-Budget.
Own it
Routing schützt auch vor Lock-in: Ein System, das bereits mit mehreren Modellen spricht, kann eines weglassen oder austauschen, ohne neu gebaut zu werden. Fang einfach an, mit zwei Modellen und klaren Regeln, und miss die Kosten pro Aufgabe vorher und nachher.
Woher es kommt
Routing zwischen Modellen unterschiedlicher Größe und Preise ist ein junges Forschungsfeld. Stanfords FrugalGPT (2023) zeigte, dass sich die Kosten stark senken lassen, wenn Anfragen durch eine Kaskade aus günstigeren und stärkeren Modellen laufen, ohne an Qualität zu verlieren. Im Juli 2024 veröffentlichte das Team hinter Chatbot Arena RouteLLM, ein Open-Source-Framework, das Router mit Daten zu menschlichen Präferenzen trainiert.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.