Das KI-Vokabular · 01 Das Modell
Was ist Kleines Sprachmodell (SLM)?
Ein kompaktes Sprachmodell, das schnell und günstig läuft, oft auf Laptop oder Smartphone, auf Kosten mancher Fähigkeiten.
Ein kleines Sprachmodell hat deutlich weniger Parameter als die größten Modelle. Eine exakte Größengrenze gibt es nicht, aber kleine Modelle sind meist klein genug für einen einzelnen Rechner, einen Laptop oder sogar ein Smartphone. Damit passen sie perfekt zu lokaler KI.
Kleine Modelle entstehen oder werden oft verbessert mit Techniken wie Distillation, bei der ein großes Modell ein kleines anlernt, und Quantisierung, die ein Modell schrumpft, damit es weniger Speicher braucht.
Warum es für dich wichtig ist
Viele Alltagsaufgaben, etwa Klassifizieren, Felder auslesen, kurze Zusammenfassungen und einfache Umformulierungen, brauchen kein Frontier Model. Ein kleines Modell erledigt sie schneller, günstiger und manchmal komplett offline.
Own it
Mit kleinen Modellen wird Unabhängigkeit bezahlbar. Sie lassen dich sensible Daten auf deiner eigenen Hardware behalten und senken deine Kosten pro Aufgabe.
Woher es kommt
Kleine Modelle sind so alt wie Sprachmodelle selbst, doch die Bezeichnung „Small Language Model“ machte vor allem Microsofts Phi-Reihe bekannt. Deren Paper „Textbooks Are All You Need“ von 2023 argumentierte, dass sorgfältig ausgewählte, hochwertige Trainingsdaten fehlende Größe ausgleichen können, und der Beitrag Phi-2: The surprising power of small language models vom Dezember 2023 zeigte ein Modell mit 2,7 Milliarden Parametern, das mit viel größeren mithalten konnte.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.