Das KI-Vokabular · 02 KI-Infrastruktur

Was ist NPU?

Die KI-Einheit in Smartphones und Laptops: ein kleiner Chipbereich, der KI-Modelle direkt auf deinem Gerät ausführt.

Einstieg

Eine NPU, Neural Processing Unit, ist ein Teil des Chips in Smartphone oder Laptop, der für KI-Rechnungen gebaut ist. Sie führt kleine Modelle mit wenig Strom aus, sodass Live-Übersetzung, Bildbearbeitung oder ein lokaler Assistent funktionieren, ohne Daten in eine Cloud zu schicken.

NPUs sind viel kleiner als die Chips in Rechenzentren, die große Modelle trainieren. Sie sind für Inferenz gemacht, also den Moment, in dem ein Modell antwortet, und spielen ihre Stärke bei kleinen Sprachmodellen aus, die durch Quantisierung verkleinert wurden. Die Arbeit des MIT-Forschers Song Han zeigt, wie 4-Bit-Modelle auf Laptops und Smartphones genau laufen.

Warum es für dich wichtig ist

KI auf dem Gerät hält Daten auf dem Gerät und funktioniert offline. Für sensible Informationen wie Gesundheitsdaten oder vertrauliche Dokumente ist das oft die sicherste Lösung.

Own it

Wenn du Laptops oder Smartphones für dein Team auswählst, prüf, ob die NPU die Modelle ausführen kann, die du brauchst. Für vertrauliche Aufgaben kann lokale KI auf einer NPU einen Cloud-Dienst ersetzen.

Verwandt