Das KI-Vokabular · 02 KI-Infrastruktur

Was ist HBM (High-Bandwidth Memory)?

Sehr schneller Speicher, direkt neben einem KI-Chip gestapelt, damit seine Rechenkerne nie auf Daten warten. 2025 war er ein zentraler Engpass.

Profi

Ein KI-Chip rechnet nur so schnell, wie Daten bei ihm ankommen. High-Bandwidth Memory, HBM, löst das: Speicherchips werden übereinandergestapelt und ins selbe Gehäuse wie der Prozessor gesetzt. Ein besonderer Verpackungsschritt verbindet beides, bei TSMC heißt er CoWoS.

HBM stellen nur wenige Speicherhersteller her, etwa SK hynix, Samsung und Micron, und es ist knapp. Epoch AI schätzte: 2025 verbrauchten die vier größten KI-Chip-Entwickler rund 90 Prozent des weltweiten HBM und der fortgeschrittenen Packaging-Kapazität, aber nur etwa 12 Prozent der fortgeschrittenen Logikchips. Der Schluss: 2025 bremsten Speicher und Packaging die KI-Chip-Produktion, nicht die Chipfertigung selbst.

Warum es für dich wichtig ist

Engpässe wie HBM entscheiden, wie viele KI-Chips es gibt und damit, wie viel KI-Kapazität die Welt hat. Sie sind ein Grund, warum Preise und Verfügbarkeit von KI-Diensten sich schnell ändern können.

Own it

Auch wenn du Modelle selbst betreibst, ist Speicher oft die eigentliche Grenze: Die Parameter eines Modells müssen in den Speicher deines Chips passen. Prüf zuerst den Speicher, wenn du Hardware fürs Self-Hosting planst.

Verwandt