Das KI-Vokabular · 02 KI-Infrastruktur

Was ist Interconnect (NVLink, InfiniBand, Ethernet)?

Das schnelle Netz, das Tausende GPUs verbindet, damit sie gemeinsam an einer KI-Aufgabe arbeiten.

Profi

Große KI-Modelle werden auf Tausenden GPUs trainiert, die ständig Zwischenergebnisse austauschen. Innerhalb eines Servers oder Schranks sprechen sie über eine sehr schnelle eigene Verbindung wie NVIDIAs NVLink, genannt Scale-up. Zwischen den Schränken verbindet sie ein Rechenzentrumsnetz, genannt Scale-out. Es läuft meist über NVIDIAs InfiniBand oder über Ethernet mit RoCE, einer Technik, mit der Maschinen direkt in den Speicher der anderen schreiben.

Beides funktioniert im größten Maßstab. Meta baute 2024 zwei Cluster mit je 24.576 H100-GPUs, einen mit RoCE-Ethernet und einen mit InfiniBand, jeweils mit 400 Gbit/s pro GPU, und trainierte Llama 3 nach eigener Aussage ohne Netzwerk-Engpässe auf dem Ethernet-Cluster.

Warum es für dich wichtig ist

Der Interconnect entscheidet, wie viel der Rechenleistung eines Clusters tatsächlich genutzt wird. Meta berichtet, dass die Auslastung seiner großen Cluster vor der Optimierung zwischen etwa 10 % und 90 % schwankte und danach über 90 % lag.

Own it

Wenn du einen GPU-Cluster fürs Training mietest, frag nach Netzwerktyp, Bandbreite pro GPU und wie viele GPUs sich eine schnelle Domäne teilen. Bei Inferenz über eine API ist das Sache des Anbieters.

Verwandt