Wenn verteilte KI-Workloads oder HPC-Simulationen ins Stocken geraten, liegt das selten an mangelnder Rechenleistung, sondern am Netzwerk. Herkömmliche TCP/IP-Netzwerke kommen an ihre Grenzen, wenn Tausende von Knoten winzige Nachrichten extrem schnell und synchron austauschen müssen. Genau hier setzt InfiniBand an – ein Interconnect, das weniger wie ein klassisches Netzwerk und mehr wie ein direktes Verlängerungskabel für den Arbeitsspeicher funktioniert.
Der fundamentale Architektur-Bruch
Der entscheidende Unterschied zwischen InfiniBand und herkömmlichen Ethernet-Netzwerken liegt in der Architektur. Bei TCP/IP fungiert das Betriebssystem als Vermittler: Daten werden durch Sockets und Puffer geschoben, das Kernel kümmert sich um Protokollschichten und Paketzusammensetzung. Das kostet Zeit und CPU-Ressourcen.
InfiniBand schneidet diesen Weg ab. Die Technologie integriert Remote Direct Memory Access (RDMA) direkt in ihr Transportmodell. Anwendungen kommunizieren nicht mehr über das Kernel mit dem Netzwerk, sondern stellen direkte Kommunikationskanäle – sogenannte Queue Pairs – zwischen den Endpunkten her. Daten werden als vollständige Nachrichten direkt in den Arbeitsspeicher der Gegenstelle geschrieben, ohne dass die CPU oder das Betriebssystem auf dem Pfad involviert sind. Die Programmierung erfolgt über eine Menge definierter Aktionen, die als Verbs bezeichnet werden. Die Hardware übernimmt Segmentierung, Transport und Reassemblierung komplett.
Warum KI und HPC ohne InfiniBand ersticken
Moderne verteilte Workloads wie das Training von Large Language Models verlangen nach extrem hoher Bandbreite, aber vor allem nach vorhersehbarer Latenz. InfiniBand liefert beides durch ein sogenanntes Lossless Fabric.
Während Ethernet-Pakete bei Überlast verworfen und neu gesendet werden (was zu unberechenbaren Tail Latency-Spitzen führt), nutzt InfiniBand ein kreditbasiertes Flusskontrollsystem. Sender dürfen nur dann Daten senden, wenn der Empfänger Pufferplatz bestätigt hat. Paketverluste und teure Neuübertragungen werden so verhindert. Für kollektive Operationen in HPC-Clustern, bei denen alle Knoten aufeinander warten müssen, ist diese Vorhersehbarkeit überlebenswichtig.
Erweiterte Anwendungsfälle wie NVMe over Fabrics für disaggregierten Speicher oder GPU Direct RDMA profitieren massiv von dieser Effizienz. Hier wandern Daten direkt von der GPU über den InfiniBand-Switch in den Speicher einer anderen GPU, ohne den Umweg über den Host-Arbeitsspeicher zu nehmen.
Die Kehrseite: Präzision statt Nachsicht
InfiniBand ist keine Plug-and-Play-Lösung. Der Architektur-Vorteil – die extreme Effizienz – erkauft man sich mit einer hohen Empfindlichkeit gegenüber Konfigurationsfehlern. Ein InfiniBand-Netzwerk verzeiht kaum Fehler, es degradiert stattdessen lautlos.
Die häufigsten Stolpersteine im Betrieb:
- Topologie-Fallen: Meistens werden Fat-Tree-Topologien eingesetzt, bei denen die Bandbreite zu den Spine-Switches hin zunimmt. Ist das Kabelmanagement hier unausgewogen oder sind Ports falsch belegt, wird das eigentlich nicht-blockierende Netzwerk zu einem blockierenden. Das System stürzt nicht ab, aber die Leistung bricht ein.
- Der Subnet Manager (SM): Der SM ist das Gehirn des Fabrics. Er entdeckt die Topologie und programmiert die Switches. Ist der SM schlecht platziert oder falsch konfiguriert, kommt es zu schwer diagnostizierbaren, intermittierenden Rucklern im Netzwerk.
- Software-Stack-Mismatch: Die Kompatibilität von Kernel-Treibern (wie OFED), User-Space-RDMA-Bibliotheken und HCA-Firmware muss exakt stimmen. Mismatched Stacks führen selten zu harten Abstürzen, sondern zu ungewollten Latenz-Spitzen.
- Die IPoIB-Falle: InfiniBand unterstützt IP over InfiniBand (IPoIB), um IP-basierte Tools kompatibel zu halten. Verkehrt nun ungewollt Traffic über IPoIB statt über natives RDMA, geht der eigentliche Performance-Vorteil komplett verloren.
Journalistische Einordnung: Der Preis der absoluten Leistung
InfiniBand ist aktuell das Rückgrat der größten KI-Fabriken der Welt – oft dominiert von der Hardware von Nvidia (durch die Mellanox-Übernahme). Wer maximale Skalierung für verteiltes GPU-Training sucht, kommt an InfiniBand kaum vorbei. Die Alternativen aus der Ethernet-Welt, wie RoCE (RDMA over Converged Ethernet), holen zwar auf, kämpfen aber weiterhin mit der inhärenten Unberechenbarkeit des Ethernet-Protokoll-Stacks, was bei extremen Skalierungen zum Flaschenhals werden kann.
Dennoch bleibt die Hausaufgabe für Infrastruktur-Teams gewaltig. Der Wechsel von Ethernet zu InfiniBand ist kein bloßes Hardware-Upgrade, sondern ein Paradigmenwechsel im Netzwerkdesign. Wo Ethernet durch Fehlertoleranz und Routing-Algorithmen glänzt, verlangt InfiniBand nach handwerklicher Perfektion bei Verkabelung, Validierung und Monitoring. Wer diese operative Komplexität nicht mit der gleichen Sorgfalt behandelt wie die Anschaffung der teuren GPUs, riskiert, dass die teuersten Rechencluster der Welt an einem simplen, aber falsch gesteckten Kabel ersticken.
Quelle: Ubuntu Blog