Thunderbolt 5 und ConnectX-5 Ex erreichen etwa 7 µs

Was über Thunderbolt 5 tatsächlich funktionierte

Das zentrale Ergebnis ist bemerkenswert: Eine ConnectX-5 Ex ließ sich in einem externen OWC Mercury Helios 5S betreiben, bei einer gemeldeten Latenz von etwa 7 Mikrosekunden. Diese Zahl nennt Autor ashxhart in einem X-Beitrag über den veröffentlichten Treiber.

Die Kombination ist ungewöhnlich, technisch aber schlüssig. Der Mercury Helios 5S transportiert PCIe-Datenverkehr über Thunderbolt 5 und stellt für die installierte Karte einen PCIe-4.0-x4-Steckplatz bereit. OWC gibt für den Pfad der angeschlossenen Karte bis zu 6000 MB/s Bandbreite an.

Laut NVIDIAs ConnectX-5-Dokumentation unterstützt der Adapter RDMA und RoCE. Diese Mechanismen können einen großen Teil des herkömmlichen Netzwerkstacks des Betriebssystems umgehen, Datenkopien reduzieren und Daten per DMA übertragen. Eine Latenz im Mikrosekundenbereich ist deshalb keine Magie, auch wenn die zusätzliche PCIe-Tunneling-Schicht über Thunderbolt das Ergebnis besonders interessant macht.

Die 7 Mikrosekunden sollten jedoch nicht als Spezifikation des Gehäuses oder der Karte verstanden werden. Der ursprüngliche Beitrag verrät nicht, ob die Latenz in eine Richtung oder als Round Trip gemessen wurde, welche Nachrichtengröße verwendet wurde und wie die Knoten konfiguriert waren. Treiber, CPU, Interrupt-Affinität, Kabel, MTU, Netzwerkgegenstelle und RDMA-Konfiguration beeinflussen das Ergebnis.

Als Erstes würde ich eine Latenzverteilung statt einer einzelnen attraktiven Zahl sehen wollen. Für empfindliche Systeme sind Median, Tail-Werte und Jitter unter Last entscheidend. Ohne Messmethodik ist das ein starkes technisches Signal, aber noch kein reproduzierbarer Referenzwert.

Wo diese Kombination die Lage wirklich verändern kann

Die wesentliche Veränderung ist einfach: RDMA-Netzwerke mit Latenzen im Mikrosekundenbereich könnten über ein externes Thunderbolt-5-Gehäuse verfügbar werden, ohne einen integrierten Server-PCIe-Steckplatz. Das erweitert die Optionen für kompakte Workstations und Systeme, in denen sich eine Netzwerkkarte nicht direkt einbauen lässt.

Bei KI-Inferenz liegt der Vorteil möglicherweise nicht in der Modellberechnung, sondern an den Grenzen der Pipeline: bei der Bereitstellung von Features, dem Austausch zwischen Knoten und der Ergebnisübertragung. Dauert die Berechnung deutlich länger als die Netzwerklatenz, verpufft der Effekt. Bei kurzen, verteilten und jitterempfindlichen Anfragen können einige zusätzliche Mikrosekunden jedoch relevant sein.

Der Engpass bleibt der gesamte Pfad, nicht Thunderbolt 5 allein. Der eigentliche Test beginnt mit einer wiederholbaren Methode, Last und Daten zu den Tail-Latenzen. Eine Zahl beeindruckt; ihre Stabilität entscheidet alles.

Wir haben zuvor erläutert, wie compilergetriebene Systemsoftware die Lücke zwischen beeindruckenden technischen Demos und produktionsreifer Entwicklung sichtbar machen kann. Dieselbe kritische Prüfung gilt für einen Treiber, der auf Thunderbolt-5-Latenzen im Mikrosekundenbereich aufbaut.