Cornelis Networks et Delos Data se présentent comme des alternatives ouvertes à NVLink en proposant des architectures, des composants et des logiciels destinés à la mise à l’échelle réseau pour l’IA, annonces faites lors de l’AI Infra Summit cette semaine. Les deux acteurs visent à étendre les interconnexions au-delà du rack pour permettre à des dizaines, voire des centaines, de GPU de fonctionner comme un seul accélérateur massif.
Mise à l’échelle réseau : l’Active Compute Fabric (ACF) de Cornelis
Cornelis, spin-off d’Intel créé en 2020 et originellement connu pour la technologie Omni-Path, a présenté l’Active Compute Fabric (ACF), une architecture ouverte visant à intégrer du calcul programmable directement dans le tissu réseau pour la mise à l’échelle scale-up et scale-out. La société prépare par ailleurs le lancement de commutateurs et NIC CN6000 capables de 800 Gbps.
ACF étend des protocoles émergents comme Ultra Accelerator Link (UALink) et l’Ethernet for Scale-Up Networking en définissant un socle d’aptitudes d’accélération en réseau applicables à divers matériels, et pas uniquement aux composants CN de Cornelis. Parmi les fonctions mises en avant figurent le déchargement de cache KV pour stocker et récupérer l’état de modèles, la gestion d’envoi d’experts pour réduire les transferts et la surcharge de communication des modèles mixture-of-experts, le déchargement des opérations MPI pour les usages HPC, et le checkpointing en tissu pour la reprise après incident pendant l’entraînement.
Cornelis rappelle que des accélérations collectives en réseau existent déjà chez des acteurs comme Broadcom ou Cisco, et présente ACF comme un standard ouvert permettant aux clients de savoir précisément les capacités attendues. Selon la société, leurs modélisations sur des données publiques indiquent que, dans un parc de 100 000 GPU, environ la moitié des heures GPU seraient passées à attendre des données, ce qui représenterait 1,68 milliard de dollars par an de capacité gaspillés et 500 GWh d’électricité. Ces chiffres sont présentés par la société et doivent toutefois être pris avec prudence.
Delos Data : interfaces physiques agnostiques et concept Nonstop AI
Delos Data, startup fondée par d’anciens cadres de Barefoot Networks et d’Intel, expose sous la marque Nonstop AI une série de designs de référence pour la couche physique. L’offre couvre des interconnexions co-packagées jusqu’à des NIC plus traditionnels et vise à fournir des plans systèmes permettant d’accélérer le déplacement de données entre endpoints et d’étendre le domaine de calcul au-delà d’un seul rack.
Delos propose un die d’E/S capable de plus de 30 Tbps d’agrégat, soit environ 8 TB/s dans chaque sens, ce qui dépasse de plus du double la bande passante d’interconnexion annoncée pour les derniers accélérateurs de Nvidia et AMD, plafonnant à 3,6 TB/s. Le déploiement de ces I/O die dépendra fortement de l’intégration, car ces chiplets doivent être intégrés directement au packaging des accélérateurs et nécessitent une co-conception poussée.
Contrairement à NVLink Fusion, qui exige encore l’achat de NVSwitches pour la mise à l’échelle, Delos affirme que ses chiplets sont agnostiques quant aux protocoles (ESUN, UALink ou autres) et peuvent être licenciés par des concepteurs de puces souhaitant se concentrer sur les cœurs IA. Sa technologie near-packaged optics (NPO) intègre une interface de données à plus de 10 Tbps — soit 2,5 TB/s bidirectionnels selon l’équivalence utilisée par Nvidia — associée à des moteurs optiques de fournisseurs établis.
Alors que les systèmes à l’échelle d’un rack, comme NVL72, ont majoritairement recours au cuivre pour des contraintes de puissance, la croissance vers des clusters de 576 ou 1 152 GPU rend l’optique inévitable. Delos propose d’utiliser le cuivre à l’intérieur du rack et des modules NPO facilement remplaçables par l’utilisateur entre racks, limitant ainsi la portée d’une défaillance optique. La société travaille également sur une NIC à plus de 400 Gbps, elle aussi agnostique aux protocoles.
Le portefeuille Nonstop AI inclut des références matérielles et une plateforme logicielle destinée à configurer et superviser ces tissus commutés ou maillés, permettant notamment le reroutage dynamique du trafic en cas de défaillance de lien. La télémétrie fournie par ces interfaces doit offrir une meilleure visibilité réseau pour accélérer le reroutage et la récupération.
Financements et concurrence
Les annonces produits s’accompagnent d’un soutien financier notable. Cornelis a annoncé environ 205 millions de dollars de financement pour commercialiser sa génération suivante de produits de mise à l’échelle et d’interconnexion. De son côté, Delos Data a déclaré avoir levé plus de 100 millions de dollars, avec le soutien de fonds tels que Matrix, Playground et Socratic Partners, entre autres.
Ces mouvements illustrent l’appétit des investisseurs pour plus de concurrence autour des interconnexions scale-up, un domaine jusqu’ici dominé par les approches de Nvidia.
