SK hynix et SanDisk ont dévoilé un nouveau standard, High Bandwidth Flash (HBF), conçu pour réduire l’écart de performances entre la mémoire HBM et les SSD et pour atténuer les goulets d’étranglement lors de l’inférence en IA.
High Bandwidth Flash (HBF) : spécifications et rôle
HBF se positionne entre la High Bandwidth Memory (HBM) et les SSD d’entreprise. Comme la HBM, HBF repose sur l’empilement de plusieurs dies mémoire, mais utilise de la NAND flash plutôt que de la DRAM pour augmenter la capacité de stockage. Son rôle principal est de compléter les limites de capacité de la HBM plutôt que de la remplacer.
Les spécifications présentées par SK hynix et SanDisk permettent des configurations allant jusqu’à 512GB, via l’empilement de dies NAND sur huit ou 16 couches, avec des débits annoncés allant de 0.4TB/s à 3TB/s.
Applications pour l’inférence et compatibilité
Pour illustrer l’intérêt d’HBF pour l’inférence, la source donne l’exemple d’un modèle IA de 500 billion parameters : en supposant qu’un gigabyte stocke un billion de paramètres, un tel modèle représenterait 500GB. Comme il n’est pas rentable de stocker l’intégralité d’un modèle de cette taille en HBM, HBF peut servir à héberger ces modèles en plus grande capacité.
HBF prend en charge la spécification UCIe (Universal Chiplet Interconnect Express), ce qui permet de connecter HBF à divers CPU et GPU et d’introduire une couche de flexibilité dans les architectures systèmes.
Kim Chun-sung, head of solution development at SK hynix, a déclaré : “will expand the boundaries between memory and storage and contribute to building new architectures that enhance overall system efficiency.”
Réactions de la concurrence
Pendant que SK hynix et SanDisk poussent à populariser le standard HBF, Samsung développe et produit déjà en masse des solutions CMX en collaboration avec des acteurs comme NVIDIA. Par la fabrication de ses NAND V10 et V11, capables d’atteindre jusqu’à 500 stacked layers, le groupe coréen vise des besoins de stockage ultra-rapides pour les serveurs IA souhaitant un accès rapide aux données afin d’accroître le offloading vers les GPU et améliorer l’inférence.
Quel standard prendra le pas ? On le saura dans les prochains mois.
