Clarifai et Vultr ont annoncé de nouveaux résultats de référence impressionnants, mettant en avant une vitesse, une efficacité et une évolutivité exceptionnelles dans l’inférence de l’IA sur les GPU. Lors de la conférence NVIDIA GTC à Washington, D.C., les deux entreprises ont souligné leur collaboration, démontrant les capacités du Clarifai Reasoning Engine sur les vastes clusters GPU de Vultr. Des tests indépendants ont révélé que le moteur traite 544 tokens par seconde et atteint un temps de premier token de seulement 0,36 seconde, avec une efficacité coût de 0,16 dollar par million de tokens sur le modèle GPT-OSS-120B. Cette performance dépasse celle des autres plateformes basées sur GPU et s’approche de l’efficacité des accélérateurs ASIC spécialisés.
Kevin Cochrane, directeur marketing de Vultr, a souligné la synergie entre l’innovation logicielle et l’ingénierie cloud, qui permet le développement rapide de solutions d’IA hautes performances. Matthew Zeiler, PDG de Clarifai, a mis en avant l’infrastructure de Vultr comme étant cruciale pour maximiser le potentiel du Clarifai Reasoning Engine, garantissant performance et efficacité coût sans compromettre la qualité.
Ces récents benchmarks coïncident avec la sortie de Clarifai 11.9, qui inclut de nouvelles instances cloud sur le matériel avancé de NVIDIA et une compatibilité étendue des outils. L’optimisation continue de la plateforme pour des charges de travail à l’échelle de l’entreprise permet une amélioration des performances au fil du temps.
Clarifai et Vultr établissent de nouvelles normes dans l’inférence de l’IA, offrant aux développeurs et aux entreprises les outils pour stimuler l’innovation dans les systèmes de raisonnement, les systèmes agents et l’IA générative.
