PDG de SambaNova : L'inférence est le plus grand coût en IA d'entreprise

Le PDG de SambaNova, Rodrigo Liang, a déclaré que l'inférence est devenue le plus grand défi de coût en IA d'entreprise, alors que la société a annoncé un nouveau cloud IA de 3,5 milliards de dollars soutenu par Vista Equity Partners et Cambium Capital.

S'exprimant sur Bloomberg Open Interest, Liang a expliqué que l'inférence—le processus d'exécution de modèles d'IA entraînés pour générer des résultats—représente désormais la majorité des coûts de calcul de l'IA pour les entreprises. Il a noté qu'à mesure que les modèles d'IA deviennent plus grands et sont déployés plus largement, les coûts d'inférence peuvent rapidement dépasser les coûts d'entraînement. La nouvelle offre cloud de SambaNova utilise une architecture désagrégée qui combine GPU, CPU et processeurs d'IA spécialisés, ce qui, selon Liang, peut réduire considérablement les coûts et accélérer l'adoption des agents d'IA. L'architecture permet de faire évoluer chaque composant indépendamment, optimisant pour les demandes spécifiques des charges de travail d'inférence plutôt que de forcer une approche unique. Pour les investisseurs en bourse, ce développement met en évidence la dynamique changeante des coûts dans la chaîne de valeur de l'IA. Les entreprises qui peuvent réduire les coûts d'inférence pourraient capturer une part de marché significative alors que les entreprises cherchent à déployer l'IA à grande échelle. Les cours des actions en direct et les graphiques sur NowPrice montrent comment le marché réagit à ces tendances, les actions liées à l'IA connaissant une volatilité accrue.

À l'avenir, les investisseurs surveilleront les taux d'adoption de la plateforme cloud de SambaNova et des offres similaires des concurrents. Le succès des architectures désagrégées pourrait remodeler le paysage concurrentiel du matériel et des services cloud d'IA, bénéficiant potentiellement aux entreprises spécialisées dans les solutions d'inférence efficaces. Les indicateurs clés à suivre comprennent la croissance des clients entreprises, les références de coût par inférence et le rythme de déploiement des agents d'IA dans tous les secteurs.