L’intelligence artificielle (IA) est devenue un élément clé dans les stratégies d’entreprise, avec des dépenses en infrastructures qui augmentent rapidement. Cependant, les entreprises achètent ces infrastructures plus vite qu’elles ne peuvent mesurer leur coût, créant un écart de calcul qui pourrait avoir des conséquences importantes sur leur rentabilité et leur efficacité. Selon une étude récente, 107 entreprises ont révélé que leurs dépenses en infrastructures IA augmentaient bien plus vite que leur capacité à mesurer les coûts associés. La plupart de ces entreprises utilisent des hyperscalers et des API de fournisseurs de modèles pour exécuter leurs applications IA, mais la prochaine étape consiste à investir dans des calculateurs spécialisés que peu d’entre elles utilisent actuellement.
Les entreprises face à l’écart de calcul IA
Les décisions d’achat sont principalement guidées par l’intégration et le coût total de possession, plutôt que par le prix auquel est facturé le jeton. C’est une bonne chose, car la plupart des entreprises ne peuvent pas encore voir clairement leurs coûts unitaires. Les GPU sont sous-utilisés, avec une utilisation inférieure à 50 %, et moins de la moitié des entreprises suivent rigoureusement les coûts de leur calcul. Le résultat est un écart de calcul important, avec des investissements lourds et rapides qui précèdent la visibilité nécessaire pour les contrôler. Cette étude examine l’infrastructure et le calcul IA dans les entreprises, en analysant leur parcours de déploiement, les fournisseurs qu’elles utilisent, leur satisfaction et leurs intentions de dépenses.
Les résultats sont éclairants, avec une majorité d’entreprises planifiant de passer à des nuages spécialisés dans l’IA, un domaine dans lequel peu d’entre elles sont présentes actuellement. Les entreprises ne sont pas non plus satisfaites de leurs fournisseurs d’infrastructure, avec plus de la moitié prévoyant de changer ou d’ajouter un fournisseur dans les douze prochains mois. Lorsqu’elles choisissent, elles se basent principalement sur l’intégration avec leur pile existante et le coût total de possession, plutôt que sur le prix auquel est facturé le jeton. Cependant, la contrainte frontalière qui va façonner les prochaines décisions, à savoir le passage du calcul GPU à la bande passante mémoire à mesure que l’inférence s’étend, est à peine sur le radar, avec environ un tiers des entreprises soit inconscientes, soit n’ayant pas encore abordé ce sujet.
Les défis de la mesure et du contrôle des coûts
Les entreprises ont du mal à mesurer et à contrôler les coûts de leur calcul IA, ce qui les empêche de prendre des décisions éclairées concernant leurs investissements. Selon l’étude, seules 21 % des entreprises exécutent des applications IA à grande échelle en production, mais les intentions de dépenses sont en avance sur cette maturité. Les entreprises prévoient d’évaluer leurs investissements dans les nuages spécialisés dans l’IA, un domaine dans lequel peu d’entre elles sont présentes actuellement. Cependant, les calculateurs déjà en place sont sous-utilisés, avec 83 % des entreprises signalant une utilisation des GPU inférieure à 50 %, et moins de la moitié des entreprises suivent rigoureusement les coûts de leur calcul IA.
Les implications pour les entreprises
Les résultats de cette étude ont des implications importantes pour les entreprises qui investissent dans les infrastructures IA. Tout d’abord, les entreprises doivent donner la priorité à la visibilité et au contrôle des coûts de leur calcul IA. Cela nécessite d’investir dans des outils et des technologies qui peuvent les aider à mesurer et à analyser leurs coûts de calcul. Deuxièmement, les entreprises doivent évaluer soigneusement leurs options en matière de fournisseurs d’infrastructure et choisir ceux qui offrent la meilleure intégration et le meilleur coût total de possession. Enfin, les entreprises doivent être prêtes à adapter leurs stratégies en fonction de l’évolution du paysage IA et des besoins changeants de leur organisation.
Conclusion et recommandations
En conclusion, l’écart de calcul IA est un défi important pour les entreprises qui investissent dans les infrastructures IA. Les entreprises doivent donner la priorité à la visibilité et au contrôle des coûts de leur calcul IA, évaluer soigneusement leurs options en matière de fournisseurs d’infrastructure et être prêtes à adapter leurs stratégies en fonction de l’évolution du paysage IA. Nous recommandons aux entreprises d’investir dans des outils et des technologies qui peuvent les aider à mesurer et à analyser leurs coûts de calcul, de choisir des fournisseurs d’infrastructure qui offrent la meilleure intégration et le meilleur coût total de possession, et de rester flexibles et adaptables face à l’évolution du paysage IA.
