L'expansion de l'IA freinée par des limites opérationnelles pour 7 entreprises sur 10

La complexité opérationnelle devient rapidement le principal obstacle au déploiement de l'intelligence artificielle à grande échelle, près de sept entreprises sur dix utilisant désormais trois modèles ou plus, selon un nouveau rapport de Datadog Inc.

« Les entreprises qui gagneront ne se contenteront pas de construire de meilleurs modèles : elles construiront un contrôle opérationnel autour d'eux », a déclaré Yanbing Li, directrice des produits chez Datadog. « Dans cette nouvelle ère, l'observabilité de l'IA devient aussi essentielle que l'observabilité du cloud l'était il y a dix ans. »

Le rapport « State of AI Engineering 2026 » révèle qu'environ 5 % de toutes les requêtes de modèles d'IA en production échouent, près de 60 % de ces échecs étant causés par des limites de capacité du système. Cela met en évidence un défi croissant où l'infrastructure, et non le modèle d'IA lui-même, est le point de défaillance, entraînant des ralentissements et des expériences interrompues dans les applications basées sur l'IA.

Ces conclusions suggèrent un virage critique dans l'industrie de l'IA, où l'investissement et la stratégie pourraient délaisser le développement pur de modèles au profit des plates-formes de MLOps et d'observabilité. Pour les entreprises engagées dans une course au déploiement de l'IA, la fiabilité de leur infrastructure sous-jacente pourrait devenir un différenciateur concurrentiel plus important que la sophistication de leurs algorithmes.

Le fossé de l'observabilité

Ce défi rappelle les débuts du cloud computing, où l'accent est passé de la simple possession de serveurs à la gestion de leur complexité et de leur fiabilité à grande échelle. La pression concurrentielle pousse les startups comme les grandes entreprises à déployer l'IA plus rapidement, mais cette rapidité crée des risques lorsqu'elle n'est pas assortie d'un contrôle opérationnel.

« La prochaine vague d'échecs des agents ne portera pas sur ce qu'ils ne peuvent pas faire, mais sur ce que les équipes ne peuvent pas observer », a déclaré Guillermo Rauch, PDG de Vercel. « Contrairement aux logiciels traditionnels, les agents ont un flux de contrôle dirigé par le LLM lui-même, ce qui rend l'observabilité non seulement utile, mais essentielle. »

Ce sentiment est partagé dans toute l'industrie. Une étude distincte de Riverbed a révélé que si 91 % des dirigeants du secteur de la santé affirment que le ROI de l'AIOps a atteint ou dépassé les attentes, seulement 31 % de leurs organisations sont pleinement préparées à opérationnaliser leur stratégie d'IA, la qualité des données étant une préoccupation majeure.

De l'intelligence des modèles à l'excellence opérationnelle

L'accent mis sur la préparation opérationnelle marque une maturation du marché de l'IA. Alors que des rapports d'institutions comme Stanford HAI pointent une « grande divergence » dans les opinions et les performances de l'IA, la réalité sur le terrain pour les ingénieurs est celle de la gestion de systèmes de plus en plus fragmentés et complexes. Le rapport de Datadog, qui a analysé les données anonymisées de milliers de clients, montre que le chemin vers l'IA en production est pavé d'obstacles opérationnels.

« Pour faire évoluer l'IA en toute confiance, les organisations ont besoin d'une visibilité en temps réel sur l'ensemble de la pile — de l'utilisation des GPU au comportement des modèles en passant par les flux de travail des agents », a ajouté Li de Datadog. « À grande échelle, la façon dont vous gérez l'IA peut importer plus que les modèles que vous choisissez. »

Cet état d'esprit axé sur l'opérationnel devient un thème récurrent. Le « défi du million d'heures » de la General Services Administration (GSA) vise à automatiser les flux de travail répétitifs, et de nouvelles plates-formes d'entreprises comme SymphonyAI et Catapult sont construites avec une IA intégrée et des tableaux de bord opérationnels pour gérer la complexité dès la base. Le consensus est clair : à mesure que l'IA devient plus puissante, les systèmes qui la gèrent doivent devenir plus intelligents.

Cet article est uniquement à titre informatif et ne constitue pas un conseil en investissement.