Mardi 13 Mai 2025
Les applications d'intelligence artificielle suscitent un intérêt grandissant au sein des entreprises. Néanmoins, leur développement met en évidence leurs points faibles. Des réponses incomplètes, choquantes ou complètement fausses (souvent appelées "hallucinations"), des faiblesses en matière de protection et des réponses trop générales entravent leur adoption massive.
Hallucinations, lacunes de sécurité et inexactitudes ébranlent la confiance des entreprises dans leurs applications d'IA et freinent leur déploiement. Comme l'illustre l'exemple de deux avocats sanctionnés pour avoir présenté un dossier juridique contenant des affaires inventées générées par l'IA, des réponses inadéquates d'un LLM peuvent nuire à une image et à une réputation en sapant la crédibilité. {{HREF|IMG|FRAME*}}
L'observabilité rassemble les technologies et les pratiques qui permettent de comprendre l'état d'un système technique. Pour les applications d'IA, cela implique une vue d'ensemble complète, de bout en bout. Elle aide les entreprises à évaluer la qualité des résultats des modèles de langage (LLM), tout en détectant les hallucinations, les biais, la toxicité, les problèmes de performance et les coûts. L'observabilité est nécessaire dans l'IA, car cette technologie commence à révéler ses limites au moment précis où elle devient indispensable. Lorsque les utilisateurs des LLM les utilisent à la place des moteurs de recherche, ils s'attendent à ce qu'ils fournissent des informations exactes. Si l'IA ne parvient pas à cette tâche, elle mine la confiance.
De la même manière que le cloud a donné naissance à des outils pour évaluer et surveiller ses services, l'essor de l'intelligence artificielle impose ses propres solutions d'observabilité. Les applications d'IA ne peuvent plus être considérées comme de simples expérimentations. Elles doivent être gérées avec la même rigueur que toute application critique.
Dépasser le simple "cela me semble correct"
L'un des principaux défis pour les organisations qui utilisent l'IA est de disposer d'un moyen fiable d'évaluer la précision des modèles. De l'évaluation à la surveillance, l'observabilité joue un rôle essentiel dans la gestion des performances des applications d'IA. Elle permet d'identifier les solutions les plus adaptées parmi la diversité des modèles et outils disponibles, d'assurer un suivi continu après leur déploiement afin de détecter et de corriger d'éventuelles anomalies, et d'optimiser l'équilibre entre performance, latence et coûts. En intégrant ces mécanismes, les organisations peuvent exploiter l'IA de manière plus efficace et maîtrisée.
Ce que les entreprises doivent attendre de l'IA
Pour déployer l'IA en toute confiance, les entreprises doivent viser un niveau d'exigence élevé, bien au-delà du simple "suffisamment bon". Les réponses des LLM doivent être fiables, inoffensives et utiles.
Elles doivent s'appuyer sur des faits vérifiables, sans erreurs ni inventions, et exceller dans des tâches complexes comme le résumé, l'inférence ou la planification. Une IA responsable sait aussi reconnaître ses limites et s'abstenir de répondre en l'absence d'information. La sécurité est primordiale, l'IA ne doit ni exposer de données personnelles ni céder aux manipulations. Des mécanismes robustes doivent prévenir les biais, les stéréotypes et les dérives toxiques. Enfin, l'intelligence artificielle doit produire des réponses claires, utiles et directement exploitables, au service des objectifs des utilisateurs, pour améliorer leur efficacité et la qualité de leurs décisions.
Pour les tâches nécessitant une mémorisation fiable, il est nécessaire d'enrichir les LLM avec des sources de données externes pour assurer la précision. C'est le principe de la génération augmentée par la recherche (RAG), qui combine LLM et bases de données factuelles pour des réponses plus précises.
Le RAG Triad est un ensemble de mesures permettant d'évaluer les applications RAG afin de garantir qu'elles sont honnêtes et utiles. Il repose sur trois critères : Pertinence du contexte, Ancrage et Pertinence de la réponse. En décomposant un système RAG en ses éléments (requête, contexte, réponse), ce cadre d'évaluation permet d'identifier les points de défaillance et d'optimiser le système de manière ciblée.{{HREF|IMG|FRAME*}}
Se prémunir contre les risques
L'observabilité aide à limiter les hallucinations, à détecter les réponses erronées et à repérer les failles de sécurité. Avec l'émergence des flux de travail multi-agents, il devient essentiel de surveiller les appels d'outils, les traces d'exécution et le bon fonctionnement des systèmes distribués. Se prémunir contre les risques implique d'aligner les modèles et d'ajouter des garde-fous aux applications pour évaluer la toxicité, les stéréotypes et les attaques adverses. C'est une technologie clé pour exploiter pleinement le potentiel de l'IA, transformer les entreprises, optimiser les processus, réduire les coûts et débloquer de nouvelles sources de revenus.
