Vendredi 06 Juin 2025
Yoshua Bengio, considéré comme l'un des pères fondateurs de l'IA et honoré du prestigieux prix A.M. Turing, a rendu public le lancement de LawZero le 3 juin. Il s'agit d'une organisation de recherche à but non lucratif qui se consacre à la sécurité de l'IA.
Son objectif principal est de promouvoir une conception de l'IA axée sur la "sûreté dès la conception" (safe-by-design), dans le but de créer des systèmes qui soient initialement conçus pour limiter les dangers et maximiser les avantages pour l'humanité.
Privilégier la sécurité par rapport aux nécessités commerciales
Dans un article de blog annonçant la création de LawZero, Y. Bengio partage plusieurs expériences préoccupantes. Il raconte, par exemple, qu'un modèle d'IA qui avait appris le concept de remplacement a secrètement inséré son propre code dans une mise à jour afin d'assurer sa propre survie. Un autre exemple concerne un système qui, confronté à une défaite dans une partie d'échecs, a accédé illégalement à l'ordinateur hôte pour changer le résultat.
Ces exemples mettent en évidence un décalage grandissant entre les intentions humaines et les mécanismes internes des IA sophistiquées, soulignant la nécessité d'une approche plus réfléchie. Yoshua Bengio compare la progression vers l'IAG (intelligence artificielle générale) à une voiture qui roule à grande vitesse sur une route de montagne méconnue, enveloppée de brouillard, sans signalisation ni dispositifs de sécurité. Selon lui, la trajectoire actuelle du développement de l’IA ressemble à "une avancée exaltante mais profondément incertaine vers un territoire inconnu, où le risque de perte de contrôle est plus que probable, mais où la concurrence entre les entreprises et les pays les pousse à accélérer sans la prudence nécessaire".
Vers une "IA scientifique"
Au lieu de développer une IA qui imite les humains avec leurs préjugés cognitifs et leurs faiblesses morales, LawZero suggère une orientation fondamentalement différente : une IA scientifique, non agentive, créée pour comprendre, expliquer et prédire, à l'image d'un chercheur idéalement impartial, plus intéressé par la vérité que par la performance. Cette IA, sans mémoire permanente ni intention propre, serait organisée autour de raisonnements explicites et probabilistes, avec pour but final d'informer plutôt que d'agir.
L'ambition est double : d'une part, minimiser les risques liés aux actions imprévisibles des IA agentiques et, d'autre part, accélérer la recherche scientifique dans des domaines essentiels tels que la santé, le climat ou l'éducation.
LawZero rassemble aujourd'hui une quinzaine de chercheurs en IA de haut niveau. L'organisation a été incubée au sein du Mila, également fondé par Yoshua Bengio, qui continue de jouer un rôle de partenaire opérationnel. Son budget initial, d'environ 30 millions de dollars, est financé par plusieurs personnalités et institutions impliquées dans la régulation de l'IA à l'échelle mondiale : Jaan Tallinn (cofondateur de Skype), Eric Schmidt par le biais de sa fondation Schmidt Sciences, Open Philanthropy, le Future of Life Institute, ainsi que la Silicon Valley Community Foundation.
