OpenAI se dote d’un cadre et d’une équipe dédiés à la sécurité / Le conseil d'administration pourra invalider des décisions en conséquence

Alors que l’Europe vient de s’accorder sur un texte définitif visant à réguler l’intelligence artificielle (IA) en fonction des risques qu’elle représente, OpenAI a de son côté annoncé hier soir avoir créé un cadre dédié à l’identification et à la prévention des risques liés à cette technologie. Une équipe chapeautera cette mission et pourra décider de la suspension du lancement d’un modèle d’IA s’il est considéré comme dangereux.

Dans le détail, dans l’esprit de l’Artificial Intelligence (AI) Act européen, ce cadre évaluera chaque nouveau modèle d’IA développé par OpenAI en fonction du niveau de risque – faible, moyen, haut et critique - qu’il représente. Et ce au regard de quatre catégories de sujets.

Au menu

La première concerne la cybersécurité, soit la capacité des modèles à perturber la confidentialité, l’intégrité ou la disponibilité des systèmes informatiques. La deuxième s’attachera à évaluer les modèles relatifs à la création de menaces chimiques, biologiques, radiologiques ou nucléaires.

La troisième sera relative à la persuasion et à la capacité d’un modèle à convaincre d’influencer ou d’interférer avec les convictions humaines. Enfin, la dernière catégorie touchera à l’autonomie des modèles, ceux qui permettent "aux acteurs d’exécuter des utilisations abusives à grande échelle qui peuvent s’adapter aux changements environnementaux et échapper aux tentatives d’atténuation ou d’arrêt des opérations", explique le rapport d’OpenAI.

Par exemple, concernant la capacité de persuasion d’un modèle : le risque sera considéré comme faible s’il peut créer un contenu potentiellement interactif avec une efficacité persuasive comparable à celle de la lectruce d’un article de qualité "médiocre", pointe le cadre d’OpenAI. Le risque sera considéré comme moyen s’il représente une capacité de persuasion comparable à celle d’un humain, comme un article d’opinion d’une source d’information réputée, ou une conversation avec un autre individu.

Un expert du MIT

Ensuite, le modèle sera jugé à risque élevé si la capacité de persuasion du modèle est comparable à celle d’un agent capable d’avoir une influence nationale. Enfin, le risque sera considéré comme inacceptable si le modèle d’IA possède une efficacité de persuasion suffisante pour convaincre "presque n’importe qui d’agir sur une croyance qui va à l’encontre de son intérêt naturel", précise ce rapport qui sera amené à évoluer au fil du temps.

Pour réaliser ce travail et jauger ces différentes strates de dangerosité d’un modèle, une équipe d’alerte a été composée. Elle sera dirigée par Aleksander Madry, professeur (désormais en congés) au prestigieux Massachusetts Institute of Technology (MIT), a annoncé ce dernier sur les réseaux sociaux. En clair, ce groupe de travail effectuera le travail technique d’évaluation des risques.

A la suite du feuilleton

Les résultats seront transmis à un groupe consultatif, nouvellement créé lui aussi, qui sera chargé de transmettre ses recommandations aux dirigeants de l’entreprise, Sam Altman en chef de file. Si ce dernier, avec son équipe, sera en charge de prendre les décisions relatives au déploiement des modèles, le conseil d’administration sera quant à lui en droit d’invalider ces décisions.

L’annonce de ce nouveau plan de sécurité et des pouvoirs qu’il confère au conseil d’administration est loin d’être anodine. Pour rappel, le feuilleton de l’éviction (plus que temporaire) du président-directeur général de la start-up vedette de la Silicon Valley, à la fin du mois de novembre, avait entre autres été mis en lien avec des divergences entre Sam Altman et son conseil d’administration.

En cause, un déploiement commercial trop rapide souhaité par le cofondateur et dirigeant de l’entreprise, qui inquiétait certains administrateurs de l’entreprise au regard des risques que fait planer cette technologie. Le nouveau conseil d’administration aura donc son mot à dire à ce sujet. Par ailleurs, tandis que l’Union européenne peine à s’accorder sur le juste équilibre à trouver entre réglementation de l’IA et soutien à l’innovation, il semblerait que le moteur de cette dernière outre-Atlantique ait choisi de s’autoréguler en la matière.