OpenAI dissout son équipe dédiée aux risques catastrophiques de l'IA
OpenAI a discrètement démantelé l'unité chargée de détecter les menaces existentielles posées par ses propres modèles d'IA. L'équipe de préparation, qui évaluait les risques catastrophiques liés aux systèmes d'IA avancés, n'existe plus : ses responsabilités ont été réparties entre d'autres groupes internes. Plusieurs chercheurs en sûreté ont déjà quitté l'organisation, selon des sources décrivant une inquiétude croissante au sein d'OpenAI quant à l'affaiblissement de la surveillance qu'elle assurait autrefois.
Missions de l'équipe de préparation
L'équipe de préparation se concentrait sur l'évaluation des dommages majeurs que les derniers modèles d'IA d'OpenAI pouvaient causer, allant des cyberattaques à grande échelle à l'usage malveillant d'armes biologiques. Ses travaux visaient à offrir un contrôle indépendant sur des systèmes susceptibles de échapper au contrôle ou à la supervision humaine. Désormais, ces missions sont intégrées à des unités plus larges de sûreté et de conformité, sans structure dédiée, ce qui interroge sur la continuité et la rigueur de l'examen.
Inquiétudes internes
Plusieurs initiés ont confié à The Decoder ressentir une « inquiétude sourde et une peur diffuse » parmi les membres restants. Certains craignent qu'en dissolvant l'équipe, OpenAI ne relègue au second plan les évaluations rigoureuses et spécialisées des risques, autrefois distinctives dans le secteur. Le départ de chercheurs en sûreté renforce l'idée que l'engagement institutionnel envers la prévention des risques catastrophiques s'affaiblit, alors même que l'entreprise accélère le déploiement de ses modèles.
Enjeux de cette décision
Cette initiative prive OpenAI d'une couche de protection dédiée à un moment où les systèmes d'IA gagnent en puissance et en imprévisibilité. Le transfert des missions de gestion des risques ne signifie pas nécessairement la disparition de toute surveillance, mais il supprime un processus expert et concentré, conçu spécifiquement pour les scénarios extrêmes. Dans un secteur déjà sous le feu des critiques pour ses lacunes en matière de sûreté, ce changement reflète une réorientation des priorités — et laisse les parties prenantes se demander qui veille désormais sur les gardiens.
Source : The Decoder. Synthèse éditoriale assistée par IA — TechnoExpress.