L’équipe OpenAI chargée de sauvegarder l’humanité n’existe plus : un tournant inattendu
L'ancien directeur a démissionné, alléguant que les préoccupations de sécurité étaient reléguées au second plan au profit de produits attrayants. Quels problèmes de sécurité pensez-vous que cela pourrait causer à l'avenir?
- En 2023, OpenAI forme une équipe « Superalignment » pour contrôler les futurs systèmes d’IA.
- Moins d’un an après, l’équipe est dissoute.
- Jan Leike, l’un des leaders de l’équipe, dénonce un manque de ressources et de priorité donnée à la sécurité.
- Plusieurs départs marquent OpenAI, y compris celui de son chef scientifique et co-fondateur, Sutskevar.
La fin d’une équipe dédiée à la sécurité de l’IA chez OpenAI
En 2023, OpenAI a mis en place une équipe intitulée « Superalignment », dans l’idée de contrôler les futurs systèmes d’intelligence artificielle (IA) si puissants qu’ils pourraient mener à l’extinction humaine. Moins d’un an plus tard, cette équipe n’existe plus.
Des tensions internes à l’origine de la dissolution ?
Selon Bloomberg, OpenAI aurait déclaré intégrer ce groupe plus profondément à travers ses efforts de recherche afin d’atteindre ses objectifs de sécurité. Cependant, une série de tweets de Jan Leike, l’un des leaders de l’équipe qui a récemment démissionné, révèle des tensions internes entre l’équipe de sécurité et l’entreprise dans son ensemble.
Un combat pour des ressources insuffisantes
Dans une déclaration, Leike affirme que l’équipe « Superalignment » a dû lutter pour obtenir les ressources nécessaires à ses recherches. « Construire des machines plus intelligentes que l’homme est une entreprise intrinsèquement dangereuse », écrit-il. Il déplore que la culture et les processus de sécurité aient été relégués au second plan au profit de produits plus attractifs.
Une vague de départs chez OpenAI
Le départ de Leike intervient après celui du chef scientifique d’OpenAI, Sutskevar, qui était non seulement l’un des leaders de l’équipe « Superalignment », mais aussi co-fondateur de l’entreprise. Ce départ fait suite à une décision prise six mois plus tôt de licencier le PDG Sam Altman, décision qui a été suivie d’un mouvement de révolte interne. Aujourd’hui, OpenAI annonce que ses futurs efforts de sécurité seront dirigés par John Schulman, un autre co-fondateur.
L’avis de la rédaction
Ces événements soulignent l’importance cruciale de la sécurité dans le développement de l’IA. Il est essentiel que les entreprises prennent conscience de l’enjeu majeur que représente la sécurité et qu’elles y consacrent suffisamment de ressources. La dissolution de l’équipe « Superalignment » pourrait bien être un signal d’alarme pour l’industrie de l’IA.