Newsletter du CeSIA #5
Préparation du Sommet de l’action sur l’IA à Paris, inauguration du réseau des instituts, élections américaines, nouvelles polémiques autour d’OpenAI.
Bienvenue sur la newsletter du Centre pour la Sécurité de l'IA ! Le CeSIA vise à promouvoir un développement sûr et bénéfique de l’intelligence artificielle pour tous. Retrouvez ici les dernières actualités et ressources sur l'intelligence artificielle, sa sécurité et sa gouvernance.
Certains des liens fournis renvoient vers des textes en anglais, pour lesquels nous avons inclus un lien vers une traduction française “(fr)” générée par Google, quand cela était possible.
Meilleurs vœux 2025 !
Quelle année pour le monde de l’IA ! Le CeSIA est heureux de vous avoir accompagné·es au cours des développements de 2024. Nous espérons que vous avez passé d’heureuses fêtes, et vous souhaitons une très bonne nouvelle année 2025, pour laquelle nous sommes ravi.e.s de vous retrouver.
Actualités
Préparation du Sommet pour l’action sur l’IA
L’un des premiers temps forts concernant l’IA en 2025 se tiendra les 10 et 11 février. La France accueillera au Grand Palais le Sommet pour l'action sur l'intelligence artificielle (IA) qui s'inscrit dans la continuité des rencontres de Bletchley Park en novembre 2023 et de Séoul en mai 2024.
Cet événement réunira des chefs d'État et d’entreprises, dont Donald Trump et Elon Musk, des dirigeants d'organisations internationales, des universitaires, des chercheurs, des ONG, des artistes et d'autres membres de la société civile. L'objectif est de rassembler une diversité de perspectives pour discuter de l'avenir de l'IA, dans une approche inclusive.
En amont et en aval de ces deux jours, plusieurs événements sont organisés, ainsi que des journées thématiques, motivant le lancement de plusieurs initiatives pour encourager la participation. Ainsi, le Forum de Paris sur la Paix a émis un appel à projets mondial, visant à identifier et soutenir des initiatives utilisant l'IA pour le bien commun, dont les meilleures seront mises en avant. La France a lancé différents défis, comme “Convergence IA” ou “IA pour l’Efficience” pour encourager l'innovation et les solutions concrètes aux défis posés par l'IA.
Le programme du sommet abordera plusieurs thématiques clés, dont la confiance dans l'IA, son rôle dans la réalisation des Objectifs de Développement Durable, son impact sur le travail et le bien-être, ainsi que les questions de gouvernance, d'éthique et de responsabilité. Ainsi, il élargit le sujet en mettant l'accent sur des actions concrètes pour assurer que le développement et l'utilisation de l'IA bénéficient à nos sociétés, nos économies et à l'environnement, tout en respectant l'intérêt général et le bien commun.
Cette évolution par rapport aux sommets précédents apparaît comme une réduction de l’attention sur les risques de l’IA et inquiète les acteurs mobilisés pour la sécurité de l’IA, qui ont aussi programmé leurs événements, tel le forum “reprendre le contrôle” organisé par Pause IA, et auquel participe le CeSIA. L'Association internationale pour une IA sûre et éthique organisera sa conférence inaugurale (IASEAI '25) les 6 et 7 février 2025 au centre de conférence de l'OCDE. Par ailleurs, la version finale du rapport “Risks and capabilities” piloté par Yoshua Bengio devrait être remis.
Si ce sommet représente une opportunité majeure pour la France de se positionner au centre des discussions mondiales sur l'IA, en promouvant une approche équilibrée qui intègre à la fois les opportunités offertes par ces technologies et les défis qu'elles posent, mais également en s’impliquant pour la définition d’une gouvernance mondiale, démarche saluée et encouragée dans le dernier rapport parlementaire de l’OPECST (qui critique toutefois la stratégie française de développement et d’évaluation des performances des politiques appliquées pour l’IA), on ne peut que constater une implication très mesurée dans la gestion des risques, et on espère l’officialisation de la création du Centre National d’Evaluation de l’IA français.
Véto contre la proposition de la loi SB 1047 en Californie
Le projet de loi californien SB 1047, intitulé "Safe and Secure Innovation for Frontier Artificial Intelligence Models Act", a été retoqué par le gouverneur de Californie Gavin Newsom le 29 septembre 2024, alors qu’il avait été adopté par la législature californienne après plusieurs amendements, et que le gouverneur avait adopté quelques semaines plus tôt d’autres lois réglementant certaines utilisations de l’IA.
Dans son message de veto, il a exprimé des préoccupations quant à la portée du projet, estimant qu'en se concentrant uniquement sur les modèles les plus coûteux et de grande envergure, SB 1047 pourrait donner au public un faux sentiment de sécurité. Il a souligné que des modèles plus petits et spécialisés pourraient émerger avec des dangers équivalents, voire supérieurs, à ceux ciblés par le projet de loi. Il a également mis en garde contre le risque de freiner l'innovation bénéfique au public.
Ce projet visait à imposer des régulations strictes sur les développeurs de grands modèles d'intelligence artificielle (IA). Il prévoyait notamment l'obligation de mettre en place des mesures de sécurité pour prévenir des dommages catastrophiques et proposait la création d'un organisme étatique, le "Board of Frontier Models", chargé de superviser le développement de ces modèles.
Ce véto a suscité des réactions contrastées. Différents experts et organisations ont exprimé, comme le CeSIA, leur déception, arguant que SB 1047 visait simplement à responsabiliser les grandes entreprises d'IA quant aux engagements volontaires qu'elles avaient déjà pris en matière de sécurité. Cette décision aurait constitué un signe fort et précurseur aux Etats-Unis, d’autant qu’une a réglementation n’étouffe pas systématiquement l’innovation.
D'autres, dont des représentants de l'industrie technologique, ont applaudi la décision, estimant que le projet de loi, bien qu'animé de bonnes intentions, aurait pu entraver l'innovation en imposant des normes strictes même aux fonctions les plus basiques des systèmes d'IA, particulièrement dans le contexte géopolitique actuel.
Cette décision intervient dans un contexte où la Californie, abritant une majorité des principales entreprises d'IA mondiales, cherche à équilibrer la promotion de l'innovation technologique et la mise en place de garde-fous pour assurer la sécurité et l'éthique dans le développement de l'IA. Les débats autour de SB 1047 ont illustré les défis auxquels sont confrontés les législateurs pour réguler une technologie en évolution rapide, tout en évitant de freiner les avancées potentielles bénéfiques pour la société.
Dernières nouvelles d’OpenAI
OpenAI est le centre de nombreux scandales alors qu’un grand nombre de ses employés travaillant sur la sécurité de l’IA ont quitté l’entreprise durant ces derniers mois, y compris la plupart de ses fondateurs.
En novembre 2023, le conseil d’administration d’OpenAI avait tenté de renvoyer le PDG, Sam Altman, qui avait repris ses fonctions peu après. L’équipe “Superalignment” avait ensuite été dissoute et des membres clés avaient décidé de partir, citant une perte de foi en la “mission” d’OpenAI de bénéficier au plus grand nombre. Cette tendance se poursuit avec le départ de Richard Ngo et Rosie Campbell (fr).
Par ailleurs, un ex-employé d’OpenAI est mort récemment dans des circonstances mystérieuses (fr) alors qu’il devait témoigner dans un procès pour protester (fr) contre les violations des droits d’auteur nécessaires à la création d’IA comme ChatGPT.
De plus, l’entreprise va peut-être se reconvertir essentiellement à but lucratif (fr), et fait une levée de fonds massive pour gérer des coûts qui pourraient s’élever à 5 milliards de dollars en 2024. Enfin, l’accord entre OpenAI et Anduril, une entreprise d’armes autonomes, marque la fin des promesses d’OpenAI de ne pas utiliser l’IA à des fins militaires (fr), une mention qui avait été silencieusement supprimée de ses termes d’utilisation il y a quelques mois.
Palantir et militarisation
Palantir, une entreprise liée à l’armée américaine, a récemment établi des partenariats avec la plupart des grandes entreprises d’IA, y compris Meta, Anthropic et OpenAI, ce qui s’accorde avec un récent rapport présenté au congrès américain recommandant une prise de contrôle gouvernementale de l’IA, notamment pour dominer une course contre la Chine.
Ajoutant à cela les liens d’Elon Musk (qui dirige xAI) avec le gouvernement américain suite à l’élection de Donald Trump, et il semble que le développement d’IA de frontières soit bientôt amené à être davantage polarisé politiquement et plus intégré à des fins géopolitiques et militaires.
Conséquences des élections américaines de novembre 2024
L'élection de Donald Trump en novembre 2024 a des implications significatives pour la gouvernance de l’IA aux États-Unis, particulièrement en ce qui concerne la sécurité de ces technologies, mais aussi sur l’Europe.
L'une des premières actions annoncées est l'abrogation de l'Ordre Exécutif sur l'IA promulgué par le président Biden en octobre 2023. Cet ordre mettait l'accent sur une réglementation stricte, incluant des mesures pour la sécurité, la transparence et la protection des droits civiques, mais est considéré par le président élu comme une entrave à l'innovation.
Cette orientation, concrétisée par la nomination de David O. Sacks, milliardaire proche d’Elon Musk, risque grandement d’entraîner une réduction des contraintes réglementaires et d’augmenter les risques liés à l'IA. La responsabilité de la sécurité et de l'éthique des systèmes d'IA pourrait alors reposer davantage sur les entreprises elles-mêmes, sans cadre fédéral uniforme pour guider ces pratiques.
Par ailleurs, l'administration Trump pourrait intensifier la compétition avec la Chine dans le domaine de l'IA, avec des mesures protectionnistes renforcées afin de maintenir la suprématie américaine. Cela contribuerait à reléguer au second plan les considérations éthiques et de sécurité, en entravant notamment les efforts de collaboration internationale.
Cependant, il ne faut pas écarter le caractère imprévisible de beaucoup des décisions prises lors du précédent mandat de Trump, dépendant de priorités stratégiques parfois conflictuelles.
Enfin, à quel point la présence d’Elon Musk dans l’administration Trump influencera le paysage compétitif de l’IA, alors qu’il est lui-même impliqué avec son entreprise xAI, et qu’il a parfois pris des positions semblant incohérentes et motivées davantage par des intérêts concurrentiels que par des convictions ?
Inauguration du réseau international des instituts de sécurité de l'IA à San Francisco
Les 20 & 21 novembre derniers (fr), les instituts de sécurité de l’IA existants et les bureaux mandatés pour faciliter la sécurité de l’intelligence artificielle et son évaluation se sont réunis à San Francisco, sous l’égide des Départements du Commerce et d’État américains, afin d’inaugurer le Réseau international des instituts de sécurité de l'IA, poursuivant la dynamique engagée (fr) lors des sommets de Bletchley Park fin 2023 puis de Séoul en mai. Ce réseau vise à être un forum rassemblant l'expertise technique du monde entier.
Préalablement, quelques annonces avaient été communiquées (fr), comme l’adoption d’une lettre de mission commune (fr), un engagement de plus de 11 millions de dollars pour le financement de la recherche au niveau mondial, et des résultats de collaboration entre quelques instituts : un exercice d’évaluation pilote et l’évaluation avant déploiement de la version mise à jour du modèle d’Anthropic Claude 3.5 Sonnet (fr). Ainsi, certains instituts ont pu montrer leur niveau d’activité (fr) depuis leur officialisation en novembre dernier.
Leurs experts et responsables, appartenant aux membres fondateurs que sont l’Australie, le Canada, la Commission européenne, les États-Unis, la France, le Japon, le Kenya, la République de Corée, le Royaume-Uni et Singapour, ont ainsi pu échanger sur les objectifs et priorités du réseau :
La recherche : privilégier la collaboration avec la communauté scientifique pour faire avancer la recherche sur les risques et les capacités des modèles frontières, et partager les principales conclusions
Les tests : élaborer et partager les bonnes pratiques pour l’évaluation des modèles, de façon conjointe.
Les orientations : faciliter des approches communes pour l'interprétation des évaluations des systèmes d’IA
L’inclusion : établir des interactions avec les pays, les partenaires et les parties prenantes dans toutes les régions du monde et à tous les niveaux de développement.
Ce réseau aura de nombreux défis à relever (fr), comme la mise au point des modalités de collaboration entre les différents membres selon leurs contraintes juridiques et politiques nationales respectives ainsi que leur niveau de développement, la coopération avec les autres institutions internationales ayant également engagé leurs propres projets pour la gouvernance de l’IA, la compétition avec les acteurs privés majeurs pour attirer les talents et disposer de moyens comparables, ainsi que l’absence notable de la Chine (fr).
Alors que l’élection de M. Trump à la présidence des Etats-Unis rend incertaines la position de ce pays sur ce sujet et l’existence des nouvelles institutions concernées (ou tout au moins leur efficacité), un nouveau groupe de travail dédié aux tests sur les risques de l’IA pour la sécurité nationale (fr) était annoncé en ouverture de cette rencontre.
Nouvelles IA, nouvelles capacités, nouveaux risques
OpenAI a déployé en septembre son dernier modèle, o1, caractérisé par une capacité d’approfondir ses raisonnements à l’inférence par des réflexions internes. Ce modèle propose une nouvelle dimension de scaling pour améliorer les performances : la quantité de calculs consommée à l’inférence, et montre une amélioration des performances environ logarithmiques selon les ressources investies. o1 est particulièrement performant pour des tâches complexes liées à des sujets mathématiques.
En décembre, OpenAI a dévoilé une version améliorée nommée o3, qui n’est pas encore disponible mais a atteint les meilleures performances humaines sur ARC-AGI (fr), un banc d’essai destiné à évaluer les capacités de généralisation des meilleurs modèles.
Au-delà d’OpenAI, ces derniers mois ont été très riches en innovations, et de nombreux nouveaux modèles de frontière ont été annoncés de la part des principaux acteurs de l’IA : Llama 3.2 pour Meta, Pixtral 12B pour Mistral, Reflection 70B et DeepSeek-V3 (fr) en open-source, Genie 2 (fr) et Gemini 2.0 Flash (fr) pour Google, et Claude 3.5 Sonnet (fr) pour Anthropic.
Les récents développements reflètent trois tendances. D'abord, la continuation de l’amélioration des performances des modèles. Ensuite, une optimisation technique permettant à la fois d'accélérer la génération de contenu et de réduire les coûts d'utilisation, ce qui pourrait amplifier profondément l'impact économique et social de ces technologies. Enfin, une évolution vers plus d'autonomie, particulièrement visible chez Google et OpenAI : les modèles développent une capacité accrue à utiliser divers outils de manière indépendante, élargissant ainsi leur champ d'application.
Alors que les capacités ne cessent de s’améliorer, les avancées en sécurité ne suivent pas au même rythme. Deux articles de recherche d’Apollo Research (fr) et Anthropic mettent en évidence un potentiel de tromperie (explications en vidéo) inquiétant chez les IA actuelles : dans la lignée des recherches précédentes, les capacités de tromperie sont de plus en plus présentes chez les modèles de frontière, et peuvent dans de rares cas être élicitées dans des conditions normales d’utilisation.
La défense contre les risques liés à la tromperie étant actuellement principalement basée sur l’absence des capacités sous-jacentes, il devient urgent de mettre en place des mesures de sécurité obligatoires pour réduire ces risques, et de développer de nouvelles techniques d’alignement pour éviter qu’ils se concrétisent.
Justement, OpenAI a annoncé une nouvelle approche, l’alignement délibératif, qui utilise les capacités d’un modèle à raisonner sur les consignes qui lui sont données pour mieux les respecter. Les prochains mois révèleront le potentiel et les limites de cette approche.
Actions du CeSIA
Nous avons publié un récapitulatif de nos actions passées et futures !
Fin 2024 (bilan)
De nombreuses sessions Mercred’IA et un premier Jeud’IA Saclay ont été organisées (voir les événements passés dans notre page Luma).
Le CeSIA a assuré les cours du Séminaire de Turing pour le premier semestre 2024/2025 du master MVA et pour l’ENS Ulm.
Le CeSIA a co-organisé en octobre le Symposium AI Safety à Paris avec le SCAI et le LIP6, et a assuré la matinée d’introduction à la sécurité de l’IA.
Notre Atlas de la sécurité de l’IA est continuellement mis à jour.
De nouvelles vidéos de nos interventions sont disponibles sur notre chaîne Youtube.
Nous avons participé ou collaboré à différentes vidéos :
L'IA, vers un futur sous contrôle ? | Charbel-Raphaël Segerie (par Pause IA)
AI Safety by Charbel-Raphaël Segerie with Paris AI Society (par Paris AI Society)
Préparer le monde aux défis de l’IA – avec Charbel-Raphaël Segerie (par The Flares)
Et si les IA prenaient le contrôle ? (par La Tronche en Biais)
A venir en 2025
Un nouveau cycle des Dialogues de Turing est lancé, avec la première session (en ligne) programmée le 15/01 à 18h sur le thème du développement des standard d’évaluation des IA.
Le prochain Mercred’IA se tiendra le 08/01, le sujet sera une revue des évènements liés à la sécurité de l'IA en 2024.
Le prochain Jeud’IA Saclay se tiendra le 16/01 dans les locaux de Centrale/Supélec à Saclay, et aura pour thème “LLMs et interprétabilité”. Les détails et l’inscription seront accessibles via la page Luma du CeSIA.
D’autres événements sont prévus et seront annoncés via nos principaux de communications LinkedIn et Discord (canal #événement)
Liens / en bref
Depuis septembre 2024, la France dispose d’une Secrétaire d’Etat à l’IA et au Numérique, et qui a été reconduite avec une position renforcée avec la nomination du gouvernement Bayrou en décembre dernier.
Proposition bipartisane de création d’un “Bureau d’examen de la sécurité de l’intelligence artificielle” au sein du ministère du Commerce américain, par des membres du sénat des Etats Unis (fr). Ce Bureau travaillerait avec l’industrie pour défendre les modèles de pointe contre les abus par des adversaires étrangers cherchant à exploiter la technologie à des fins malveillantes.
Le 26 septembre 2024, le Canada et la France ont réaffirmé leur engagement envers une IA responsable, centrée sur l'humain et respectueuse des droits fondamentaux. Ils ont annoncé des initiatives conjointes en matière de recherche, de sécurité des modèles d'IA et de coopération économique, notamment via des appels à projets et la création d'instituts dédiés.
Des pionniers de l'IA réclament des protections contre les « risques catastrophiques » liés à la technologie et la création d'une autorité internationale
Sommet de l’Avenir 2024 : l’ONU et l’OCDE s’allient pour renforcer la gouvernance mondiale de l’IA
Mark Zuckerberg dit qu'il parie que la limite de mise à l'échelle des systèmes d'IA "n'arrivera pas de si tôt", puisque Llama 4 s'entraînera sur plus de 100 000 GPU et Llama 5 encore davantage
Cybermenace augmentée :
L'IA bat ReCAPTCHA : des chercheurs de l'ETH Zurich ont développé un modèle d'IA capable de déjouer systématiquement le système reCAPTCHA v2 de Google
Cybersécurité des IA :
Un chercheur en sécurité démontre qu'il est possible d'exploiter la fonction Mémoire de ChatGPT pour implanter de faux souvenirs dans l'outil d'OpenAI et voler les données des utilisateurs à perpétuité
Un pirate informatique pousse ChatGPT à ignorer ses garde-fous et à donner des instructions détaillées pour la fabrication de bombes artisanales, soulignant les difficultés à créer des garde-fous solides
Et si vous participiez à rendre l’intelligence artificielle plus sûre ?
Au CeSIA, nous travaillons chaque jour pour anticiper et comprendre les risques liés à l’IA. En ce changement d’année, nous lançons une campagne de dons avec un objectif de 10 000 € pour concrétiser nos projets et aller encore plus loin en 2025.
Nous voulons renforcer nos projets techniques et stratégiques, traduire notre manuel de sécurité de l’IA en français, et développer un cours en ligne basé sur notre manuel.
Chaque contribution compte ! Grâce à vos dons, nous pourrons continuer à développer des solutions techniques et pédagogiques pour faire face aux défis posés par l’intelligence artificielle.
En nous soutenant, vous bénéficiez d’une réduction fiscale de 66 % (dans la limite de 20 % de votre revenu imposable).
Accompagnez-nous dans cette aventure (via helloasso)
Vous pouvez retrouver tous les évènements du CeSIA sur Luma et nous suivre sur LinkedIn pour ne rien manquer !
Une question ? Une opinion à partager ? Une info à ajouter ? Contactez-nous sur notre site ou venez discuter avec nous sur Discord !
Pour vous renseigner sur les risques, vous pouvez aussi parcourir notre manuel sur la sécurité de l’IA.