Newsletter du CeSIA #2
Bienvenue sur la newsletter du Centre pour la Sécurité de l'IA ! Retrouvez ici les dernières actualités et ressources sur l'intelligence artificielle et sa gouvernance.
Actualités françaises
Facilitation de l'implantation de centres de données. Suite aux recommandations de la Commission de l'intelligence artificielle dans son rapport publié le mois dernier, le gouvernement a annoncé une mesure visant à faciliter l'ouverture de nouveaux centres de données en France, en les catégorisant comme des "projets d'intérêt national majeurs". En pratique, cela signifie que toutes les procédures pour la construction d'un nouveau centre de données seront accélérées.
Le CeSIA encourage le gouvernement à être tout aussi proactif sur la mise en place de mesures pour la prévention des risques extrêmes liés aux futurs modèles d’IA.
Développement d'un chatbot français pour l'administration. Le gouvernement a annoncé le lancement d'Albert, un chatbot 100% français destiné à assister l'administration. Développé au sein de Datalab, un incubateur de start-ups, Albert s'inscrit dans la volonté de la France d'atteindre une souveraineté technologique et de réduire sa dépendance vis-à-vis des acteurs étrangers, une priorité chère au Premier ministre Gabriel Attal. Ce modèle est basé sur Llama2, un modèle de langage open-source développé par Meta. Le CeSIA salue cette initiative qui vise à renforcer les capacités nationales en matière d'IA, tout en soulignant l'importance de veiller à ce que le développement et le déploiement d'Albert soient réalisés dans le respect des principes de sécurité et d'éthique de l'IA.
Actualités mondiales
OpenAI sort son nouveau modèle GPT-4o. GPT-4o, qui signifie “omnimodal”, offre une interactivité permettant aux utilisateurs d'interagir via texte, voix, image et vidéo. Il améliore les performances audio et la reconnaissance d'image des précédents modèles, avec un temps de réponse vocale moyen se rapprochant de celui des humains. Sa capacité de mémoire lui permet aussi d'apprendre des conversations précédentes. À la suite de cette annonce, bien que sans lien direct apparent, les ingénieurs Ilya Sutskever et Jan Leike, qui dirigeaient le programme “Superalignment” d'OpenAI, ont démissionné. Ils rejoignent ainsi une liste croissante de personnes clés travaillant sur la sécurité chez OpenAI qui ont quitté l’entreprise récemment.
Sortie de Llama 3 : un modèle open-source prometteur, mais des inquiétudes sur la sécurité. Meta a récemment publié Llama 3, son nouveau modèle de langage open-source, disponible en versions 8B et 70B. Les premières évaluations suggèrent que ses capacités commencent à se rapprocher de celles de GPT-4. Mais la philosophie de Meta en matière de sécurité de l'IA soulève des inquiétudes. Contrairement à OpenAI qui s'efforce de garantir que ses modèles ne causeront pas de dommages durant leur déploiement, Meta propose les paramètres de Llama 3 en open-source avec des mesures de sécurité. Cependant, de nombreuses études montrent que ces mesures peuvent être contournées avec un minimum de moyens une fois l'accès aux paramètres du modèle obtenu. Cette approche naïve laisse la porte grande ouverte à une utilisation potentiellement dangereuse de Llama 3 par des acteurs mal intentionnés, compte tenu de la nature open-source du modèle et de sa disponibilité pour un large éventail d'utilisateurs.
Nouvelles techniques d'évaluation des risques de l'IA. Google DeepMind a publié un nouveau papier de recherche intitulé "Evaluating Frontier Models for Dangerous Capabilities", qui introduit des techniques d'évaluation couvrant les risques dans les domaines de la persuasion et la tromperie, la cybersécurité, l'auto-réplication et l'auto-raisonnement. Ces techniques ont été utilisées pour évaluer Gemini 1.0, et bien qu'elles n'aient pas repéré de capacités dangereuses prononcées dans les modèles évalués, elles ont tout de même identifié des signes avant-coureurs inquiétants. Rappelons que ces techniques d'évaluation ont des limites et sont naturellement défaillantes pour les futurs systèmes capables de raisonner et planifier sur le long terme, comme le souligne un article de recherche publié dans Science le mois dernier, et mentionné dans notre précédente newsletter.
Non-respect des engagements de sécurité par les labos d'IA. Lors du sommet de Bletchley Park en novembre dernier, les labos d'IA s'étaient engagés à partager leurs modèles avec le AI Safety Institute du Royaume-Uni pour qu’ils soient testés avant leur déploiement. Nous savons maintenant qu'OpenAI, Anthropic et Meta n'ont pas respecté cet engagement. Il n’est guère surprenant que ces accords, conclus sur la base du volontariat, ne soient pas respectés lorsqu'ils entrent en conflit avec les intérêts économiques des entreprises. Cette situation souligne l'importance de mettre en place une régulation ferme, avec des systèmes efficaces permettant de la faire appliquer. Il est essentiel que les gouvernements et les organismes de réglementation prennent des mesures concrètes pour garantir que les entreprises d'IA respectent des normes de sécurité strictes et soient tenues responsables en cas de manquement à leurs obligations.
Med-Gemini : des performances impressionnantes en médecine, mais des défis à anticiper. Un nouveau papier de recherche de DeepMind, intitulé "Capabilities of Gemini models in medicine", montre que leur modèle obtient des performances de pointe sur 10 des 14 benchmarks médicaux, et semble même plus compétent que les médecins généralistes sur certaines tâches. Il est peu probable que le travail de ces derniers soit impacté à court terme, principalement pour des raisons de responsabilité plutôt que de compétences. En effet, la question de la responsabilité en cas d'erreur médicale commise par une IA reste un point sensible. Néanmoins, il est probable que des systèmes alternatifs en ligne, basés sur des modèles comme Med-Gemini, soient bientôt proposés au grand public. Il est essentiel d'anticiper leur arrivée et de mettre en place dès maintenant un cadre réglementaire et éthique pour encadrer leur utilisation, afin de garantir la sécurité des patients et la qualité des soins.
Événements
Deux nouvelles tables rondes de la série “Dialogues de Turing”, notre cycle ouvert à toutes et à tous sur les enjeux de l'IA (à l’ENS Ulm) :
Mardi 25 juin : “L'intelligence artificielle, alliée ou menace pour la cybersécurité ?”
Mardi 9 juillet : “Comment concilier sécurité, éthique et compétitivité dans le développement de l'IA ?”
Liens / En bref
Tribune publiée par le CeSIA dans le journal La Tribune et soutenue par Yoshua Bengio : Sécurité de l'IA : « Il est urgent de définir des lignes rouges à ne pas franchir ».
Bataille juridique autour de l'IA : Huit journaux américains poursuivent OpenAI et Microsoft, les accusant d'avoir enfreint le droit d'auteur en entraînant leurs modèles sur le contenu de leurs plateformes.
Mobilisation internationale : Des manifestations "Pause AI" sont prévues simultanément dans 9 pays, dont la France, en amont du sommet de l'IA à Séoul.
Un sondage auprès de chercheurs en alignement révèle des conclusions intéressantes et inquiétantes. En particulier, les personnes interrogées ne semblent pas penser que le problème de l’alignement sera résolu à temps.
Le Pentagone a réalisé le premier "dogfight" impliquant un avion de chasse piloté par une IA, dans le cadre de son initiative d'intégration de l'IA dans les forces armées.
Persuasion et manipulation par l'IA : Un nouveau papier de Google DeepMind propose une définition de l'IA générative persuasive, et cartographie les préjudices potentiels liés à la persuasion par l'IA.
Lancement de AI Lab Watch, une organisation évaluant les actions des principaux laboratoires d'IA pour prévenir les risques extrêmes. Anthropic et OpenAI obtiennent les meilleurs scores globaux, tandis que Microsoft et Meta sont à la traîne.
Microsoft dévoile Phi-3-mini, un modèle de langage de seulement 3,8 milliards de paramètres, entraîné sur un dataset purement synthétique, qui atteint malgré sa petite taille des performances comparables à GPT-3.5 et ses 175 milliards de paramètres.
Réflexion sur les limites de l'IA : Un excellent article de Spencer Greenberg explique en détail pourquoi il n'y a pas de raison pour que l'intelligence artificielle soit limitée à l'intelligence humaine.
Sortie de AlphaFold 3 par Google DeepMind, qui peut désormais prédire la structure non seulement des protéines, mais aussi de l'ADN, de l'ARN et des ligands, ainsi que leurs interactions.
Nouveau manuel de référence sur la sécurité de l'IA : Le CAIS a publié "AI Safety, Ethics, and Society Textbook", un nouveau manuel rédigé par Dan Hendrycks. Nous saluons ce travail qui promet de devenir une référence dans notre discipline.
Article du Figaro sur les capacités de tromperie des IA.
Sortie de Claude en Europe : Anthropic lance en Europe son concurrent à ChatGPT.