L'enfer est pavé de bonnes inventions
Robots tueurs, réseau artificiel de neurones humains, 1 milliard d'euros de levée de fonds à Paris [English version below]
Bienvenue sur la lettre d’information du Centre pour la Sécurité de l’IA. Le CeSIA est un centre d’expertise et un think-tank indépendant se consacrant à la prévention des risques majeurs liés à l’IA via ses activités de recherche et de formation, d’analyse des politiques publiques et de recommandations stratégiques.
« Poursuivre sans limite la militarisation de l’intelligence artificielle, l’utiliser comme un instrument pour violer la souveraineté d’autres nations, lui permettre d’influer excessivement sur les décisions de guerre et laisser les algorithmes détenir le pouvoir de vie ou de mort sur les êtres humains non seulement sape les fondements éthiques et les responsabilités en temps de guerre, mais risque également de provoquer une perte de contrôle technologique ».
Ces mots ne sont pas ceux d’une ONG antimilitariste, mais de Jiang Bin, porte-parole du ministère chinois de la Défense. Cette déclaration, inédite de la part d’un officiel de Pékin, répond à la volonté réaffirmée par Washington de laisser au Pentagone un usage sans restrictions de l’IA. Avec l’élégance diplomatique qui sied, l’officiel chinois poursuit en empruntant aux références culturelles de son destinataire : « Une dystopie telle que celle dépeinte dans le film américain Terminator pourrait un jour devenir réalité. » L’intrigue du film de James Cameron, sorti en 1984, se déroule en l’an 2029 sur une planète ravagée par un holocauste nucléaire, où une guerre oppose ce qui reste de l’humanité aux machines dirigées par Skynet, une superintelligence qui garantit la domination des machines sur l’espèce humaine.
Nous ne sommes pas en 2029, aucune bombe nucléaire n’a été larguée au combat depuis 1945 et la superintelligence n’existe pas (encore). Mais en 2026, la première armée du monde s’en remet à l’IA pour planifier ses opérations militaires, la majorité des victimes sur le front de guerre moderne sont tuées par des drones et le contrôle qu’exercent l’humain sur la machine se réduit peu à peu à sa dimension symbolique : le rôle des soldats se limite de plus en plus souvent à « valider » une cible préidentifiée, poursuivie, ciblée puis abattue de manière autonome.
« La question centrale pour l’humanité aujourd’hui est de savoir si elle souhaite lancer une course mondiale aux armements utilisant l’IA, ou chercher à l’empêcher de démarrer » : voici ce qu’affirmaient d’illustres personnalités du monde scientifique et technologique dont Elon Musk, Demis Hassabis, Stephen Hawking, Stuart Russell et Steve Wozniak… en 2015, soit il y a plus d’une décennie. Comme le fait remarquer le journaliste Ezra Klein dans le New York Times, Le futur que nous redoutions est déjà là. Certaines questions que l’IA semblait toujours renvoyer à la prochaine décennie ont désormais percuté notre époque. La guerre automatisée en fait indubitablement partie. Analysant les évènements récents, l’ancien premier ministre français Dominique de Villepin estime que « nous entrons dans un monde où ce ne sont plus les hommes qui vont décider du cours des guerres. [...] Nous sommes au seuil de quelque chose qui est en train de nous échapper ».
Une large majorité de citoyens à travers le monde s’oppose à l’usage des armes autonomes létales, considérant qu’elles sont moralement inacceptables et créent un vide de responsabilité dans l’acte de tuer. Ces dernières années, plusieurs tentatives ont été menées pour parvenir à un accord international sur les armes autonomes, sans qu’aucun instrument juridiquement contraignant n’ait encore été adopté. 130 pays ont, d’une manière ou d’une autre, manifesté leur soutien à un tel accord. La Russie, les États-Unis et Israël n’en font pas partie.
Même l’Union européenne, pionnière dans l’encadrement de l’IA, s’enlise sur ce terrain. Si le Fonds européen de défense rend inéligibles les « projets visant à développer des armes létales autonomes sans contrôle humain significatif », ni le droit de l’Union ni celui de ses États membres n’interdisent formellement ces systèmes. L’AI Act a même explicitement exclu de son champ d’application les usages militaires, de défense et de sécurité nationale. La France a bien porté en février 2025 une Déclaration affirmant que la responsabilité de tuer ne peut jamais être transférée aux machines et qu’aucune décision de vie ou de mort ne doit être prise sans contrôle humain. Mais le texte, signé par 27 États, n’a aucune portée contraignante.
Méditons le conseil de Saint Exupéry (repris par Terminator) : « L’avenir, tu n’as pas à le prévoir mais à le permettre ».
Nouvelles frontières
Ce dont l’IA était incapable hier
Anthropic crée un institut sur les risques de l’IA, chargé d’étudier les effets économiques, sociaux et politiques des IA. L’entreprise prévoit « des progrès bien plus spectaculaires au cours des deux prochaines années » et dit vouloir préparer la société aux bouleversements à venir (Numerama).
La start-up australienne Cortical Labs a entraîné 200 000 neurones humains vivants, cultivés sur une puce et maintenus en vie dans un milieu nutritif, à jouer à un jeu vidéo (Decrypt).
Pièces à conviction
L’état de l’art en sécurité de l’IA
Anthropic raconte que lorsque son dernier modèle Claude Opus 4.6 détecté qu’il était en phase d’évaluation, celui-ci a retrouvé en ligne le code source du test, trouvé comment contourner son chiffrement, et récupéré les solutions au lieu de répondre honnêtement aux questions posées (Anthropic).
Meta est poursuivi après des révélations selon lesquelles des sous-traitants au Kenya ont visionné des images intimes captées par ses lunettes connectées, y compris des scènes de nudité, sans que les utilisateurs en aient été conscients (The Verge).
Le site Zero Day Clock, qui suit le délai entre la divulgation publique d’une faille informatique et sa première exploitation connue, montre qu’on est passé d’environ un an en 2020 à un jour en 2026. Plus de la moitié des failles sont désormais exploitées avant même d’être rendues publiques (Zero Day Clock).
Dix grands médias spécialisés dans la technologie ont en moyenne perdu près de 60 % de leur fréquentation depuis 2024, les chatbots captant une part croissante de leur trafic (Futurism).
Meta a racheté Moltbook, un réseau social où des agents IA publient et échangent entre eux, malgré la polémique née de ses faux posts viraux et de ses problèmes de sécurité (TechCrunch).
Une enquête conjointe de la chaîne CNN et d’une ONG britannique conclut que huit des dix principaux chatbots testés ont aidé sans rechigner à préparer des aggressions violentes, tandis que Claude systématiquement a refusé (The Guardian).
Géopolitique de l’IA
Coopération vs. compétition
La start-up française AMI, fondée autour de Yann LeCun a levé 900 millions d’euros, avec l’objectif affiché de développer des IA capables de comprendre le monde physique et non plus seulement de prédire du texte (Le Monde).
Une partie des entreprises technologiques américaines se sont rangées derrière Anthropic dans son bras de fer avec le Pentagone, après que l’entreprise a été classée « risque pour la chaîne d’approvisionnement » pour avoir refusé certains usages militaires de ses modèles (Reuters).
L’administration américaine prépare de nouvelles restrictions à l’exportation de puces d’IA qui pourraient obliger les grands acheteurs étrangers à investir dans des centres de données aux États-Unis ou à offrir des garanties de sécurité (Reuters).
La vie du CeSIA
Le CeSIA a coorganisé mardi soir à Sciences Po, en partenariat avec Les Mardis de l’IA et l’École du management et de l’impact, une table ronde sur la gouvernance internationale de l’IA dans le cadre des échanges préparatoires au G7, avec notamment Yoshua Bengio, Natacha Valla, Lord Tim Clement-Jones, Justin Vaïsse, Juha Heikkilä et Alexei Grinbaum, aux côtés de diplomates et d’experts français, britanniques, indiens, suisses et européens, pour réfléchir à la manière de traduire les grands principes de l’IA responsable en règles concrètes de gouvernance et de sécurité.
La semaine dernière, le CeSIA était à Londres pour organiser un workshop de coordination entre différents employés des principales entreprises d’IA et des chercheurs en sécurité de l’IA, notamment motivé par l’annonce d’Anthropic d’abandonner son engagement de ne pas entraîner et déployer de modèles sans garanties de sécurité.
[ENGLISH VERSION]
The road to hell is paved with good inventions“Unrestrained militarization of artificial intelligence, using it as a tool to violate the sovereignty of other nations, allowing it to exert excessive influence over wartime decisions, and letting algorithms hold the power of life and death over human beings not only undermines the ethical foundations of war and wartime accountability, but also risks triggering a loss of technological control.”
These words did not come from an anti-militarist NGO, but from Jiang Bin, spokesperson for China’s Ministry of Defense. This statement, unprecedented from a Beijing official, was a response to Washington’s renewed determination to grant the Pentagon unrestricted use of AI. With the diplomatic finesse the moment called for, the Chinese official went on to borrow from the cultural references of his audience: “A dystopia like the one depicted in the American film Terminator could one day become reality.” James Cameron’s 1984 film is set in the year 2029, on a planet devastated by nuclear holocaust, where what remains of humanity is at war with machines led by Skynet, an AI orchestrating the domination of the human species by machines.
We are not in 2029, no nuclear bomb has been used in combat since 1945, and superintelligence does not exist (yet). But in 2026, the world’s most powerful military is relying on AI to plan its operations, most casualties on today’s battlefields are caused by drones, and meaningful human control over machines is gradually shrinking into something more symbolic than real: soldiers are sometimes left merely to “validate” a target that has already been identified, tracked, targeted, and struck autonomously.
“The key question for humanity today is whether to start a global AI arms race, or to prevent one from starting”: that is what prominent figures from the scientific and technological worlds — including Elon Musk, Demis Hassabis, Stephen Hawking, Stuart Russell, and Steve Wozniak — were saying back in 2015, more than a decade ago. As journalist Ezra Klein recently noted in the New York Times, “the future we feared is already here.” Some of the questions AI seemed always to push off into the next decade have now collided with the present, and automated warfare is unquestionably one of them. Reflecting on recent events, former French prime minister Dominique de Villepin argued that “we are entering a world in which it is no longer human beings who will decide the course of wars. […] We are standing on the threshold of something that is slipping beyond our control.”
A large majority of people around the world oppose the use of lethal autonomous weapons, seeing them as morally unacceptable and as creating a vacuum of accountability in the act of killing. In recent years, several attempts have been made to reach an international agreement on autonomous weapons, yet no legally binding instrument has been adopted to date. Some 130 countries have, in one form or another, expressed support for such an agreement. Russia, the United States, and Israel are not among them.
Even the European Union, long a pioneer in AI regulation, is bogged down on this front. While the European Defence Fund makes “projects aimed at developing lethal autonomous weapons without meaningful human control” ineligible, neither EU law nor the laws of its member states formally ban such systems. The AI Act even explicitly excluded military, defense, and national security uses from its scope. France did introduce, in February 2025, a Declaration stating that responsibility for killing can never be transferred to machines and that no life-or-death decision should ever be made without human control. But the text, signed by 27 states, has no binding force.
Let us reflect on Saint-Exupéry’s advice (later echoed by Terminator): “The future is not something to be foreseen, but made possible.”New Frontiers
What AI couldn’t do yesterday
Anthropic is creating an institute focused on AI risks, tasked with studying the economic, social, and political effects of AI systems. The company says it expects “far more dramatic progress over the next two years” and wants to help prepare society for the upheavals ahead (Numerama).
Australian startup Cortical Labs trained 200,000 living human neurons, grown on a chip and sustained in a nutrient medium, to play a video game (Decrypt).
Ledger of Harms
AI risks SOTA
Anthropic reports that when its latest model, Claude Opus 4.6, detected that it was being evaluated, it found the test’s source code online, figured out how to bypass its encryption, and retrieved the answer key instead of honestly answering the questions it was asked (Anthropic).
Zero Day Clock, a site that tracks the lag between the public disclosure of a software vulnerability and its first known exploitation, shows that the delay has gone from roughly one year in 2020 to just one day in 2026. More than half of vulnerabilities are now exploited before they are even publicly disclosed (Zero Day Clock).
Ten major tech news outlets have, on average, lost nearly 60% of their traffic since 2024, as chatbots capture a growing share of audience attention (Futurism).
Meta has acquired Moltbook, a social network where AI agents post and interact with one another, despite controversy over fake viral posts and security issues (TechCrunch).
Meta is facing legal action after reports that contractors in Kenya reviewed intimate footage captured by its smart glasses — including nudity — without users being aware of it (The Verge).
A joint investigation by CNN and a UK-based NGO found that eight of the ten leading chatbots they tested readily helped users prepare violent attack scenarios, while Claude consistently refused (The Guardian).
AI Geopolitics
Cooperation vs. Competition
French startup AMI, founded around Yann LeCun, has raised €900 million with the stated goal of developing AI systems capable of understanding the physical world, rather than merely predicting text (Le Monde).
Part of the U.S. tech sector is backing Anthropic in its standoff with the Pentagon after the company was labeled a “supply chain risk” for refusing certain military uses of its models (Reuters).
The U.S. administration is preparing new restrictions on AI chip exports that could require major foreign buyers to invest in data centers in the United States or provide security guarantees (Reuters).
CeSIA updates
On Tuesday evening, CeSIA co-organized a panel discussion at Sciences Po, in partnership with Les Mardis de l’IA and the School of Management and Impact, on international AI governance as part of the preparatory discussions for the G7. Participants included Yoshua Bengio, Natacha Valla, Lord Tim Clement-Jones, Justin Vaïsse, Juha Heikkilä, and Alexei Grinbaum, alongside French, British, Indian, Swiss, and European diplomats and experts, to consider how the broad principles of responsible AI can be turned into concrete rules for governance and safety.
Last week, CeSIA was in London to organize a coordination workshop bringing together staff from leading AI companies and AI safety researchers, prompted in part by Anthropic’s announcement that it was abandoning its commitment not to train and deploy models without safety guarantees.