Sept chakras et zéro contrainte pour l'IA
New Delhi, ultimatum pour Anthropic, une crise financière en 2028 ? [English version below]
Bienvenue sur la lettre d’information du Centre pour la Sécurité de l’IA. Le CeSIA est un centre d’expertise et un think-tank indépendant se consacrant à la prévention des risques majeurs liés à l’IA via ses activités de recherche et de formation, d’analyse des politiques publiques et de recommandations stratégiques.
La semaine dernière, le quatrième sommet international consacré à l’IA a réuni les délégations officielles de plus de 80 pays à New Delhi. La déclaration finale est structurée en sept « chakras » : des piliers supposés guider le développement et l’usage de cette technologie, tels que « démocratiser les ressources de l’IA » ou « une IA sûre et digne de confiance ». Mais ces principes renvoient davantage à des aspirations spirituelles qu’à des obligations terrestres : pour chacun d’eux, la déclaration prend soin de préciser qu’ils relèvent d’initiatives volontaires et juridiquement non contraignantes (le mot « volontaire » est, avec 15 occurrences, celui qui revient le plus souvent dans le texte après « IA »).
À quelques jours d’intervalle, les dirigeants des trois entreprises à la pointe de l’IA ont pourtant publiquement plaidé en faveur d’une supervision mondiale de cette technologie. Sam Altman (OpenAI) a déclaré que « le monde pourrait avoir besoin de quelque chose comme une AIEA [Agence internationale de l’énergie atomique] pour la coordination internationale sur l’IA ». Demis Hassabis (Google DeepMind) a plaidé pour « un dialogue international et, idéalement, un socle minimal de normes partagées à l’échelle internationale ». Dario Amodei (Anthropic), enfin, a évoqué la nécessité d’un traité mondial : « pourrait-on avoir un traité mondial demandant à tous ceux qui construisent des modèles d’IA puissants de les empêcher de faire telle ou telle chose, avec des mécanismes de vérification, et faire en sorte que la Chine le signe ? […] Je ne pense pas que ce soit utopiste. Je pense que c’est possible ».
L’idée d’une « AIEA pour l’IA » n’est pas nouvelle : António Guterres l’avait fait sienne dès 2023. Dans le nucléaire, l’AIEA élabore des standards internationaux de sûreté et mène des missions d’évaluation et d’inspection. Malgré les différences évidentes entre le nucléaire et les data centers, une partie des mécanismes de contrôle et de vérification pourrait être transposée. Une AIEA pour l’IA permettrait d’établir des lignes rouges communes et de vérifier leur mise en œuvre, plutôt que de s’en remettre à des principes volontaires voués à être délaissés, contournés ou ignorés.
La communauté scientifique converge aussi vers cette conclusion. La semaine dernière, une déclaration signée par 145 professeurs d’université en Allemagne a fait écho à notre Appel mondial à établir des lignes rouges pour l’IA en exigeant « des règles de sécurité contraignantes » et un accord international comportant des « lignes rouges ».
Si industriels et scientifiques s’accordent sur la nécessité d’un cadre mondial contraignant, il y a donc lieu de s’interroger sur la faiblesse du texte final issu du sommet indien. Une partie de l’explication tient à la position de l’administration de Donald Trump, qui, par la voix de Michael Kratsios, a rappelé qu’elle rejetait « totalement » l’idée d’une « gouvernance mondiale de l’IA ». Mais le verrou américain n’empêche pas d’autres pays d’avancer. Peu après que la présidence française du G7 a annoncé vouloir « travailler à établir un consensus mondial sur la sécurité de l’IA », la Suisse, qui accueillera le prochain sommet mondial sur l’IA en 2027, a rappelé que « Genève est à l’épicentre du multilatéralisme » et a affirmé vouloir revenir aux enjeux de gouvernance.
Nouvelles frontières
Ce dont l’IA était incapable hier
Mustafa Suleyman, patron de l’IA chez Microsoft, estime que la plupart des tâches de bureau pourraient être automatisées d’ici 12 à 18 mois. (Financial Times)
L’action d’IBM a décroché d’environ 13 % après l’annonce par Anthropic d’un outil capable d’aider à moderniser du code en COBOL, un vieux langage encore très présent dans l’univers des grands serveurs d’entreprise. (CNBC)
Selon Scientific American, OpenAI affirme progresser sur First Proof, un défi où des mathématiciens proposent des problèmes inédits pour tester si l’IA sait produire des démonstrations originales. (Scientific American)
Pièces à conviction
L’état de l’art en sécurité de l’IA
Citrini Research a publié un essai-fiction devenu viral dans la communauté de la finance, décrivant une crise en 2028 où l’automatisation des emplois de bureau ferait chuter la consommation et plonger les indices boursiers. (Citrini Research)
OpenAI a commencé à tester l’affichage de publicités dans ChatGPT aux États-Unis : des contenus sponsorisés peuvent apparaître dès la première réponse du chatbot. (Search Engine Land)
Goldman Sachs anticipe une envolée de la demande électrique des data centers aux États-Unis, avec une hausse projetée de 175 % d’ici 2030 (par rapport à 2023). (Goldman Sachs)
D’anciens employés de xAI accusent l’entreprise de négliger la sécurité, décrivant une culture interne où l’on « déploie vite » et où contester les choix serait risqué. (The Verge)
Cadre légal
Pour que l’IA ne fasse pas la loi
Le Pentagone a posé un ultimatum à Anthropic pour faire sauter les restrictions d’usage militaire de Claude. (Le Monde)
Face à la pression concurrentielle, Anthropic a abandonné sa promesse de ne jamais entraîner ni déployer un nouveau modèle en l’absence de mesures de sécurité suffisantes. (TIME)
Bernie Sanders dit vouloir porter une loi fédérale pour instaurer un moratoire sur la construction de data centers. (X)
Géopolitique de l’IA
Coopération vs. compétition
Anthropic accuse trois laboratoires chinois (DeepSeek, Moonshot AI et MiniMax) d’avoir créé plus de 24 000 faux comptes pour « aspirer » massivement des réponses de Claude et entraîner leurs propres modèles. (Anthropic)
La rivalité OpenAI–Anthropic s’est affichée au grand jour lors d’un sommet en Inde, où leurs dirigeants ont soigneusement évité le geste symbolique de se donner la main pour la photo de groupe. (CNBC)
Des prévisionnistes estiment à 12 % la probabilité qu’un modèle chinois entre dans le top 3 mondial des modèles d’IA les plus performants d’ici fin 2026. (Epoch AI)
En Inde, Reliance annonce environ 110 milliards de dollars d’investissements sur sept ans pour construire des data centers d’IA « à l’échelle du gigawatt ». (TechCrunch)
La vie du CeSIA
Le CeSIA a co-organisé l’atelier « Defining and Governing Unacceptable AI Risks » dans le cadre du AI Safety Connect Day en marge du India AI Impact Summit, consacré à définir et encadrer des lignes rouges internationales pour prévenir les risques d’IA jugés universellement inacceptables.
Pauline Charazac, notre responsable des relations institutionnelles, est intervenue au Vedica Scholars Campus dans le cadre de l’événement Women in Responsible AI pour discuter des cadres de gouvernance de l’IA en marge de l’India AI Impact Summit .
[ENGLISH VERSION]
Seven Chakras and Zero Constraint for AILast week, the fourth international AI summit brought official delegations from more than 80 countries to New Delhi. The resulting statement is organized around seven “chakras” — pillars meant to guide how this technology is developed and used, such as “democratizing access to AI resources” or “safe, trustworthy AI.” But these principles read more like spiritual aspirations than real-world obligations: for each one, the declaration carefully notes that any related mechanisms are voluntary initiatives with no legal force. (“Voluntary” appears 15 times — the most frequent word in the text after “AI.”)
Yet, the leaders of the three companies at the cutting edge of AI publicly argued for global oversight. Sam Altman (OpenAI) said that “the world may need something like an IAEA International Atomic Energy Agency for international coordination on AI.” Demis Hassabis (Google DeepMind) called for “international dialogue and, ideally, a minimal baseline of shared standards worldwide.” And Dario Amodei (Anthropic) raised the prospect of a global treaty: “Could we have a global treaty saying that everyone building powerful AI models will prevent them from doing X, with enforcement mechanisms around that treaty — and that China signs it? […] I don’t think that’s too utopian. I think it’s possible.”
The idea of an “IAEA for AI” isn’t new: António Guterres embraced it back in 2023. In the nuclear domain, the IAEA sets international safety standards and conducts assessment and inspection missions. Despite the obvious differences between nuclear facilities and data centers, some of the tools used for oversight and verification could be adapted.
An IAEA for AI would make it possible to draw clear, shared red lines — and to verify compliance — instead of relying on voluntary principles that are all but designed to be sidestepped or ignored.The scientific community is converging on the same conclusion. Last week, a statement signed by 145 university professors in Germany echoed our Global Call to Establish Red Lines for AI, demanding “binding safety rules” and an international agreement that includes “red lines.”
So if industry leaders and researchers agree on the need for a binding global framework, it’s worth asking why the Indian summit’s final text was so weak. Part of the answer lies in the stance of Donald Trump’s administration which, through Michael Kratsios, reiterated its “total” rejection of “global AI governance.” But an American veto doesn’t prevent other countries from moving forward. Shortly after France’s G7 presidency announced it wanted to “work toward global consensus on AI safety,” Switzerland — which will host the next world AI summit in 2027 — pointed out that “Geneva is at the epicenter of multilateralism,” and said it intends to refocus the conversation on governance.
New Frontiers
What AI couldn’t do yesterday
Mustafa Suleyman, Microsoft’s head of AI, believes most office work could be automated within 12 to 18 months. (Financial Times)
IBM shares fell by around 13% after Anthropic announced a tool that can help modernize COBOL code — an old language still widely used in enterprise mainframe environments. (CNBC)
According to Scientific American, OpenAI says it’s making progress on First Proof, a challenge in which mathematicians submit original problems to test whether AI can produce genuine proofs. (Scientific American)
Ledger of Harms
AI risks SOTA
Under competitive pressure, Anthropic has walked back its pledge never to train or deploy a new model without sufficient safety measures in place. (TIME)
Citrini Research published an essay-fiction that went viral in the finance community, depicting a “2028 crisis” in which white-collar automation depresses consumption and sends the S&P 500 down 38%. (Citrini Research)
OpenAI has begun testing ads in ChatGPT in the U.S. (Free and Go plans), with sponsored content potentially appearing as early as the very first response. (Search Engine Land)
Goldman Sachs expects a surge in U.S. data-center electricity demand, projecting a 175% increase by 2030 (relative to 2023). (Goldman Sachs)
Legal Framework
Code is not law
The Pentagon has issued an ultimatum to Anthropic to remove Claude’s restrictions on military use. (Le Monde)
Former xAI employees accuse the company of deprioritizing safety, describing an internal culture of “ship fast” where challenging decisions is seen as risky. (The Verge)
Bernie Sanders says he wants to introduce a federal bill to impose a moratorium on building data centers. (X)
AI Geopolitics
Cooperation vs. Competition
Anthropic accuses three Chinese labs (DeepSeek, Moonshot AI, and MiniMax) of creating more than 24,000 fake accounts to massively “siphon” Claude’s answers and train their own models. (Anthropic)
The OpenAI–Anthropic rivalry was on full display at a summit in India, where their leaders carefully avoided the symbolic handshake for the group photo. (CNBC)
Forecasters put the probability at 12% that a Chinese model will enter the Epoch Capabilities Index top 3 by the end of 2026. (Epoch AI)
In India, Reliance is announcing roughly $110 billion in investment over seven years to build “gigawatt-scale” AI data centers. (TechCrunch)
CeSIA updates
CeSIA co-hosted the workshop “Defining and Governing Unacceptable AI Risks” during the AI Safety Connect Day, held alongside the India AI Impact Summit, to advance work on shared international “red lines” and concrete governance approaches to prevent AI risks considered universally unacceptable.
Pauline Charazac, our Head of Institutional Relations, also spoke at Vedica Scholars Campus as part of the Women in Responsible AI event, where she discussed AI governance frameworks on the sidelines of the India AI Impact Summit.