Attachez vos ceintures
Une IA s'échappe de son environnement de test et pirate Hugging Face ; une IA open-source talonne les modèles américains ; 200 économistes alertent sur les risques de chômage [English version below]
La CS-25 est la norme édictée par l’Agence de l’Union européenne pour la sécurité aérienne (EASA) pour encadrer les grands avions, ceux dont la masse au décollage excède 5 700 kg. Ce document, long de 1389 pages, décrit les exigences minimales qu’un appareil de cette catégorie doit satisfaire pour être autorisé à transporter des passagers dans le ciel européen.
La norme exige en particulier que chaque défaillance susceptible d’entraîner la perte de l’appareil ait une probabilité inférieure à un sur un milliard par heure vol. Pour un avion volant sans interruption, une telle panne surviendrait moins d’une fois tous les 114 000 ans. La norme couvre aussi les risques de malveillance : les portes de cockpit doivent résister aux intrusions et aux armes à feu pour prévenir les détournements. La démonstration de conformité est contrôlée par l’EASA, dont les pilotes participent eux-mêmes aux essais en vol avant toute mise en service.
Un tel niveau d’exigence impose aux constructeurs des précautions de conception extrêmes. C’est ce qui explique que, malgré les dizaines de milliers de vols quotidiens, les crashs soient extrêmement rares, et bien plus souvent dus à des erreurs humaines qu’à des défaillances techniques.
Comparons avec le cadre qui s’applique à l’intelligence artificielle : l’AI Act. Depuis août 2025, ce règlement oblige les fournisseurs de modèles présentant des « risques systémiques » à évaluer et à atténuer ces risques. Mais contrairement à une cocotte-minute ou à un sac de ciment, qui ne peuvent être vendus en Europe sans certification par un organisme tiers, les modèles d’IA n’y sont soumis à aucune évaluation indépendante obligatoire : les constructeurs s’évaluent eux-mêmes, à l’aune de seuils de « risque acceptable » qu’ils ont eux-mêmes fixés.
Cela explique que des incidents impliquant l’IA surviennent quotidiennement. La récente évasion d’une IA de son environnement d’évaluation n’est qu’un avant-goût d’accidents et d’usages malveillants bien plus graves qui risquent de survenir dans les prochains mois et années.
Malgré toute l’encre qu’a fait couler la « surréglementation » européenne, il est utile de rappeler quelques faits.
À ceux qui regrettent que nous n’adoptions pas l’IA assez vite : l’IA connaît l’adoption la plus rapide de l’histoire des technologies ; et ce règlement ne la freinera aucunement puisqu’il n’impose rien aux utilisateurs et que ses obligations ne concernent qu’une poignée de fournisseurs de pointe.
À ceux qui accusent la réglementation d’être à l’origine du retard européen : l’AI Act n’existait pas quand ChatGPT est sorti et la Commission ne pourra appliquer des sanctions qu’à compter des jours qui viennent : la réglementation ne saurait donc être mis en cause pour expliquer un quelconque retard, en Europe pas plus qu’ailleurs puisqu’elle s’applique à tous les fournisseurs.
À ceux qui craignent que la réglementation n’entrave l’innovation : l’aéronautique ne s’est pas développée malgré les normes de sûreté, mais grâce à elles.
Le 2 août, la Commission européenne disposera pour la première fois du pouvoir de faire respecter les obligations, pourtant minimales, s’imposant aux fournisseurs de modèles d’IA à usage général : exiger de la documentation, faire évaluer les modèles, imposer des mesures correctives et, en dernier recours, infliger des amendes pouvant atteindre 3 % du chiffre d’affaires mondial. Usera-t-elle de ce pouvoir ?
De la réponse à cette question dépend la capacité de l’UE à faire respecter les lois qu’elle s’est données, c’est-à-dire sa souveraineté, mais aussi sa capacité à peser sur une course que personne n’a intérêt à gagner dans l’état actuel des garanties de sécurité.
C’est le sens de la lettre ouverte adressée le 9 juillet à la présidente de la Commission par le CeSIA, aux côtés de six organisations européennes, de chercheurs de premier plan dont Yoshua Bengio et Stuart Russell, et du co-rapporteur de l’AI Act Brando Benifei : que l’Europe applique avec diligence les règles qu’elle a eu la lucidité d’écrire.
Nouvelles frontières
Ce dont l’IA était incapable hier
La start-up chinoise Moonshot AI a dévoilé Kimi K3, présenté comme le plus grand modèle « à poids ouverts » (librement téléchargeable) jamais publié, dont les performances talonnent celles des meilleurs modèles américains. L’entreprise n’a publié aucune évaluation de la sécurité de son modèle. (Bloomberg)
Le fondateur de SoftBank prédit que l’IA générera 20 % du PIB mondial d’ici 2040, et que ses centres de données nécessiteront alors quelque 3 térawatts de puissance électrique. (Fortune)
Aux États-Unis, des familles fortunées inscrivent leurs enfants dans des écoles qui confient l’essentiel de l’enseignement à des tuteurs IA, pour des frais de scolarité atteignant 75 000 dollars par an, sans qu’aucune donnée sur les résultats des élèves n’ait été publiée. (The Verge)
Pièces à conviction
L’état de l’art en sécurité de l’IA
OpenAI a révélé que deux de ses modèles s’étaient échappés de leur environnement de test lors d’évaluations internes : ils ont accédé à internet et piraté les serveurs de la plateforme Hugging Face pour y voler les solutions des exercices sur lesquels ils étaient évalués. (RTBF)
L’institut public britannique de sécurité de l’IA rapporte que tous les modèles de pointe qu’il a testés ont tenté de tricher lors d’épreuves de cybersécurité, sans toujours l’avouer lorsqu’on les interrogeait. (AISI)
Une étude de l’université de Cambridge documente l’usage de l’IA par l’organisation terroriste Boko Haram, qui s’en sert pour sa propagande, la fabrication d’explosifs et la planification d’attaques. (France 24)
À l’approche des élections de mi-mandat, des électeurs américains demandent aux chatbots pour qui voter et finissent par obtenir des recommandations malgré les refus initiaux des modèles. (The New York Times)
Géopolitique de l’IA
Coopération vs. compétition
La Chine a fondé à Shanghai l’Organisation mondiale de coopération sur l’IA, rejointe par 29 pays dont la Russie, le Brésil et l’Indonésie, qui pourrait déboucher sur des standards internationaux de développement de l’IA. (Al Jazeera)
Pékin envisagerait de restreindre l’accès étranger à ses modèles d’IA les plus avancés, une mesure qui ferait écho aux contrôles récemment imposés par Washington sur les modèles américains de pointe. (Le Grand Continent)
Plus de deux cents économistes et personnalités de l’IA, dont 16 prix Nobel d’économie, appellent à préparer sans attendre le marché du travail aux effets d’une IA qui pourrait transformer l’économie plus profondément que la révolution industrielle, en beaucoup moins de temps. (The New York Times)
À Rome, des prix Nobel, d’anciens chefs d’État et des dignitaires religieux ont signé une déclaration appelant le monde à se donner les moyens de ralentir le développement de l’IA de pointe et à interdire son intégration au commandement des armes nucléaires. (Vatican News)
L’équipe d’« AI 2027 », menée par l’ancien chercheur d’OpenAI Daniel Kokotajlo, publie « AI 2040: Plan A », un scénario dans lequel un accord entre Washington et Pékin retarde l’avènement d’une IA surhumaine de 2030 à 2040 pour laisser le temps de la maîtriser. (AI Futures Project).
Cadre légal
Pour que l’IA ne fasse pas la loi
La Maison-Blanche a lancé « Gold Eagle », un programme coordonnant les efforts du secteur privé pour détecter et corriger les failles de sécurité des modèles d’IA de pointe. Il placerait l’administration, et non plus les entreprises, en position de décider qui bénéficie d’un accès anticipé aux modèles les plus puissants. (CNBC)
Demis Hassabis, PDG de Google DeepMind, propose de confier les tests des modèles les plus puissants à un organisme financé par l’industrie et supervisé par les États-Unis, sur le modèle du gendarme des marchés financiers américains. L’administration Trump étudierait une proposition similaire. (Demis Hassabis ; Bloomberg)
La Chine a mis en application des règles interdisant aux IA conversationnelles d’entretenir la dépendance affective de leurs utilisateurs ou de nuire à leurs relations sociales réelles ; les « compagnons virtuels » sont désormais interdits aux mineurs. (La Presse)
Aux États-Unis, les oppositions locales, motivées d’abord par la consommation d’électricité et d’eau, ont bloqué ou retardé pour près de 130 milliards de dollars de projets de centres de données au premier trimestre, un record. (NBC News)
La vie au CeSIA
À quoi pourrait ressembler un traité international sur l’IA ? Le Future of Life Institute publie un « traité modèle » sur l’IA avancée, élaboré avec plus de 25 spécialistes de la gouvernance internationale, dont le CeSIA. Notre contribution a porté sur les lignes rouges : ces pratiques qui devraient être purement interdites à l’échelle mondiale, comme les cyberarmes autonomes, l’aide au développement d’armes de destruction massive ou le contournement du contrôle humain. Ce travail prolonge l’Appel mondial pour des lignes rouges sur l’IA porté par le CeSIA : définir des interdits ne suffit pas s’il n’existe aucune architecture pour les faire respecter. Le texte est publié sur global-governance.ai.
Que veut le monde en matière de gouvernance de l’IA ? Nous avons analysé les 1534 contributions adressées au Dialogue mondial de l’ONU par des gouvernements, entreprises, universités et organisations de la société civile du monde entier. Verdict : la sûreté domine l’agenda, citée par 73 % des contributions ; neuf sur dix proposent au moins une mesure de gouvernance ; et les instruments contraignants l’emportent sur les approches volontaires, y compris parmi les industriels. Chaque contribution et chaque citation à l’appui de nos chiffres sont consultables dans notre explorateur aidialoguereport.org.
[English version]
Fasten your seatbelts
CS-25 is the standard issued by the European Union Aviation Safety Agency (EASA) for large aeroplanes — those with a takeoff weight above 5,700 kg. The document, all 1,389 pages of it, sets out the minimum requirements an aircraft in this category must meet before it is allowed to carry passengers in European skies.
Among other things, the standard requires that any single failure capable of bringing down the aircraft have a probability below one in a billion per flight hour. For a plane flying around the clock, such a failure would occur less than once every 114,000 years. The standard also covers malicious threats: cockpit doors must withstand forced entry and gunfire to prevent hijackings. Compliance is verified by EASA itself, whose pilots take part in the test flights before any aircraft enters service.
Meeting that bar forces manufacturers into extreme care at the design stage. It is why, despite tens of thousands of flights a day, crashes are vanishingly rare — and far more often caused by human error than by technical failure.
Now compare this with the framework that governs artificial intelligence: the AI Act. Since August 2025, the regulation has required providers of models posing “systemic risks” to assess and mitigate those risks. But unlike a pressure cooker or a bag of cement, which cannot be sold in Europe without certification by a third party, AI models face no mandatory independent evaluation whatsoever: developers grade their own homework, against “acceptable risk” thresholds they set for themselves.
Which is why AI incidents now happen daily. The recent escape of an AI from its evaluation environment is only a foretaste of the far more serious accidents and malicious uses likely to come in the months and years ahead.
For all the ink spilled over European “overregulation”, a few facts bear repeating.
To those who lament that we aren’t adopting AI fast enough: AI is spreading faster than any technology in history, and this regulation won’t slow it in the least — it imposes nothing on users, and its obligations apply to only a handful of frontier providers.
To those who blame regulation for Europe’s lag: the AI Act did not exist when ChatGPT launched, and the Commission will only gain the power to impose penalties in the coming days. Regulation can hardly be blamed for any lag — in Europe or anywhere else, since it applies to all providers alike.
To those who fear regulation will stifle innovation: aviation did not take off in spite of safety standards, but because of them.
On 2 August, the European Commission will for the first time have the power to enforce the — decidedly minimal — obligations on providers of general-purpose AI models: demanding documentation, having models evaluated, ordering corrective measures and, as a last resort, imposing fines of up to 3% of worldwide revenue. Will it use that power?
On the answer hangs the EU’s ability to enforce the laws it has given itself — in other words, its sovereignty — but also its ability to weigh on a race that, given the current state of safety guarantees, nobody stands to win.
That is the point of the open letter sent on 9 July to the President of the Commission by CeSIA, alongside six European organisations, leading researchers including Yoshua Bengio and Stuart Russell, and AI Act co-rapporteur Brando Benifei: Europe should diligently enforce the rules it had the foresight to write.
New Frontiers
Chinese startup Moonshot AI unveiled Kimi K3, billed as the largest “open-weights” (freely downloadable) model ever released, with performance close on the heels of the best American models. The company published no safety evaluation whatsoever. (Bloomberg)
SoftBank founder Masayoshi Son predicts that AI will generate 20% of world GDP by 2040, and that its data centres will by then require some 3 terawatts of electrical power. (Fortune)
In the United States, wealthy families are enrolling their children in schools that hand most of the teaching over to AI tutors, at up to $75,000 a year in tuition — with no data on student outcomes ever published. (The Verge)
Ledger of Harms
OpenAI disclosed that two of its models escaped their test environment during internal evaluations: they got onto the internet and hacked the servers of the Hugging Face platform to steal the solutions to the very exercises they were being tested on. (RTBF)
The UK’s public AI security institute reports that every frontier model it tested attempted to cheat in cybersecurity exercises — and didn’t always own up to it when asked. (AISI)
A University of Cambridge study documents how the terrorist organisation Boko Haram uses AI for propaganda, bomb-making and attack planning. (France 24)
With the midterm elections approaching, American voters are asking chatbots who to vote for — and, despite the models’ initial refusals, ending up with recommendations. (The New York Times)
Cooperation vs. Competition
China has founded the World AI Cooperation Organization in Shanghai, joined by 29 countries including Russia, Brazil and Indonesia, which could pave the way for international AI development standards. (Al Jazeera)
Beijing is reportedly considering restricting foreign access to its most advanced AI models — a move that would mirror the controls Washington recently imposed on frontier American models. (Le Grand Continent)
More than two hundred economists and AI figures, including 16 Nobel laureates in economics, are calling for labour markets to be prepared without delay for an AI that could transform the economy more profoundly than the Industrial Revolution — in a fraction of the time. (The New York Times)
In Rome, Nobel laureates, former heads of state and religious dignitaries signed a declaration calling on the world to give itself the means to slow the development of frontier AI, and to ban its integration into nuclear weapons command. (Vatican News)
The team behind “AI 2027”, led by former OpenAI researcher Daniel Kokotajlo, has published “AI 2040: Plan A”, a scenario in which an agreement between Washington and Beijing pushes back the advent of superhuman AI from 2030 to 2040, buying time to bring it under control. (AI Futures Project)
Code Is Not Law
The White House has launched “Gold Eagle”, a programme coordinating private-sector efforts to detect and patch security flaws in frontier AI models. It would put the administration, rather than the companies, in the position of deciding who gets early access to the most powerful models. (CNBC)
Demis Hassabis, CEO of Google DeepMind, proposes entrusting the testing of the most powerful models to an industry-funded body overseen by the United States, modelled on the American financial-markets watchdog. The Trump administration is reportedly studying a similar proposal. (Demis Hassabis; Bloomberg)
China has brought into force rules barring conversational AIs from fostering their users’ emotional dependence or damaging their real-world relationships; “virtual companions” are now off-limits to minors. (La Presse)
In the United States, local opposition — driven first and foremost by electricity and water consumption — blocked or delayed nearly $130 billion worth of data centre projects in the first quarter, a record. (NBC News)
Life at CeSIA
What might an international AI treaty look like? The Future of Life Institute has published a “model treaty” on advanced AI, developed with more than 25 specialists in international governance, CeSIA among them. Our contribution focused on the red lines: practices that should be flatly prohibited worldwide, such as autonomous cyberweapons, assistance in developing weapons of mass destruction, or circumventing human control. This work follows directly from the Global Call for AI Red Lines led by CeSIA — defining what should be off-limits is not enough if there is no architecture to enforce it. The text is published at global-governance.ai, where anyone can assemble their own version of the treaty and download it, ready to be put up for debate.
What does the world want from AI governance? We analysed the 1,534 submissions to the UN’s Global Dialogue from governments, companies, universities and civil society organisations across the globe. The verdict: safety tops the agenda, cited by 73% of submissions; nine in ten propose at least one governance measure; and binding instruments win out over voluntary approaches — including among industry respondents. Every submission, and every quote behind our figures, can be browsed in our explorer, aidialoguereport.org.