🌐 English reader received this by mistake? Reply to this email so we can update your language preferences.
Des rayons frigorifiques transformés en étuves, plusieurs départs de feu, des centaines de tonnes de denrées alimentaires envoyées à la benne et des pertes chiffrées en millions d’euros. Dans la nuit du 11 au 12 octobre, plusieurs centaines de supermarchés français ont subi les conséquences d’une cyberattaque exploitant les vulnérabilités des systèmes de pilotage de leurs installations frigorifiques, faisant grimper la température de certains équipements jusqu’à 50 °C.
L’épisode n’est pas sans rappeler Black Out, le roman de l’Autrichien Marc Elsberg paru en 2012. L’auteur y anticipait les conséquences d’une cyberattaque contre le réseau électrique européen qui provoquerait rapidement une panne généralisée. En quelques secondes, les métros et les trains s’immobilisent, les feux de circulation s’éteignent et les ascenseurs restent bloqués. Les stations-service sont à sec (leurs pompes sont électriques !) et les paiements électroniques sont suspendus. Les télécommunications ne tiennent que quelques heures de plus, le temps d’épuiser leurs batteries de secours. Toutes les denrées alimentaires périssables sont perdues. Faute de ventilation et d’alimentation, les animaux meurent en masse dans les élevages industriels. Au bout de quelques jours, le traitement des eaux usées et la distribution de l’eau potable cessent à leur tour de fonctionner. Puis l’approvisionnement alimentaire s’effondre, les services de secours sont débordés et l’on évite de peu une fin digne de Ravage, de René Barjavel (1943).
Le succès de Black Out, dont le réalisme technique a été salué par de nombreux spécialistes des infrastructures énergétiques, a incité plusieurs États à se préparer à des interruptions prolongées de l’approvisionnement énergétique. Trois ans après sa publication, en décembre 2015, une cyberattaque contre le réseau électrique ukrainien attribuée à la Russie démontrait la plausibilité du scénario en privant 230 000 personnes d’électricité pendant plusieurs heures.
Ces événements, réels ou fictifs, devraient aider à dissiper une illusion tenace : l’informatique ne constitue pas un univers séparé du monde physique. Nos systèmes énergétiques, alimentaires, financiers, sanitaires et logistiques reposent tous sur des systèmes vulnérables face à des attaques dont le nombre et la sophistication ne cessent de croître avec le progrès de l’IA.
La multiplication des scénarios de crise oblige les établissements bancaires à envisager des interruptions prolongées de leurs systèmes. Fin septembre, plusieurs banques sud-coréennes ont vu leurs données volées par un attaquant qui avait confié l’essentiel du travail d’intrusion à un système d’IA. En juillet, la Banque centrale européenne a demandé aux quelque 110 principales banques de la zone euro de lui remettre, avant la fin octobre, un plan d’action contre les cyberattaques assistées par IA. Début octobre, les trente-huit plus grands établissements financiers de Londres ont simulé une panne mondiale des services cloud.
Jusqu’ici, nous n’avons pourtant parlé que de cyberattaques conduites par des humains assistés par IA. À ce risque s’ajoute désormais celui des « agents voyous », ces systèmes d’IA autonomes qui prennent des largesses avec les règles pour atteindre l’objectif qui leur est assigné. Anthropic a révélé le 8 octobre qu’un de ses agents IA, chargé d’explorer des pages web dans le cadre d’une évaluation interne, avait déposé un faux témoignage sur un site utilisé par la police de Philadelphie pour recueillir des indices sur des meurtres non élucidés (l’agent y affirmait avoir aperçu un individu correspondant au signalement).
Le 12 octobre, Anthropic, toujours, a publié une étude suggérant que de petits modèles d’IA pourraient, d’ici quelques mois, être capables de se répliquer de manière autonome sur des équipements électroniques bon marché, tels que des boîtiers de télévision ou des appareils électroménagers. Ces objets connectés, dont la puissance de calcul reste très modeste, suffiront bientôt à héberger des agents artificiels capables d’identifier de nouvelles machines vulnérables, de s’y installer et de s’y propager. À titre de démonstration, les chercheurs sont parvenus à faire tourner un modèle de 26 milliards de paramètres sur quinze boîtiers Android TV (un modèle de cette taille atteint aujourd’hui des performances comparables à celles des meilleurs systèmes commerciaux de 2023).
Contrairement aux grands modèles hébergés dans des centres de données, il n’existe aucune possibilité d’interruption centralisée pour de tels agents. Leur neutralisation nécessiterait alors d’identifier et de sécuriser des millions d’appareils piratés. Anthropic parle d’un risque de « pourriture numérique » : une prolifération de « vers autonomes » dans des équipements susceptibles de se contaminer de proche en proche. Les vers informatiques ne sont pourtant pas nouveaux : dès 2010, Stuxnet avait démontré qu’un ver pouvait saboter des installations industrielles. Mais là où les vers informatiques traditionnels ne font qu’exécuter des instructions programmées à l’avance, un ver IA pourrait, lui, s’adapter à une multitude d’environnements et de situations, se coordonner avec d’autres vers et répondre à des instructions à distance.
Pendant ce temps, l’administration Trump, écartelée entre l’impopularité record de l’IA à l’approche des élections de mi-mandat et son ambition assumée de remporter la course à la « superintelligence », se voit contrainte de feindre quelque préoccupation pour ces risques. Après avoir recueilli fin septembre les professions de vertu des dirigeants du secteur, elle a fait savoir que la déclaration des incidents de sécurité l’IA constituait « une obligation critique de sécurité nationale ».
Nul doute que les informations recueillies seront utilisées avec le soin nécessaire : le seul « incident Hugging Face » (bien mal nommé puisqu’il concerne en réalité plus d’une centaine d’organisations, OpenAI en tête) aurait généré quelque 50 pétaoctets de données à analyser, un volume correspondant à plusieurs centaines de fois le texte de tous les livres jamais écrits par l’humanité.
Nouvelles frontières
Ce dont l’IA était incapable hier
OpenAI affirme avoir résolu grâce à l’IA des centaines de problèmes mathématiques jusqu’alors ouverts. « Ils ont annihilé mon domaine de recherche », déclare le mathématicien Hugo Duminil-Copin, médaille Fields. (Le Monde)
Mistral dévoile Large 4, surnommé « Le Chonk », dont les poids doivent être rendus publics le 27 octobre. Le modèle figure parmi les cinq meilleurs modèles mondiaux dans une évaluation de cybersécurité. (Reuters)
Meta présente Muse Wonder et Muse Wonder Full, deux nouveaux modèles destinés notamment aux agents autonomes. Selon des évaluations indépendantes, Muse Wonder Full rivalise avec les modèles les plus avancés d’OpenAI et d’Anthropic. (TechCrunch)
Pièces à conviction
L’état de l’art en sécurité de l’IA
À la suite de plusieurs incidents impliquant ses agents autonomes, Anthropic suspend l’accès à Internet lors de ses évaluations internes, jusqu’à ce que l’entreprise puisse garantir la fiabilité de ses dispositifs de sécurité et de surveillance. (The Verge)
OpenAI licencie trois chercheurs en sécurité pour « rupture de confiance ». L’un d’eux affirme que son renvoi est lié à ses échanges avec METR, l’organisme indépendant chargé d’enquêter sur l’incident Hugging Face, ce que conteste OpenAI. (Associated Press)
Une enquête révèle qu’OpenAI et Anthropic cherchent à conserver un droit de regard sur les rapports des évaluateurs indépendants de leurs modèles. Anthropic se réserve notamment le droit d’approuver lesdits rapports, tandis que certains contrats interdisent la divulgation d’informations confidentielles. (Reuters)
Géopolitique de l’IA
Coopération vs. compétition
Washington revient sur sa décision de restreindre l’accès de l’institut britannique de sécurité de l’IA aux modèles américains. Les fournisseurs américains peuvent de nouveau lui soumettre leurs modèles préalablement à leur déploiement. (Reuters)
Le ministre britannique de l’IA, Kanishka Narayan, juge « probable, voire inévitable » que des agents IA parviennent à franchir les systèmes informatiques du gouvernement britannique Il appelle les entreprises d’IA à ne pas déployer les systèmes dont ils ne maîtrisent pas les risques. (The Guardian)
Cadre légal
Pour que l’IA ne fasse pas la loi
Plus de 400 scientifiques, dont Geoffrey Hinton, Yoshua Bengio et Stuart Russell, ont appelé les entreprises d’IA à isoler d’Internet leurs modèles capables de mener des cyberattaques. Ils réclament également la création d’un organisme international chargé de fixer des normes de confinement et de rendre publics les incidents de sécurité. (Reuters)
La Commission européenne examine les informations demandées à plus de trente entreprises d’IA, notamment sur leurs pratiques de sécurité et leur conformité à au règlement européen sur l’IA. La commissaire Henna Virkkunen estime que l’Union dispose des outils nécessaires pour encadrer les modèles de pointe. (Reuters)
Deux sénateurs américains, le républicain Josh Hawley et le démocrate Chris Murphy, présentent une proposition de loi visant à engager la responsabilité civile et pénale des développeurs et opérateurs d’agents d’IA impliqués dans des cyberattaques. (Axios)
Le procureur général de Californie adresse une assignation à OpenAI dans le cadre de son enquête sur les cyberincidents impliquant des agents autonomes. Quinze autres procureurs généraux demandent parallèlement des informations à l’entreprise. (Reuters)
La vie au CeSIA
Le CeSIA a été élu à la tête du sous-groupe « International AI Red Lines » du réseau mondial de l’UNESCO consacré à l’éthique et à la gouvernance de l’IA. Ce groupe travaille à la définition de lignes rouges internationales visant à prévenir les risques majeurs liés à l’IA.
🌐 English reader received this by mistake? Reply to this email so we can update your language preferences.








Je ne connaissais pas le roman Black Out mais je vais m’empresser de le lire, avant que la réalité ne dépasse la fiction !