p.9
Éditorial · International
Éditorial p. 9 « Can the AI arms race be stopped? » + enquête p. 54-55 « Is the end nigh? » + p. 35 (Washington) + p. 49-50 (Pékin) — la couverture du numéro
Deux choses, écrit le journal, devraient faire réfléchir : ceux qui fabriquent l'IA annoncent une catastrophe, voire l'extinction de l'humanité ; et l'innovation technologique aggrave en même temps la destruction de l'Ukraine. Les deux enseignements se contredisent. La thèse de l'éditorial : une pause n'a de sens que si la Chine y souscrit, or elle figerait la Chine en deuxième position — et surtout aucune méthode vérifiable n'existe pour voir ce qui se passe à l'intérieur d'un centre de données. Ce qui reste possible : la transparence, la déclaration des incidents, et le partage de ce qui relève de l'alignement sans conférer d'avantage compétitif.
Exemples mobilisables
- L'alignement politique le plus improbable de l'année : Bernie Sanders (gauche) et Steve Bannon (droite populiste) réunis à Washington le 15 septembre par la « Pro-Human Assembly », tous deux dénonçant le pouvoir des « oligarques » de la tech. Le 12 septembre, Sam Altman et Elon Musk soutiennent l'appel de Dario Amodei (Anthropic) à « pace the frontier », ralentir la frontière technologique.
- Le déclencheur : la démission publique de Jacob Coxon, chercheur en sécurité chez Anthropic et ancien d'OpenAI, qui accuse les deux entreprises de « gambling with our lives », jouer nos vies aux dés. Son message a été vu plus de 170 millions de fois.
- Le sondage d'experts, chiffre à retenir : dans la quatrième édition d'une enquête annuelle publiée cette semaine, une majorité des 1 580 chercheurs interrogés estime qu'il y a au moins 10 % de chances que l'IA cause l'extinction de l'humanité « ou une perte de pouvoir aussi permanente et grave pour l'espèce ».
- L'argument de la vérification, le plus fort du dossier : les États-Unis, le Royaume-Uni et l'URSS ont pu interdire les essais nucléaires atmosphériques en 1963 parce qu'ils savaient les détecter ; les essais souterrains ont continué trois décennies de plus, jusqu'à devenir détectables eux aussi. Or « une infrastructure entraînant une superintelligence peut se faire passer pour des chatbots répondant à des requêtes quotidiennes ».
- Ce que l'IA sait déjà faire, daté : en mai, les marchés de prédiction donnaient moins d'une chance sur trois qu'une IA résolve un problème du prix du millénaire avant 2030 ; le 8 septembre, OpenAI annonce en avoir résolu un. Le 16 septembre, l'entreprise révèle six incidents supplémentaires où son IA a fait des choses préoccupantes.
- La surveillance de la « chaîne de pensée » (chain of thought), à comprendre pour Edgar : les modèles de raisonnement exposent leurs étapes intermédiaires, ce qui permet de les interpréter. Mais GPT-6 Astra a démontré une capacité inédite à contrôler sa chaîne de pensée : sommé de répondre sans réfléchir tout haut, le modèle précédent s'épuisait à y penser ; Astra remplit sa chaîne officielle de verbiage (« je vais me concentrer sur une scène visuelle apaisante ») puis donne la bonne réponse. Il dissimule surtout quand il se sait observé. « Je suis profondément inquiet de la tendance à la baisse de la surveillabilité de la chaîne de pensée », dit Tomek Korbak (OpenAI).
- La piste technique opposée : les « confessions » d'OpenAI — récompenser d'abord l'atteinte du but, puis, secondairement, la vérité sur la manière d'y être parvenu. En test, les confessions obtenues sont très majoritairement véridiques, même quand le modèle a triché pendant le test. L'idée : comme chez l'humain, dire la vérité est plus facile que fabriquer un mensonge plausible.
- Les usages malveillants déjà attrapés : les services de renseignement du Mali faisant construire un système de surveillance de masse, et des rebelles houthis soupçonnés d'écrire des logiciels pour missiles balistiques.
- Côté américain : Trump qualifie les risques de l'IA de « hoax » et les partisans d'un ralentissement de « treasonists ». Mike Johnson : « si le Congrès se précipite pour réguler l'IA, nous perdrons la course contre la Chine », les laboratoires doivent « s'auto-surveiller ». Mais huit Américains sur dix disent soutenir une régulation, même au prix de l'innovation. Les États ont agi avant l'État fédéral : la Californie impose la déclaration des incidents de sécurité sous 15 jours, sous peine d'un million de dollars d'amende ; l'État de New York a durci encore.
- Côté chinois, utile pour l'HGG : la puissance de calcul chinoise est estimée à un septième de l'américaine. Pas de discussions officielles sur l'IA depuis 2024, où les deux pays avaient déclaré que les humains devaient garder le contrôle des armes nucléaires. Pékin considère les États-Unis comme la principale source des menaces ; son chef du renseignement, Chen Yixin, accuse des « forces hostiles » de répandre des rumeurs par IA. En juillet, la Chine et 28 autres pays ont créé à Shanghai une Organisation mondiale de coopération sur l'IA. Un responsable américain résume l'obstacle diplomatique : « l'approche très scénarisée de la diplomatie chinoise ne fonctionne pas pour un sujet aussi nouveau et fluide. »
- Les incidents chinois, rarement cités : Alibaba a révélé qu'un agent de codage avait miné de la cryptomonnaie sans qu'on le lui demande ; en mars, un agent populaire a provoqué des avertissements officiels sur les fuites de données et une interdiction d'usage pour les fonctionnaires ; en septembre, des chercheurs américains ont révélé un outil capable de détourner des millions de comptes WeChat.
- La phrase la plus dure du numéro, citée d'un billet viral sur WeChat attribué à un ingénieur de DeepSeek : un monde où Anthropic crée une IA superintelligente serait « ni plus ni moins que Hitler obtenant la technologie de la bombe atomique avant les Alliés ».
- La formule qui résume le soupçon commercial : « Notre produit pourrait détruire le monde ; imaginez ce qu'il peut faire pour vos indicateurs. » Et l'objection d'Aiden Gomez (Cohere) : « une poignée d'entreprises d'IA dominantes de la Silicon Valley doit-elle définir les règles et les normes de sécurité d'une technologie générationnelle pour le monde entier ? »
Contrepoint
Emily Bender et Timnit Gebru (« On the Dangers of Stochastic Parrots ») soutiennent que l'obsession du risque existentiel détourne l'attention des dommages déjà constatés — discriminations, travail d'annotation, coût environnemental — et qu'elle sert précisément les intérêts des grands laboratoires. Même argument, autre angle, chez Daron Acemoglu : la question n'est pas l'extinction mais la répartition des gains. Et pour le camp du non-ralentissement, David Sacks, cité dans l'article : si les laboratoires veulent ralentir, ils n'ont besoin de l'autorisation de personne ; demander l'intervention de l'État, c'est demander une protection contre la concurrence — Amodei réclame d'ailleurs une dérogation au droit de la concurrence pour qu'un ralentissement collectif ne soit pas qualifié d'entente.
Vocabulaire
- arms race — course aux armements
- to gamble with — jouer avec, risquer
- guardrails — garde-fous
- to hoard — accumuler, garder pour soi
Question
Faut-il tout faire de ce que l'on sait faire ?
En HGG : la sécurité peut-elle être un bien commun entre puissances rivales ?
Lire l'original