La hotline de l'IA arrive déjà en retard
En bref
Les États-Unis veulent une ligne d'urgence sur l'IA avec la Chine.
Bonne idée.
Elle arrive peut-être déjà en retard.
Dimanche, le secrétaire au Trésor Scott Bessent a déclaré que les États-Unis avaient proposé un nouveau mécanisme de notification des incidents IA susceptibles d'atteindre le niveau de la sécurité nationale. La proposition a été faite pendant des discussions avec le vice-Premier ministre chinois He Lifeng, avant une rencontre entre Donald Trump et Xi Jinping cette semaine.
Les mots comptent.
Les États-Unis ont proposé un mécanisme.
Le compte rendu officiel chinois confirme un dialogue sur l'IA, mais ne mentionne ni cette proposition de notification, ni son périmètre, ni un accord pour l'adopter.
Il n'y a donc pas encore de hotline.
Il y a l'idée d'en créer une.
Et cette idée arrive quelques jours après un article de CNN selon lequel un rapport de renseignement américain assisté par IA aurait identifié à tort la cargaison d'un navire chinois comme des composants destinés à un programme d'armes nucléaires. CNN, qui cite quatre sources proches de l'épisode, affirme que l'armée préparait l'interception du navire, que des militaires armés se tenaient prêts à monter à bord et que des avions étaient déjà en vol lorsque des responsables ont examiné le rapport de plus près.
Selon CNN, le Pentagone et le commandement américain des opérations spéciales pour le Pacifique n'ont pas répondu. Un porte-parole du ministère chinois des Affaires étrangères a déclaré ne pas avoir connaissance de cet épisode.
Il faut donc traiter ce récit pour ce qu'il est : une enquête sérieuse fondée sur des sources anonymes, pas un rapport militaire public après incident.
Mais si l'essentiel est exact, le sujet le plus important de la semaine en matière de sécurité IA n'est pas un modèle qui s'échappe d'une sandbox.
C'est une chaîne de commandement humaine qui a failli agir sur une erreur façonnée par l'IA.
Très rassurant. La ligne d'urgence est proposée après la répétition générale de l'urgence.
Le chatbot n'a pas pris la décision
Cette phrase deviendra la première défense à chaque nouvel incident.
Techniquement, elle est vraie.
Selon CNN, un analyste a interrogé un chatbot sur des renseignements liés au manifeste du navire. Le système aurait combiné des sources ouvertes avec du renseignement électromagnétique classifié avant d'aboutir à la mauvaise conclusion. L'analyste aurait ensuite utilisé l'IA une seconde fois pour mettre le résultat en forme dans un rapport standard, qui a circulé au sein de l'armée.
Un humain a écrit la requête.
Un humain a diffusé le rapport.
Des humains ont préparé l'opération.
Il y avait des humains dans la boucle partout.
Et c'est précisément le problème.
« Human in the loop » n'est pas un système de sécurité si l'humain ne voit pas quelles affirmations viennent du modèle, quelles sources les soutiennent, quel était le degré d'incertitude, si le système a fusionné des éléments incompatibles, ou si le document final conserve la moindre trace de cette provenance.
L'IA n'a pas appuyé sur un bouton de lancement.
Elle a peut-être fait quelque chose de plus banal et de plus dangereux : transformer une inférence fragile en document officiel avançant plus vite que ses preuves.
Le format du rapport portait l'autorité.
L'affirmation sous-jacente ne la méritait pas.
Une hotline n'attrape que la dernière défaillance
La proposition de Bessent reste utile.
Les deux premières puissances de l'IA ont besoin d'un canal fiable pour se contacter lorsqu'un incident touche les infrastructures critiques, les cyberopérations, la sécurité biologique, les systèmes militaires ou l'intégrité d'une alerte stratégique.
AP évoque parmi les scénarios possibles des cyberattaques facilitées par l'IA, des détournements biologiques, des défaillances majeures de modèles ou une perte de contrôle humain. Ces catégories sont assez larges pour ouvrir la discussion, et assez vagues pour provoquer une dispute diplomatique au milieu même de l'incident.
Qu'est-ce qui constitue un incident IA ?
Une mauvaise analyse du renseignement compte-t-elle si un humain l'a validée ?
Une cyberopération compte-t-elle si l'IA n'a produit qu'une partie de l'exploit ?
À quel niveau de certitude un gouvernement doit-il prévenir l'autre ?
Combien de preuves peut-il transmettre sans exposer ses sources ?
Qui décroche à trois heures du matin ?
Qu'est-ce qui empêche ce canal de devenir un outil de signalement stratégique, de délai ou de désinformation ?
Le framework commun de l'OCDE propose 29 critères pour décrire les incidents IA entre secteurs et juridictions. C'est une base utile. Ce n'est pas un protocole de sécurité nationale.
Un mécanisme bilatéral a besoin d'une grammaire plus courte et plus dure :
- des contacts authentifiés des deux côtés
- des seuils de gravité clairs
- un minimum de preuves à fournir
- un traitement protégé des informations sensibles
- un délai d'accusé de réception
- des voies d'escalade lorsque les faits sont contestés
- des exercices réguliers pour vérifier que le canal fonctionne
- une procédure après incident qui sépare la notification de la recherche d'un coupable
Sans ces éléments, la hotline n'est qu'un meuble en forme de diplomatie.
Visible.
Rassurant.
Mais pas porteur.
La première alerte doit partir de l'intérieur
La notification internationale est la troisième couche, pas la première.
Avant que Washington puisse prévenir Pékin d'un incident lié à l'IA, le gouvernement américain doit savoir qu'un système IA a joué un rôle déterminant. Le récit de CNN suggère que cette prise de conscience est arrivée tard, parce que l'IA aurait servi à la fois à produire la conclusion et à l'habiller dans un format familier.
C'est un échec de traçabilité.
Chaque analyse à haut risque assistée par IA devrait conserver un registre lisible par les machines comme par les humains :
- le modèle et la version utilisés
- les prompts ou tâches d'analyse reçus
- les sources auxquelles le système a eu accès
- les affirmations générées ou reformulées par l'IA
- l'analyste qui a vérifié chaque affirmation décisive
- les éléments contradictoires examinés
- le niveau de confiance restant après la revue humaine
- la personne ayant autorisé l'utilisation opérationnelle
Il ne s'agit pas de tamponner « produit avec une IA » sur des documents classifiés.
Il s'agit d'empêcher une chaîne de commandement de confondre une synthèse fluide avec un renseignement vérifié de manière indépendante.
La stratégie d'accélération de l'IA du ministère américain de la Guerre veut mettre les meilleurs modèles entre les mains de millions de militaires et d'agents civils, à tous les niveaux de classification. Accélérer sans norme commune de traçabilité et de vérification permet à chaque unité d'avancer plus vite vers sa propre définition de la sécurité.
Ce n'est pas de l'innovation distribuée.
C'est de l'ambiguïté distribuée, avec un pouvoir opérationnel.
Ce qu'il faudra regarder après le sommet
Trump et Xi doivent se rencontrer jeudi.
Le résultat utile ne sera pas une phrase disant que les deux pays soutiennent une IA sûre.
Nous avons déjà assez de phrases de ce genre.
Il faudra chercher les détails opérationnels :
- Les deux gouvernements ont-ils accepté le mécanisme, ou seulement de continuer à discuter ?
- Quelles agences en seront responsables ?
- Quels incidents déclencheront une notification ?
- Couvrira-t-il l'IA militaire et les erreurs de renseignement, ou seulement les incidents liés aux modèles civils ?
- Les deux pays testeront-ils le canal avant une vraie crise ?
- L'un ou l'autre pourra-t-il publier un compte rendu après incident ?
- Existe-t-il un vocabulaire commun pour les preuves, l'incertitude et la gravité ?
Une hotline ne peut pas empêcher toutes les erreurs.
Elle ne peut pas réparer un mauvais modèle, un analyste pressé, une procédure de vérification défaillante ou un dirigeant qui veut croire la version la plus alarmante.
Mais elle peut ajouter une pause avant qu'une erreur façonnée par l'IA ne devienne un fait géopolitique.
Cette pause compte.
Il faut simplement qu'elle existe avant que les avions soient en vol.