L'IA frontier veut son moment FINRA

13 août 202631 min de lecture

Mise à jour : l'examinateur a un badge. Il lui manque encore une institution

L'évaluateur intégré n'est plus une proposition.

Six personnes de METR disposent maintenant d'ordinateurs Anthropic, d'un espace de travail dans les locaux et d'un accès aux outils et systèmes internes proche de celui des propres équipes d'évaluation des risques de l'entreprise.

C'est une évolution importante.

C'est aussi le test le plus net à ce jour de l'analogie avec les examinateurs bancaires que les labs IA aiment reprendre.

Le 15 octobre, Anthropic a détaillé son nouvel accord avec METR. L'organisation à but non lucratif examinera les risques, les incidents et les pratiques de safety depuis l'intérieur de l'entreprise. Anthropic affirme ne pas pouvoir interdire une publication. METR pourra publier sans approbation de l'entreprise, sous réserve de caviardages dans des catégories définies à l'avance, comme les données clients, les informations couvertes par le secret professionnel, les éléments sensibles pour la sécurité et certains détails sur l'architecture des modèles.

C'est beaucoup plus solide qu'un benchmark exécuté par API avant le lancement.

C'est plus solide aussi que l'accord avec Accenture présenté plus bas, annoncé comme un partenariat encore en route vers un accès plus profond.

Et c'est plus solide qu'un rapport de risque où l'entreprise sélectionne les preuves, rédige les conclusions, puis demande ensuite à un groupe externe de les commenter.

L'évaluateur est désormais dans le bâtiment.

La question importante est ce qui se passe quand il découvre quelque chose que le bâtiment ne veut pas entendre.

L'accès n'est pas une permission binaire

« Proche de celui d'un salarié » paraît simple.

Ça ne l'est pas.

Anthropic dit que l'équipe de six personnes de METR peut utiliser des systèmes internes et recevoir des informations des salariés comme le ferait un collègue chargé des risques d'alignement. Mais l'accès n'est pas identique à celui d'un salarié ordinaire, ni universel. Les données clients, les éléments juridiques protégés et les informations sur l'architecture sont exclus par défaut. Le partage d'informations d'architecture particulièrement pertinentes exige des validations internes supplémentaires. L'équipe METR est aussi cloisonnée du reste de son organisation par des accords juridiquement contraignants.

Ces limites peuvent être raisonnables. Un évaluateur n'a pas besoin de chaque dossier client ni de chaque secret industriel pour faire un travail utile. Un accès large sans contrôle de sécurité créerait son propre risque.

Mais la forme des exclusions compte davantage que l'expression choisie pour présenter l'accord.

Un évaluateur doit savoir s'il peut voir :

les checkpoints non publiés et les runs d'entraînement pertinents
les traces d'agents internes, y compris les échecs et les cas embarrassants
les rapports d'incident et les historiques d'escalade
la couverture du monitoring et le trafic qui lui échappe
le code et la configuration runtime sur le chemin critique des contrôles
les décisions de remédiation, de redémarrage et les exceptions accordées avant lancement
les salariés en privé, sans filtrage des questions ni des réponses par le management

La propre proposition d'évaluation de METR réclame ce type de preuves. Son plan plus détaillé sur les contrôles demande des traces internes représentatives, les dossiers des incidents graves, une visibilité sur les procédures d'escalade, la capacité d'injecter des attaques de test dans les systèmes de monitoring, le code pertinent et un accès limité aux clusters d'exécution.

Le badge compte.

La carte des accès compte davantage.

Les droits de publication sont réels, mais le pouvoir de caviarder reste un pouvoir

Anthropic ne peut pas simplement interdire un rapport de METR.

C'est important.

Mais Anthropic peut exiger le retrait d'informations lorsqu'elle décide qu'elles entrent dans une des catégories protégées définies à l'avance. C'est Anthropic qui tranche en dernier ressort sur l'application de ces catégories. METR conserve le droit de faire certaines déclarations sur l'accès et les informations reçues, notamment pour dire si des limites ou des caviardages ont affecté ses conclusions.

C'est une tentative sérieuse de concilier les preuves publiques avec la sécurité, la vie privée et une confidentialité légitime.

Ce n'est pas une indépendance éditoriale totale.

La politique de transparence sur les processus de METR est remarquablement franche sur ce problème. L'organisation dit ne pas accepter de paiements ni de dons des entreprises IA frontier et chercher à rendre publics le périmètre, les limites d'accès, les caviardages, les conflits et les pressions informelles. Elle reconnaît aussi que le régime volontaire la rend dépendante des entreprises pour accepter la mission, ouvrir leurs systèmes et autoriser la publication. Certaines preuves ne peuvent pas être vérifiées indépendamment et peuvent avoir été filtrées d'une manière qui biaise l'évaluation.

Cette franchise est une qualité, pas une faiblesse.

Un rapport d'évaluateur ne devrait jamais arriver comme une coche verte magique.

Il devrait arriver avec un reçu de processus :

le périmètre et la durée convenus
les systèmes, modèles, logs et salariés rendus accessibles
les éléments retenus ou exclus
le processus de caviardage et les désaccords éventuels
les méthodes utilisées et leurs limites
les conclusions, y compris les incertitudes non résolues
la réponse de l'entreprise et les changements réellement appliqués

Le public n'a pas besoin de connaître chaque secret.

Il doit savoir quelle part de la machine l'évaluateur a été autorisé à inspecter.

Un examinateur résident est plus qu'un expert résident

Anthropic compare explicitement les évaluateurs intégrés aux examinateurs bancaires.

La comparaison est utile parce qu'elle montre ce qui manque encore.

Un examinateur bancaire résident n'entre pas dans une banque uniquement parce qu'elle se porte volontaire. Il agit dans un système juridique et prudentiel. Un régulateur définit son mandat, peut exiger des documents, comparer les établissements, faire remonter ses conclusions et imposer ou recommander des sanctions. La banque ne peut pas mettre discrètement fin à tout le régime quand la relation devient gênante.

METR dispose d'une expertise, d'un accès et de certains droits de publication.

METR n'a pas d'autorité publique.

L'organisation ne peut pas obliger tous les labs frontier à participer. Elle ne peut pas exiger un log manquant, infliger une amende à Anthropic pour un contrôle insuffisant, suspendre le lancement d'un modèle, protéger une source avec des garanties légales pour les lanceurs d'alerte, ni assurer qu'un autre évaluateur obtienne un accès comparable chez OpenAI, Google, Meta ou xAI.

Cela ne rend pas l'accord factice.

Cela en fait un prototype d'examen, pas un substitut à la supervision.

La distinction compte, car le contrôle volontaire fonctionne le mieux quand l'évaluateur et l'entreprise sont d'accord. Le vrai test arrive lorsqu'ils ne le sont pas sur une conclusion dangereuse, un caviardage, un délai de remédiation ou la poursuite du développement.

Si Anthropic peut choisir l'évaluateur, définir les catégories protégées, contrôler les systèmes sous-jacents et mettre fin à la mission, l'institution extérieure dépend encore du consentement continu de l'institution intérieure.

La bonne foi peut produire des preuves précieuses.

Elle ne peut pas garantir un contrôle durable.

Le premier rapport compte davantage que l'annonce

Anthropic mérite qu'on lui reconnaisse le passage d'une promesse à un dispositif opérationnel.

METR mérite qu'on lui reconnaisse la publication de ses contraintes, plutôt que de prétendre que l'accès crée automatiquement l'indépendance.

L'annonce a maintenant besoin de reçus.

Les jalons utiles ne sont pas davantage de logos d'évaluateurs. Ce sont des rapports publics qui montrent :

ce que METR a examiné
ce que METR n'a pas pu examiner
ce qu'Anthropic a caviardé
si un caviardage a changé la conclusion
les points de désaccord entre METR et Anthropic
quel contrôle a changé à la suite d'une conclusion
qui a décidé que la réponse était suffisante
si un lancement, un run d'entraînement ou un déploiement a été retardé ou arrêté

Pour les builders et les acheteurs, la présence d'un évaluateur intégré ne doit renforcer la confiance qu'à hauteur des preuves qu'il produit.

Ne demandez pas seulement si un fournisseur a des évaluateurs externes.

Demandez si leurs rapports sont publics, comparables, rapides et reliés à des décisions.

L'industrie IA vient enfin de placer une paire d'yeux indépendante près de la salle de contrôle.

C'est un progrès.

L'étape suivante consiste à donner au public une institution durable capable d'agir sur ce que ces yeux découvrent.

L'accès produit des preuves.

L'autorité produit des conséquences.

En bref

Demis Hassabis veut donner à l'IA son propre organisme de surveillance.

Pas un comité d'ambiance.

Pas un autre PDF élégant.

Un vrai organisme de standards.

Le 14 juillet, le CEO de Google DeepMind a publié un framework pour l'IA frontier, où il propose que les États-Unis lancent un organisme public-privé chargé des modèles IA les plus puissants. Le modèle qu'il cite est la FINRA, l'organisme financé par l'industrie qui surveille Wall Street sous l'autorité de la SEC.

C'est cette comparaison qui compte.

Pas la poésie AGI.

Hassabis dit que l'AGI pourrait n'être qu'à quelques années. Il parle des contreforts de la singularité, d'une transformation plus grande et plus rapide que la Révolution industrielle, et d'un futur où l'IA accélère la médecine, l'énergie, les matériaux et l'abondance.

Très bien.

La partie vraiment utile est beaucoup moins cinématographique :

Qui teste le modèle avant sa sortie ?

Qui écrit les évaluations de capacités dangereuses ?

Qui a assez de compute pour les lancer ?

Qui voit les résultats ?

Qui peut dire à un lab frontier d'attendre ?

Et que se passe-t-il si le lab n'a pas envie ?

C'est la vraie question.

L'IA frontier essaie de passer des promesses volontaires et des coups de téléphone d'urgence à une infrastructure de marché avant lancement.

La difficulté, c'est de s'assurer que cette infrastructure ait des dents, de l'indépendance et une vraie compétence technique.

Sinon, nous n'obtiendrons pas la FINRA de l'IA.

Nous obtiendrons une boîte à suggestions très chère avec des GPU.

Mise à jour : la boîte à suggestions se rapproche de la salle de contrôle

Un mois plus tard, ce n'est plus seulement un manifeste.

Le 13 août, The Wall Street Journal a rapporté que Hassabis avait discuté de l'idée avec de hauts responsables de l'administration Trump, dont le secrétaire au Trésor Scott Bessent et le conseiller tech Michael Kratsios, avant de quitter la direction quotidienne de Google DeepMind. Le Journal rapporte aussi que Hassabis a défendu le besoin d'un effort mondial de standards mené par les États-Unis lors d'un sommet du G7 en juin avec des dirigeants politiques et des exécutifs IA.

Séparément, WIRED a rapporté que des responsables de la Maison-Blanche devraient probablement réviser le framework IA encore privé de l'administration et l'étendre, à terme, au-delà des modèles fermés d'entreprises comme OpenAI et Anthropic, vers les modèles ouverts qui atteindraient des capacités frontier comparables.

Le mot important dans les deux phrases est "rapporté".

Il n'y a toujours pas de rulebook public. Le framework de la Maison-Blanche reste volontaire, selon WIRED. L'administration garderait les détails privés. Le seuil qui ferait d'un modèle ouvert un modèle frontier n'est pas public. Et l'écart entre "des responsables en discutent" et "c'est une institution responsable" est assez large pour y garer un data center.

Mais la direction compte.

L'idée FINRA-pour-l'IA quitte l'essai pour entrer dans le substrat politique.

Très sain. Le futur de la gouvernance AGI ressemble donc à un group chat entre labs nationaux, frontier labs et aucun PDF public.

Mise à jour : l'évaluateur entre dans le lab, mais pour qui travaille-t-il ?

Le 18 septembre, Anthropic a désigné Faculty, la branche spécialisée d'Accenture, pour placer des évaluateurs externes au sein de l'entreprise. Selon Anthropic, ils testeront les modèles et leurs protections, mèneront des évaluations d'alignement, suivront les décisions d'entraînement et de déploiement, parleront aux équipes et disposeront d'un accès comparable à celui d'un salarié. Anthropic et Accenture prévoient chacun d'investir au moins un milliard de dollars sur cinq ans pour développer cette capacité. Ce sont des engagements futurs, pas des sommes déjà dépensées ni un audit déjà terminé.

C'est un vrai pas au-delà d'un modèle envoyé quelques semaines à une équipe externe chargée de faire tourner des benchmarks.

C'est aussi le moment où la gouvernance devient une question de contrat.

Anthropic paiera directement Accenture. L'entreprise reconnaît qu'il n'existe pas encore de normes établies sur l'accès des évaluateurs, leurs rapports ou leur financement, et préférerait à terme un financement mutualisé ou public. Elle discute aussi de pilotes financés séparément avec METR et d'autres organisations à but non lucratif. L'accord avec Accenture n'est pas exclusif.

Il faut ajouter un détail qu'on ne peut pas balayer : Anthropic et Accenture ont déjà un important partenariat commercial pour vendre et déployer Claude en entreprise, avec une équipe commune dédiée et le projet de former environ 30 000 professionnels d'Accenture. Cela ne prouve pas que Faculty édulcorera une évaluation. Cela veut dire qu'il y a un conflit d'intérêts potentiel à déclarer et à encadrer, pas seulement un modèle à tester.

Le même jour, l'AI Evaluator Forum a publié ses conditions minimales pour les évaluateurs intégrés. Les signataires demandent une indépendance réelle, l'absence d'autres liens commerciaux importants avec le lab, une liberté éditoriale totale, un accès étendu, un canal direct vers les organes de supervision, la publication des conclusions sous réserve de caviardages limités et une protection contre les représailles. Cette lettre propose une norme ; elle ne conclut pas que l'accord Anthropic-Accenture la respecte ou la viole. Mais la condition portant sur les liens commerciaux rend la tension très concrète.

La question n'est plus : « Un tiers sera-t-il dans la pièce ? »

C'est plutôt :

Pourra-t-il voir les données d'entraînement et les incidents nécessaires, même gênants ?
Pourra-t-il publier un avis divergent sans que le lab en réécrive le fond ?
Pourra-t-il alerter un conseil d'administration ou une autorité publique sans demander la permission ?
Gardera-t-il son financement s'il recommande un report coûteux ?
Qui tranchera un désaccord sur les caviardages, le périmètre ou le lancement d'un modèle ?

Un accès proche de celui des salariés peut rendre les évaluations bien meilleures. Il peut aussi créer un évaluateur qui voit tout et ne peut dire presque rien. La différence se joue dans les clauses applicables, pas dans le mot « indépendant » d'un communiqué.

Pour les équipes qui construisent ou achètent de l'IA, la présence d'un évaluateur intégré ne doit pas devenir à elle seule un label de sécurité. Demandez son périmètre, ses droits de publication, sa politique de conflits d'intérêts, ses conclusions publiques et ce qui a changé après un résultat critique. Aucun audit terminé n'a été annoncé ici. Aucune instance indépendante dotée du pouvoir d'arrêter un déploiement non plus.

Il manque toujours la seconde moitié de l'analogie avec la FINRA : non seulement des experts qui voient ce qui se passe dans le lab, mais une institution responsable à l'extérieur, capable d'agir sur ce qu'ils découvrent.

L'exemption des modèles ouverts ne pouvait pas tenir

La partie gênante, c'est que l'exception pour les modèles ouverts était instable dès le départ.

Si seuls les modèles fermés passent par une revue avant lancement, le gouvernement crée accidentellement un signal de marché :

"Les modèles fermés peuvent être approuvés. Les modèles ouverts sont moins chers, mais peut-être non bénis."

Les entreprises vont le voir.

Les assureurs vont le voir.

Les clouds vont le voir.

Les équipes procurement, dont l'état naturel est déjà la suspicion, vont absolument le voir.

Cela peut déformer le marché même si personne n'écrit "interdire les modèles ouverts" dans une règle. Un framework safety volontaire peut devenir un framework d'achat de facto dès que les clients, les boards et les juristes demandent si le modèle a été revu.

Mais le chemin inverse n'est pas propre non plus.

Si les modèles open-weight doivent passer par la même revue avant sortie dès qu'ils franchissent un seuil frontier, le système doit répondre à des questions qu'il a surtout évitées :

qui soumet le modèle
que se passe-t-il pour un modèle entraîné hors des États-Unis
si les fine-tunes comptent
si les versions quantisées comptent
comment revoir un modèle qui peut être copié globalement après publication
si un délai de 30 jours tue une concurrence ouverte utile
quelles preuves publiques les acheteurs reçoivent après la revue
qui est responsable quand un modèle ouvert approuvé est modifié puis abusé

C'est pour cela que la question des modèles ouverts n'est pas une quête secondaire.

C'est le vrai test.

L'autorégulation devient de la pré-régulation

La proposition originale de Hassabis était financée par l'industrie, supervisée par le fédéral, techniquement compétente et construite autour de tests de capacités dangereuses mis à jour. C'est une forme d'autorégulation.

Le framework de la Maison-Blanche semble différent : tests fédéraux avant sortie, largement privés, volontaires pour l'instant, avec la possibilité de partenariats formels entre les grands labs et les programmes de test gouvernementaux.

Mais les deux routes commencent à se rejoindre.

Le gouvernement a besoin d'accès aux modèles, d'expertise en evals, de compute et de jugement technique qu'il ne possède pas encore pleinement. Les labs ont besoin de quelque chose de plus crédible que "faites-nous confiance". Les labs nationaux et instituts de safety peuvent lancer des tests sérieux, mais ils ont besoin de périmètres clairs, de règles de secret, de processus d'incident et d'autorité. Les développeurs de modèles ouverts ont besoin d'un chemin qui ne donne pas simplement le futur aux labs fermés.

C'est ainsi que l'autorégulation devient discrètement de la pré-régulation.

Pas encore de loi.

Plus vraiment volontaire.

Pas tout à fait public.

Pas tout à fait privé.

Une barrière souple peut durcir très vite quand les clients, les clouds, les assureurs, les investisseurs et les achats décident que c'est la barrière qui compte.

Ce qui rendrait cela légitime

Si ce framework doit compter, il lui faut plus que des noms prestigieux.

Il lui faut une gouvernance visible.

Toutes les evals ne peuvent pas être publiques. Certains tests cyber ou bio ne devraient pas être jetés sur internet comme des confettis. Mais la structure peut être publique :

qui siège dans l'organisme
qui le finance
quelles classes de modèles entrent dans le périmètre
comment les seuils sont mis à jour
comment les modèles ouverts sont traités
comment les conflits d'intérêts sont gérés
ce qu'un lab peut contester
ce qui est publié après une revue
ce qui se passe après un incident post-lancement
quand un processus volontaire devient obligatoire

Sans cela, le public obtient le pire des deux mondes : une revue secrète assez puissante pour structurer le marché, mais pas assez transparente pour être digne de confiance.

Le point n'est pas que chaque lancement de modèle doive avoir une conférence de presse avec spoilers de benchmarks.

Le point est que la gouvernance IA ne peut pas être seulement une négociation privée entre les entreprises les plus concernées.

Ce n'est pas de l'infrastructure.

C'est du deal flow.

Ce que les builders devraient faire maintenant

Pour les builders, la leçon pratique est simple :

commencez à traiter la gouvernance du modèle comme une partie de la dépendance.

Pas comme un hobby de policy.

Comme un risque produit.

Si votre produit dépend d'un modèle frontier, vous devriez savoir :

si le modèle est fermé, open-weight, hébergé, fine-tuné ou local
si son fournisseur risque d'entrer dans un framework de revue avant sortie
si vos clients vont se soucier de cette revue
si votre modèle de secours a un autre statut de gouvernance
si votre modèle ouvert peut être modifié d'une manière qui casse ses hypothèses safety
si vos logs et evals peuvent prouver ce qui s'est passé après une mise à jour modèle
si un régulateur, assureur ou acheteur enterprise demandera des preuves que vous n'avez pas

La question n'est plus seulement :

"Quel modèle est le meilleur ?"

C'est :

"Quel modèle peut survivre au processus d'approbation, d'audit, d'achat et d'incident autour du travail qu'on lui confie ?"

C'est moins drôle qu'un graphique de benchmarks.

C'est aussi là que va l'IA frontier.

C'est la suite de l'histoire des promesses safety

La semaine dernière, j'écrivais que les promesses de safety ne sont pas une infrastructure.

Hassabis décrit maintenant à quoi pourrait ressembler une version de cette infrastructure.

Sa proposition est assez concrète. Un organisme lancé par les États-Unis définirait quels modèles comptent comme "Frontier-class" grâce à des benchmarks mis à jour au fil des capacités. Les labs qui construisent ces modèles deviendraient des "Frontier Labs". Ils devraient publier des model cards techniques, maintenir une cybersécurité solide, vérifier les personnes clés et financer correctement la recherche safety et sécurité.

Au départ, les labs partageraient volontairement leurs modèles jusqu'à 30 jours avant la sortie. L'organisme les testerait sur des capacités liées à la sécurité nationale : cyber, menaces biologiques, tromperie et comportements agentiques. Si le protocole fonctionne, des règles formelles pourraient suivre, avec des modèles frontier obligés de passer avant d'être déployés sur le marché américain.

C'est un grand pas.

Cela transforme le lancement de modèle de :

"Faites-nous confiance, nous avons lancé des evals."

En :

"Voici le régime de test externe auquel le modèle a dû survivre."

En théorie.

L'expression "en théorie" travaille beaucoup ici.

Le point utile n'est pas la métaphore

La comparaison avec FINRA est intéressante parce que ce n'est pas une agence publique classique.

C'est une organisation d'autorégulation financée par l'industrie et supervisée par l'État fédéral. Dans la finance, ce modèle existe parce que le marché est technique, rapide, et rempli d'acteurs qui comprennent la machine mieux que la plupart des régulateurs ordinaires.

Ça ressemble à quelque chose.

L'IA frontier a le même problème, avec des modes d'échec plus étranges.

Le gouvernement a besoin de capacité technique. Les labs ont les talents, les modèles, les outils, les harnais d'évaluation et le compute. Le public a besoin de mieux que "l'entreprise a corrigé sa propre copie". Un organisme de standards pourrait se placer entre ces besoins.

C'est la meilleure version.

La pire version est tout aussi évidente.

Les labs financent l'organisme.

Les labs aident à concevoir les tests.

Les labs connaissent la forme du test.

Les labs optimisent pour réussir.

L'organisme devient assez prestigieux pour bénir les sorties, mais pas assez indépendant pour les arrêter.

Très élégant. Nous avons inventé la capture réglementaire, mais avec de meilleurs dashboards d'evals.

C'est pour ça que les détails de design comptent plus que le titre.

Les tests doivent rester vivants

L'expression technique la plus importante chez Hassabis n'est pas "AGI".

C'est "mis à jour régulièrement".

Les evals IA se dégradent.

Elles saturent. Elles fuient. Elles deviennent des cibles. Les modèles overfit. Les labs apprennent la forme de l'examen. Les benchmarks qui mesuraient autrefois la frontière deviennent du papier peint marketing.

Si un organisme de standards doit compter, il ne peut pas être un examen statique.

Il lui faut des tests tenus secrets.

Il lui faut des red teams.

Il lui faut des auditeurs tiers.

Il lui faut assez de compute pour lancer de vraies évaluations.

Il lui faut accès aux informations internes du modèle quand c'est nécessaire.

Il doit tester les agents dans des environnements d'outils réalistes, pas seulement poser des questions inquiétantes dans une fenêtre de chat.

Il doit gérer les incidents après la sortie, parce que le monde réel trouvera des modes d'échec que la suite pré-lancement aura ratés.

Il doit pouvoir dire : ce benchmark est mort, remplaçons-le.

C'est inconfortable pour tout le monde.

Les entreprises aiment les cibles stables. Les régulateurs aiment les checklists stables. Les marchés aiment un signal propre de réussite ou d'échec.

L'IA frontier ne leur donnera pas ça.

Le régime de test doit être vivant parce que l'objet testé l'est en pratique : nouveaux modèles, nouveaux outils, nouveaux échafaudages, nouveaux jailbreaks, nouvelles sorties open-weight, nouveaux patterns agentiques, nouvelles surfaces de déploiement.

Ce n'est pas comme inspecter un grille-pain.

C'est plutôt comme essayer de certifier un organisme logiciel mobile qui découvre sans cesse de nouveaux passe-temps.

Industrie très normale. Rien à signaler.

Les modèles ouverts sont le vrai stress test

Hassabis dit que le framework devrait s'appliquer aux modèles frontier quelle que soit leur origine, et qu'ils soient ouverts ou fermés.

C'est là que la politique commence.

Les labs fermés peuvent être forcés, poussés, licenciés, audités ou privés d'accès au marché. Ils ont des sièges sociaux, des clients, des contrats cloud, des comptes bancaires et des dirigeants qui peuvent recevoir des lettres désagréables.

Les modèles open-weight sont plus difficiles.

Une fois les poids sortis, le modèle peut être copié, modifié, hébergé ailleurs, dépouillé de ses garde-fous et déployé dans des endroits qui se moquent de ce qu'un organisme américain pense.

Cela ne veut pas dire qu'il faut ignorer les modèles ouverts.

Cela veut dire que le modèle de prévalidation ne leur va pas proprement.

Si l'organisme ne s'applique qu'aux labs fermés américains, il peut ralentir les acteurs les plus visibles tout en poussant la capacité vers des canaux moins responsables.

S'il essaie de couvrir tous les modèles frontier ouverts dans le monde, il risque de devenir du théâtre impossible à appliquer.

S'il bloque trop durement les sorties ouvertes, il concentre le pouvoir chez les labs fermés et les gouvernements.

S'il ne fait rien, il laisse les sorties les plus irréversibles hors du régime.

Il n'y a pas de réponse propre.

C'est justement le point.

La question des modèles ouverts n'est pas une note de bas de page. C'est le test qui dira si le framework est un vrai système de gouvernance ou seulement un portail de sortie pour les entreprises qui répondent déjà aux appels de Washington.

Cela résout aussi un problème de gouvernement

Les épisodes récents autour d'Anthropic et d'OpenAI sont le sous-texte.

Anthropic a dû suspendre l'accès à Fable 5 et Mythos 5 après une directive américaine de contrôle à l'export. Le lancement de GPT-5.6 chez OpenAI est passé par un accès validé par le gouvernement avant une disponibilité plus large. Les deux histoires ont créé le même problème produit :

Personne n'avait de playbook propre.

C'est mauvais pour les labs.

C'est aussi mauvais pour le gouvernement.

L'intervention ad hoc paraît puissante jusqu'au moment où il faut vraiment la faire tourner. Là, il faut des seuils, des définitions, des tests techniques, des appels, des délais, des responsabilités, de la communication, de la coordination internationale et des personnes qui comprennent assez bien le modèle pour ne pas réguler un benchmark de l'an dernier.

Les coupures surprises ne sont pas un système de gouvernance.

Les appels privés ne sont pas un système de gouvernance.

"Trusted partners" n'est pas un système de gouvernance.

Hassabis dit en gros : construisons la machinerie ennuyeuse avant la prochaine urgence.

Il a raison.

La question est de savoir si cette machinerie doit ressembler à FINRA, à la FAA, au NIST, à une nouvelle agence, à un organisme international, ou à un hybride que personne ne peut expliquer au dîner.

Probablement l'hybride.

Malheureusement, la réalité adore les organigrammes laids.

Les labs demandent à être régulés

La dynamique devient étrange.

Les dirigeants des grands labs IA demandent de plus en plus de supervision.

Ils ne veulent pas tous la même. Dario Amodei, chez Anthropic, pousse vers des règles contraignantes et un modèle plus proche de l'autorité aérienne. Hassabis défend un organisme public-privé de standards. OpenAI parle depuis des années de supervision frontier tout en essayant d'éviter un labyrinthe permanent de prévalidation gouvernementale.

Mais la direction se voit.

Les grands labs veulent un régime.

En partie parce qu'ils pensent que les risques sont réels.

En partie parce qu'ils veulent de la prévisibilité.

En partie aussi parce qu'un régime sérieux de certification peut devenir un moat.

S'il faut énormément d'argent, de compute, d'expertise et de conformité pour être un "Frontier Lab", les entreprises qui ont déjà tout cela iront bien. Les challengers plus petits, moins.

Cela ne rend pas la régulation mauvaise.

Cela veut dire que le design doit se souvenir que l'infrastructure safety peut aussi devenir une structure de marché.

Chaque règle sur les seuils frontier, l'accès aux tests, les model cards, la cybersécurité, la vérification du personnel et l'approbation de sortie décide aussi qui a le droit de concourir.

C'est pour ça que "l'industrie est d'accord" ne suffit pas.

Bien sûr que l'industrie est d'accord avec une certaine forme de supervision.

Le débat porte sur laquelle.

Mise à jour : l'arbitre pourrait ne pas venir

Maintenant, la partie inconfortable est hors des labs.

Le 15 septembre, AP a rapporté que les appels urgents de l'industrie à réguler l'IA se heurtent à une résistance politique à Washington. La même semaine où Amodei, Altman, Hassabis, Musk et d'autres ont soutenu une forme de ralentissement ou de supervision externe, le président Trump a rejeté les alertes sur les dangers de l'IA comme une conspiration, et le Congrès semblait toujours peu susceptible d'agir vite.

Ce n'est pas un détail.

C'est tout le problème FINRA, mais en public.

Un organisme d'autorégulation ne fonctionne vraiment que s'il existe une autorité publique crédible derrière lui. FINRA compte parce que la SEC existe. Les règles de sûreté aérienne comptent parce que des régulateurs peuvent clouer des avions au sol, inspecter les dossiers, certifier le matériel et imposer des conséquences. Un processus volontaire de revue IA sans ce soutien peut être utile, mais ce n'est pas le même objet.

C'est un mémo avec un branding ambitieux.

Très sérieux. L'arbitre a été invité et pourrait être occupé à lever des fonds.

Axios a rapporté une division républicaine plus nuancée : le chef de la majorité au Sénat, John Thune, dit que le Congrès a un rôle à jouer sur l'IA et a discuté d'un texte bipartisan, pendant que Trump continue de rejeter l'idée d'un danger urgent. Le goulet n'est donc pas seulement la capacité technique. C'est la responsabilité politique.

Qui veut être responsable de ralentir le secteur technologique le plus valorisé du pays ?

Qui veut expliquer aux électeurs qu'une sortie de modèle a été retardée parce qu'une eval secrète a franchi un seuil qu'on ne peut pas publier entièrement ?

Qui veut dire aux investisseurs qu'un déploiement d'infrastructure à mille milliards de dollars dépend maintenant d'un standard safety capable de mettre en pause le prochain modèle ?

Et qui veut faire tout cela pendant que la Chine reste le premier argument de tous ceux qui veulent accélérer ?

C'est là que la demande de l'industrie devient gênante.

Les labs demandent de la supervision en partie parce que le risque peut être réel. Ils la demandent aussi parce qu'une supervision prévisible vaut mieux que des interventions d'urgence, des appels privés, des contrôles export surprise, des procès et des paniques de marché. C'est rationnel. Mais Washington peut décider que le coût politique d'agir est plus élevé que le risque d'attendre.

La stack de gouvernance frontier reste alors coincée dans le pire état intermédiaire :

les entreprises disent que les risques sont sérieux
les investisseurs continuent de financer la course
les présidents présentent la prudence comme une faiblesse
le Congrès étudie le sujet
les clients demandent des preuves
les évaluateurs obtiennent davantage d'accès
personne ne possède clairement le bouton stop

Ce n'est pas encore un moment FINRA.

C'est la condition qui le rend nécessaire.

Pour les builders, la leçon pratique est que la gouvernance des modèles va rester instable pendant un moment. Ne partez pas du principe que le prochain modèle frontier arrivera par une voie d'approbation publique propre. Ne partez pas du principe qu'un accès volontaire donné à des évaluateurs suffira aux régulateurs, aux clients, aux assureurs ou aux tribunaux. Et ne partez pas du principe que les responsables politiques transformeront les alertes des labs en règles exécutoires au calendrier préféré de l'industrie.

La question ennuyeuse de dépendance devient plus nette :

Votre produit peut-il survivre dans un monde où l'IA frontier est trop risquée pour rester entièrement privée, mais trop précieuse politiquement pour être ralentie par une barrière publique claire ?

Mise à jour : la question antitrust arrive devant un tribunal

Le 18 septembre, quatre abonnés payants ont déposé une plainte en vue d'une action collective contre Anthropic, OpenAI, SpaceXAI et Google devant un tribunal fédéral californien. Ils accusent ces entreprises de s'être entendues pour ralentir l'amélioration de leurs produits IA concurrents, ce qui diminuerait la valeur des abonnements à ChatGPT, Claude, Grok et Gemini. L'Associated Press rapporte que les plaignants s'appuient notamment sur les réactions publiques des dirigeants à la proposition de Dario Amodei et souhaitent représenter les autres abonnés payants.

Distinction essentielle : c'est une accusation, pas la preuve d'un accord, d'un ralentissement mesuré ni d'un préjudice subi par les consommateurs. Approuver publiquement une idée sur la sécurité ne démontre pas, à lui seul, que des concurrents ont conclu puis appliqué un pacte. La plainte vient d'être déposée.

Les plaignants ne contestent pas le droit d'un lab de ralentir seul son entraînement, d'engager des évaluateurs ou de demander une réglementation au Congrès. Ils contestent l'entente alléguée entre concurrents sur la vitesse des progrès. Dans son essai initial, Amodei reconnaissait la difficulté antitrust et proposait une médiation publique ou une dérogation limitée pour certaines discussions sur la sécurité. C'est au tribunal de déterminer si des actes réels ont franchi une ligne juridique.

Voilà pourquoi l'absence d'arbitre public compte. Les labs peuvent aujourd'hui rivaliser sur la sécurité et décider individuellement de ralentir. Des standards techniques communs peuvent aussi être utiles. Mais une limite de vitesse privée, fixée par les entreprises qui dominent le marché, soulève une autre question : qui leur a donné le droit de choisir à quelle vitesse leurs concurrents, leurs clients et les futurs entrants peuvent avancer ?

Le vrai test ne se résume pas à l'issue de ce procès. Il consiste à créer des protections vérifiables sans laisser la coordination entre acteurs installés devenir la porte d'entrée de tout le marché. Un cadre public indépendant aurait besoin d'un périmètre transparent, de garanties pour la concurrence et d'une autorité capable de faire appliquer ses décisions. Un consensus par communiqués n'est pas ce cadre.

Ce que les builders doivent surveiller

Si vous construisez sur des modèles frontier, ne traitez pas cela comme du théâtre politique abstrait.

Cela façonnera la surface produit.

Un vrai organisme de standards pourrait influencer :

quels modèles sortent en premier
quelles capacités apparaissent dans quels pays
quels modes agentiques demandent une revue supplémentaire
quels modèles ouverts peuvent être distribués via les grands clouds
quels résultats d'evals les fournisseurs doivent montrer
quelles preuves de test les clients enterprise obtiennent
quels modèles de fallback il faut prévoir quand une sortie est mise en pause

Autrement dit, le choix de modèle va ressembler davantage à de l'achat d'infrastructure.

Pas seulement "quel modèle est le plus intelligent ?"

"Quel modèle est certifié, disponible, audité, supporté, autorisé pour cet utilisateur, et peu susceptible de disparaître pendant un conflit de policy ?"

Très glamour. Le futur de l'IA est un menu déroulant avec des métadonnées de conformité.

Mais c'est ce qui arrive quand le logiciel devient une infrastructure.

Le fond du sujet

La proposition de Hassabis est importante parce qu'elle n'est pas seulement une alerte de plus.

C'est une esquisse de machinerie.

L'esquisse est peut-être mauvaise. FINRA est peut-être la mauvaise analogie. Un organisme mené par les États-Unis peut être politiquement fragile. Le financement par l'industrie peut créer de mauvais incitatifs. Les modèles ouverts peuvent casser toute la forme. Les tests peuvent être trop faibles. Les labs peuvent apprendre à les réussir.

Tout cela est vrai.

Mais le besoin est réel.

L'IA frontier ne peut pas continuer éternellement avec des promesses volontaires, des evals internes, des directives d'export surprise et des négociations privées d'accès.

Plus ces modèles deviennent des agents pour le code, la science, la cyberdéfense, le travail enterprise, la défense et le gouvernement, plus la sortie elle-même devient un événement d'intérêt public.

Cela ne veut pas dire que chaque modèle doit recevoir la permission d'un clergé.

Cela veut dire que les systèmes les plus puissants ont besoin d'un régime de test assez technique pour compter, assez indépendant pour être cru, et assez fort pour arrêter une sortie quand l'arrêt est la bonne décision.

C'est le standard.

Pas une promesse.

Pas un manifeste.

Une infrastructure.