Anthropic réclame une « pédale de frein » pour l'IA : quand Claude écrit 80 % de son propre code

80 % du code fusionné chez Anthropic est désormais écrit par Claude lui-même. Et le cofondateur de l'entreprise dit qu'il n'existe aucun mécanisme pour ralentir la machine.

L'auto-amélioration récursive de l'IA, un seuil critique selon Anthropic

Dans un billet publié par The Anthropic Institute, le cofondateur Jack Clark et la directrice Marina Favaro alertent sur la proximité du « recursive self-improvement ». Ce seuil correspond au moment où un système d'IA conçoit et entraîne son propre successeur, sans intervention humaine.

Chez Anthropic, les ingénieurs fusionnent aujourd'hui huit fois plus de code par jour qu'en 2024. La raison : Claude rédige l'essentiel, l'humain supervise et valide. Clark résume la situation avec une métaphore automobile : l'industrie a une pédale d'accélérateur, mais aucune pédale de frein.

Anthropic compare la course à l'IA à la course nucléaire

Sur CNN, Clark a demandé que les entreprises concurrentes coopèrent sur la sécurité, comparant le défi aux négociations de la Guerre froide. Selon lui, des pays rivaux ont su stabiliser la course aux armements nucléaires, et l'IA devrait suivre le même chemin.

Anthropic propose que les laboratoires envisagent de ralentir ou suspendre le développement des modèles frontières. La société prévoit de réunir décideurs politiques, chercheurs et société civile dans les prochains mois.

Une pédale de frein crédible, ou du marketing pré-IPO ?

Le timing mérite qu'on s'y attarde. Anthropic a déposé son dossier confidentiel d'introduction en bourse le 1er juin, quelques jours avant cette alerte publique. Sa valorisation atteint 965 milliards de dollars après une levée de 65 milliards en Série H.

Des critiques estiment que gonfler la menace existentielle pourrait servir à justifier des régulations qui freineraient surtout les concurrents. D'autres, comme les chercheurs ayant formalisé le « trilemme de l'auto-évolution », confirment que la sécurité se dégrade dans un système récursif fermé.

Faut-il vraiment freiner ?

La question reste ouverte. Freiner unilatéralement risque de donner l'avantage à des acteurs moins prudents, notamment en Chine. Mais ne pas freiner du tout revient à parier que l'alignement suivra le rythme des capacités. Anthropic occupe une position ambiguë : celle d'un constructeur de fusée qui réclame un permis de conduire. Vous pouvez décider si c'est du courage ou du calcul.