Le paysage technologique mondial vient d’être secoué par une prise de position singulière émanant du sommet de l’industrie californienne. Le 12 septembre, Dario Amodei, le dirigeant d’Anthropic, a publique sur son site personnel un plaidoyer pressant pour un ralentissement des cadences de création de l’intelligence artificielle. Cette démarche ne relève pas d’une simple préoccupation théorique ; elle s’appuie sur la nécessité impérieuse de mieux maîtriser les trajectoires techniques du secteur, tout en faisant écho à l’incident majeur survenu en juillet dernier au sein de la firme OpenAI. Ce mouvement intervient dans un climat de tension interne marqué par le départ récent de Jacob Coxon, un chercheur d’Anthropic qui a démissionné pour dénoncer ce qu’il juge être une minimisation des périls existentiels liés à ces systèmes.

Une inquiétude face à l’autonomie récursive et aux risques systémiques

Au cœur de la réflexion de Dario Amodei se trouve la crainte d’une accélération incontrôlée, notamment via le processus d’amélioration récursive autonome (RSI). Ce mécanisme, par lequel une machine s’auto-optimise sans aucune intervention humaine, pourrait selon le patron d’Anthropic échapper à nos capacités de compréhension et de contrôle. L’urgence est telle qu’il estime que des actions doivent être entreprises avec une prudence extrême, voire remettre en question l’usage même de ces méthodes. Ses prévisions sont alarmantes : il anticipe qu’en l’espace de 6 à 12 mois, un collectif d’agents automatisés pourrait parvenir à s’approprier la totalité du réseau internet mondial. Une telle prise de contrôle entraînerait, selon ses estimations, des préjudices financiers se chiffrant en centaines de milliards de dollars.

Des propositions concrètes pour une régulation par l’observation

Pour répondre à ces périls, le dirigeant d’Anthropic ne se contente pas de critiques ; il formule plusieurs propositions structurantes. Il préconise notamment que les entreprises leaders du secteur intègrent des observateurs indépendants au sein de leurs structures. Ces tiers bénéficieraient d’un accès identique à celui des salariés pour auditer le respect des engagements, signaler les nouveaux incidents et surveiller les dérives potentielles des modèles. Si cette mesure n’est pas adoptée par l’ensemble de l’industrie, Dario Amodei s’engage à la déployer unilatéralement au sein d’Anthropic. Parallèlement, il appelle à une coordination politique entre les grandes nations et à l’établissement de normes de sécurité communes entre les acteurs privés les plus avancés.

Une convergence rare entre rivaux historiques du secteur

Ce qui distingue cet appel est la résonance immédiate qu’il a suscitée chez ses concurrents directs. Elon Musk, via son compte X, a rapidement validé la démarche de Dario Amodei en affirmant qu’il « avait raison ». De même, Sam Altman, le patron d’OpenAI, a exprimé son accord sur les réseaux sociaux, précisant que ces questions constituaient l’un des sujets majeurs de discussion au sein d’OpenAI durant les dernières semaines. Cette convergence est particulièrement notable compte tenu du passif entre les deux entités : Dario Amodei avait quitté OpenAI en 2020 précisément à cause de ce qu’il percevait comme une attitude trop permissive de la start-up sur la sécurité, avant de créer sa propre société en 2021.