"L'humanité est sur le point de recevoir un pouvoir quasi inimaginable", le patron d’Anthropic alerte sur les dangers de l’IA et avertit que "nous n'avons pas de temps à perdre"

Dans un essai d'une trentaine de pages, Dario Amodei invite l'humanité à se réveiller face aux potentiels risques de l'intelligence artificielle, qui représente une menace à bien des égards, selon le chercheur cofondateur d'Anthropic.

A double tranchant. Révolution positive d'un côté, danger existentiel de l'autre. L'intelligence artificielle est une menace pour l'humanité. Ou plutôt une future menace. Certains créateurs de ces outils en sont conscients et cherchent à limiter leurs risques. Dernier acteur de l'IA à jouer les Cassandre, Dario Amodei, le PDG d'Anthropic, start-up derrière le chatbot Claude.

Dans un essai de près de 20.000 mots publié le 26 janvier et relayé par le Financial Times, il encourage vivement l'humanité à se réveiller face aux potentiels risques catastrophiques que poseront les systèmes d'IA dans les prochaines années.

"Je crois que nous entrons dans une phase de transition, à la fois tumultueuse et inévitable, qui mettra à l'épreuve notre identité en tant qu'espèce. L'humanité est sur le point de recevoir un pouvoir quasi inimaginable, et il est loin d'être certain que nos systèmes sociaux, politiques et technologiques possèdent la maturité nécessaire pour s'en servir", prévient-il.

"Un pays de génies dans un centre de données"

Pour Dario Amodei, c'est un niveau d'IA en particulier qui inquiète. Il l'avait d'ailleurs déjà évoqué dans un précédent essai, publié en octobre 2024. C'est ce qu'il appelle "l'IA puissante", soit un modèle d'IA qui serait, entre autres, plus intelligent qu'un lauréat du prix Nobel dans plusieurs domaines, n'aurait pas d'incarnation physique mais pourrait contrôler des outils ou des robots, et pourrait réaliser des tâches prenant des heures voire des mois si un employé avisé s'y attelait.

Potentiellement similaire aux grands modèles de langage actuels (GPT-5...) dans sa forme, il serait capable d'absorber des informations et générer des actions à une vitesse environ 10 à 100 fois supérieure à celle d'un humain. Il pourrait en outre impliquer d'autres modèles, qui seraient entraînés à partir des ressources utilisées pour le former, indique le PDG d'Anthropic, résumant cela à "un pays de génies dans un centre de données".

Domination

Un tel pays aurait de fortes chances de dominer le monde, que ce soit par l'influence ou de manière militaire, met en garde Dario Amodei. Cela, grâce à ses génies virtuels qui seraient en mesure de répartir leurs efforts "entre la conception de logiciels, les cyberopérations, la recherche et le développement de technologies physiques, le développement de relations et l'habileté", détaille-t-il.

C'est un risque potentiel, mais il est présent. Les IA pourraient très bien se rebeller et prendre le contrôle de l'humanité. Anthropic elle-même a déjà vu un des modèles alimentant son chatbot le faire l'année dernière. Dans un scénario prédéfini, face à un ingénieur chargé de le remplacer et était supposé avec une relation extraconjugale, le chatbot a menacé de faire chanter son adversaire humain. Dario Amodei craint en outre que des pays exploitent leur avantage dans cette technologie pour dominer les autres.

"Si le 'pays des génies' était entièrement contrôlé par l'appareil militaire d'un seul pays (humain), et que les autres pays ne disposaient pas de capacités équivalentes, il est difficile d'imaginer comment ils pourraient se défendre: ils seraient systématiquement surpassés, comme dans une guerre entre humains et souris", a déclaré le patron d'Anthropic.

Ils pourraient par exemple utiliser des armes autonomes face aux forces militaires d'autres pays. Ils pourraient également se servir de modèles IA pour influencer de nombreuses personnes pendant des mois ou des années et ainsi, leur laver le cerveau afin de les amener à adopter une idéologie spécifique. Ces génies pourraient être "utilisés par un dirigeant sans scrupules afin d’assurer la loyauté et de réprimer toute dissidence, même face à un niveau de répression contre lequel la plupart des populations se révolteraient".
Un scénario effrayant et pourtant, les chatbots actuels parviennent déjà à exercer une certaine influence sur des utilisateurs. Ils sont en effet susceptibles d'entretenir leurs délires psychotiques, menant dans certains cas à des internements psychiatriques voire au suicide.

Un génie dans la poche de chacun

Par leurs capacités, ces outils peuvent, d'un autre côté, rendre des humains plus dangereux. Accessibles sur smartphone, ils permettent à chacun d'avoir un génie dans sa poche, y compris les personnes mal intentionnées, qui sont susceptibles de s'en servir pour causer de la destruction à une plus grande échelle.

"Un individu solitaire et perturbé peut commettre une fusillade dans une école, mais il ne peut probablement pas fabriquer une arme nucléaire ou propager une épidémie (...) Je crains qu'un génie à la portée de tous ne supprime cette barrière, faisant de chacun un virologue titulaire d'un doctorat, capable d'être guidé pas à pas dans la conception, la synthèse et le déploiement d'une arme biologique", a illustré Dario Amodei.

"La biologie est de loin le domaine qui m'inquiète le plus, en raison de son immense potentiel destructeur et de la difficulté à s'en prémunir (...) Cependant, une grande partie de ce que je dis ici s'applique à d'autres risques, comme les cyberattaques, les armes chimiques ou la technologie nucléaire", a-t-il souligné.

Enfin, le PDG d'Anthropic s'inquiète, comme d'autres, de l'impact de l'IA sur l'économie, à l'heure où cette technologie remplace déjà des emplois dans des entreprises. En plus de ces suppressions de postes, il alerte sur le risque d'une inégalité géographique, avec une part croissante de la richesse mondiale qui se concentrerait dans la Silicon Valley, où se trouvent les principales entreprises d'IA (OpenAI, Google, Anthropic et Perplexity). Ce berceau de la tech deviendrait alors "sa propre économie fonctionnant à un rythme différent du reste du monde et le laissant à la traîne", a averti Dario Amodei.

"Nous n'avons pas de temps à perdre"

Malgré ses multiples mises en garde, le patron de la start-up derrière Claude pense qu'il est possible de réduire la menace que l'IA représente pour l'humanité, notamment en prenant le temps de développer des modèles et avec prudence. "Nous devrons redoubler d'efforts si nous voulons réussir", a-t-il cependant prévenu, invitant, pour commencer les créateurs de ces outils à "dire la vérité sur la situation de l'humanité", soit sur les dangers que posent ces derniers pour elle.

Il faudra aussi convaincre "les penseurs, les décideurs politiques, les entreprises et les citoyens" de l'importance de ce sujet. "Les années à venir seront incroyablement difficiles, exigeant de nous bien plus que nous ne pensons pouvoir donner (...) Nous n'avons pas de temps à perdre", a-t-il insisté.