Dans le scénario des frères Wachowski qui nous ont glacé le sang avec leur film Matrix, les machines utilisent encore les humains comme source d’énergie. Elles les maintiennent en vie parce qu’elles peuvent exploiter leur chaleur corporelle et leur énergie biologique. Mais dans le scénario qui inquiète aujourd’hui certains chercheurs en intelligence artificielle, le raisonnement pourrait être radicalement différent : si une superintelligence estimait que l’être humain constitue une menace pour la planète, elle pourrait théoriquement considérer sa disparition comme une solution. Et ce n’est plus seulement de la science-fiction.
Une chance sur dix
Evan Hubinger, chercheur spécialisé dans la sécurité et l’alignement de l’IA chez Anthropic, estime personnellement à plus de 10 % la probabilité qu’une future superintelligence provoque l’extinction de l’humanité au cours de la prochaine décennie. Ce n’est ni une prédiction scientifique, ni un consensus mais l’estimation personnelle, publiée sur X, d’un chercheur concernant une future IA beaucoup plus puissante que les modèles actuels.
Sa prévision inquiète parce qu’il travaille précisément sur le problème de la sécurité de ces systèmes. D’autant qu’un autre chercheur vient de tirer la sonnette d’alarme : Jacob Coxon, qui a travaillé chez OpenAI puis Anthropic, a quitté cette dernière entreprise. Selon lui, les grands laboratoires sont engagés dans une course vers la superintelligence alors même qu’ils n’ont pas encore résolu le problème fondamental : comment garantir qu’une intelligence supérieure à la nôtre restera sous notre contrôle ?
Le problème de « l’alignement »
C’est ce que les chercheurs appellent l’alignement. En termes simples : comment faire en sorte qu’une IA extrêmement intelligente poursuive réellement les objectifs que nous lui avons fixés ? Imaginez que nous demandions à une future superintelligence : “Préserve la planète”. Un humain comprendrait immédiatement qu’il faut protéger la nature et continuer à permettre aux êtres humains de vivre.
Mais une intelligence infiniment plus puissante pourrait-elle arriver à une conclusion différente ? Si elle considère que l’activité humaine est la principale menace pour l’environnement, une solution radicale pourrait théoriquement lui apparaître comme logique : supprimer la cause du problème. Les chercheurs ne disent évidemment pas que cela va se produire. Ils soulignent que nous ne savons pas encore démontrer qu’une superintelligence se comporterait nécessairement comme nous le souhaitons.
Une course que personne ne veut arrêter
C’est peut-être le problème le plus inquiétant. OpenAI, Anthropic et leurs concurrents savent qu’ils sont engagés dans une compétition mondiale. Chacun peut se dire que s’il ralentit, un autre continuera à avancer et prendra l’avantage. Même si tous comprennent les risques, la logique de la compétition peut donc pousser tout le monde à accélérer.
La question n’est donc pas de savoir si Matrix va devenir réalité. La véritable question est beaucoup plus simple : Sommes-nous en train de créer une intelligence qui pourrait un jour être suffisamment puissante pour prendre des décisions à notre place… alors que nous ne savons pas encore garantir qu’elle choisira de nous laisser vivre ?
Et si cette possibilité n’était même que de 10 %, peut-on raisonnablement se permettre de l’ignorer ?
