Mais des critiques de plus en plus virulents avertissent que cette philosophie est dangereuse et que l’obsession de l’extinction détourne l’attention des véritables problèmes associés à l’IA, tels que le vol de données et les biais des algorithmes.

L’écrivain Emile Torres, ancien militant de longue date devenu critique du mouvement, a déclaré à l’AFP que la philosophie repose sur des principes utilisés dans le passé pour justifier les massacres et le génocide.

Pourtant, les mouvements et les idéologies connexes telles que le transhumanisme et l’altruisme ont effectivement eu une influence majeure dans les universités d’Oxford à Stanford et dans le secteur technologique.

Des investisseurs en capital-risque tels que Peter Thiel et Marc Andreessen ont investi dans des sociétés de prolongation de la vie et dans d’autres projets favoris associés au mouvement.

Elon Musk et Sam Altman d’OpenAI ont signé une lettre ouverte avertissant que l’IA pourrait provoquer l’extinction de l’humanité – même s’ils ont intérêt à affirmer que seul leur produit peut nous sauver.

En fin de compte, les critiques estiment que ce mouvement marginal a eu trop d’influence sur le débat public sur l’avenir de l’humanité.

‘Très dangereux’

Les adhérents de longue date estiment que nous avons le devoir d’essayer d’obtenir le meilleur résultat possible pour le plus grand nombre de personnes possible.

Ce n’est pas sans rappeler les libéraux du XIXe siècle, mais le groupe de long terme a une durée plus longue.

Ils ont regardé vers un avenir lointain et ont vu des milliards et des milliards d’humains flotter dans l’espace, colonisant de nouveaux mondes.

Ils soutiennent que nous avons les mêmes obligations envers chaque être humain du futur qu’envers toute personne vivant aujourd’hui.

Et comme ils étaient très nombreux, ils pesaient bien plus que les spécimens actuels.

Ce type de pensée rend l’idéologie « incroyablement dangereuse », a déclaré Torres, auteur de « Human Extinction : A History of the Science and Ethics of Annihilation ».

« Chaque fois que vous avez une vision utopique d’un avenir caractérisé par un nombre presque infini de valeurs, et que vous combinez cela avec une pensée morale utilitaire où la fin peut justifier les moyens, cela devient dangereux », a déclaré Torres.

Si une machine super intelligente apparaissait bientôt et avait le potentiel de détruire l’humanité, les partisans du long terme s’y opposeraient définitivement, quelles qu’en soient les conséquences.

Interrogé en mars par un utilisateur de Twitter, la plateforme désormais connue sous le nom de X, combien de personnes pourraient mourir pour arrêter cela, l’idéologue de longue date Eliezer Yudkowsky a répondu qu’un nombre suffisant de personnes était nécessaire « pour former une population reproductrice viable ».

« Tant que c’est vrai, il y a encore une chance d’atteindre les étoiles un jour », a-t-il écrit, bien qu’il ait ensuite supprimé le message.

Revendication eugénique

Le long terme est né des travaux du philosophe suédois Nick Bostrom dans les années 1990 et 2000 sur les risques existentiels et le transhumanisme – l’idée selon laquelle les humains peuvent être améliorés grâce à la technologie.

L’académicien Timnit Gebru a montré que le transhumanisme était dès le début associé à l’eugénisme.

Le biologiste britannique Julian Huxley, qui a inventé le terme transhumanisme, a également été président de la British Eugenics Society dans les années 1950 et 1960.

«Le long terme, c’est l’eugénisme sous un autre nom», écrivait Gebru dans X l’année dernière.

Bostrom a longtemps été accusé de prôner l’eugénisme après avoir soutenu que les personnes moins intelligentes peuvent se multiplier plus rapidement que les personnes plus intelligentes sous le nom de « pression dysgénique » qui est une « pression dysgénique ».

Le philosophe, qui dirige le Future of Life Institute de l’Université d’Oxford, s’est excusé en janvier après avoir admis avoir écrit des messages racistes sur des forums Internet dans les années 1990.

« Suis-je favorable à l’eugénisme ? Non, pas au sens où l’on entend communément ce terme », a-t-il écrit dans ses excuses, soulignant que l’eugénisme avait été utilisé pour justifier « certaines des atrocités les plus horribles du siècle dernier ».

« Plus sensationnel »

Malgré ces problèmes, des adeptes de longue date comme Yudkowsky, un décrocheur du secondaire célèbre pour avoir écrit des fanfictions sur Harry Potter et promu le polyamour, continuent d’être vénérés.

Altman lui a attribué le mérite d’avoir obtenu le financement d’OpenAI et a déclaré en février qu’il méritait un prix Nobel de la paix.

Mais Gebru, Torres et bien d’autres tentent de se recentrer sur les impacts négatifs tels que le vol d’artistes, les préjugés et la concentration des richesses entre les mains de quelques entreprises.

Torres, qui utilise le pronom ils, a déclaré que même s’il existe des croyants comme Yudkowsky, une grande partie du débat autour de l’extinction est motivée par le profit.

« Parler de l’extinction de l’humanité, d’un événement apocalyptique qui a fait tout le monde mort, est bien plus sensationnel et intéressant que de parler de travailleurs au Kenya qui sont payés 1,32 $ de l’heure, ou d’artistes et d’écrivains qui sont exploités », ont-ils déclaré.