L'idée la plus importante du siècle

« La pensée précède l'action comme l'éclair précède le tonnerre », écrivit le poète Heinrich Heine. Tel est le cas de l'altruisme efficace (AE), une doctrine éthique imaginée par des philosophes d'Oxford, qui est passée de la tour d'ivoire aux couloirs du pouvoir avec une rapidité stupéfiante. Les altruistes efficaces inondent Silicon Valley, font partie des effectifs des principales entreprises d'intelligence artificielle au monde… et inquiètent l'administration Trump. « Les États-UNIS ne seront JAMAIS un pays altruiste efficace », promet le Pentagone. Le secrétaire à la Défense qualifie cette philosophie d'« altruisme défectueux » ; d'autres membres de l'administration la jugent « dystopique ». Prenons ces attaques comme un signe de son influence.

Certains se plaignent que le XXIe siècle ait apporté peu d'idées novatrices. Dans ce vide sont entrés MAGA et compagnie, transformant le populisme nostalgique en grand projet politique du siècle. Mais la grande idée du siècle est l'altruisme efficace. Ce qui a commencé dans les années 2000 comme une forme un peu excentrique de rendre les dons caritatifs plus rentables s'est transformé en un mouvement qui soumet le monde à des calculs moraux complexes, voire étranges. Pour beaucoup de ses partisans, l'exigence éthique urgente pour ceux qui veulent faire le bien est d'empêcher que l'intelligence artificielle n'anéantisse l'humanité.

L'altruisme efficace est également important d'un point de vue sociologique. Les altruistes efficaces ne sont pas nombreux, mais l'idée a conquis une génération de jeunes surdoués qui ont amassé des fortunes dans les cryptomonnaies et l'intelligence artificielle. À mesure que la technologie crée plus de milliardaires, les altruistes efficaces canaliseront des milliards de dollars vers des causes qui façonneront la société. Les AE ont aidé à fonder OpenAI et Anthropic, les laboratoires leaders, avec la conviction que ceux qui comprenaient les dangers de l'IA devaient en contrôler le développement. Dans une certaine mesure, ils le font ; bien qu'ironiquement, en créant plus de laboratoires — et donc de concurrence —, ils aient probablement accéléré le progrès de l'IA.

Tout cela a donné à l'altruisme efficace une importance politique actuelle. L'administration Trump craint que le mouvement ne parvienne à freiner l'IA. Elle a eu des disputes avec Anthropic pour le refus de l'entreprise d'autoriser l'utilisation de ses modèles à certaines fins militaires. Les principaux défenseurs de l'altruisme efficace reconnaissent que l'IA peut être extrêmement bénigne, mais veulent néanmoins ralentir son développement pour réduire la possibilité qu'un cerveau artificiel incontrôlable se déchaîne dans la recherche d'objectifs « désalignés » avec ceux de l'humanité.

Certains critiques aux États-Unis préféreraient accélérer la technologie pour éviter que la Chine ne gagne la course. Mais lorsqu'ils attaquent le « doomerisme » de l'IA, il leur est plus facile de critiquer les « nerds » que d'aborder le fond du problème. Ils affirment que l'altruisme efficace est un mouvement de fanatiques qui apparaît, selon le point de vue adopté, antidémocratique, dangereux et sectaire.

C'est trop simpliste. Les racines bénéfiques du mouvement sont, évidemment, dignes d'éloges. Comme The Economist, les membres de l'altruisme efficace (EA) sont engagés dans l'empirisme et, surtout depuis leur fusion avec la communauté « rationaliste » en ligne, dans l'application de la pensée logique. Ils valorisent la raison par-dessus la tradition ou les normes et débattront avec enthousiasme de n'importe quel sujet, aussi controversé soit-il, à la recherche de la vérité.

Le succès réitéré des membres de l'altruisme efficace dans la prédiction du progrès rapide de l'IA a également été impressionnant. Ils ont raison concernant les risques que la technologie fait peser sur l'humanité. Le 28 septembre, OpenAI a annulé ses projets de lancer son dernier modèle après qu'il se soit révélé trop dangereux lors des tests. De nombreux incidents de sécurité récents ressemblent aux scénarios effrayants décrits il y a plusieurs années dans les blogs des altruistes efficaces.

Cependant, les critiques ont raison d'avertir que les altruistes efficaces parviennent à certaines conclusions étranges. Comme les philosophes utilitaristes qui les ont précédés, les EA réduisent le comportement éthique à un problème d'optimisation. Comment les gens peuvent-ils obtenir les meilleurs résultats pour l'humanité dans son ensemble ? Leur raisonnement minimise des impératifs locaux tels que « tenir ses promesses » ou « prendre soin de sa famille ». Ce qui importe, c'est de réduire la souffrance, de manière impartiale et partout.

Cela les amène à inclure un cercle très large de préoccupations dans leurs calculs moraux. Il est facile de voir comment être éthique signifie aider son prochain. Les EA se demandent : pourquoi ne pas s'efforcer autant d'aider ceux qui sont loin ? À ses débuts, le mouvement a orienté son armée de personnes à haut rendement vers des emplois bien rémunérés dans les secteurs financier et du conseil. Leur richesse leur permettrait de financer de bonnes œuvres, obtenant ainsi plus qu'ils n'auraient pu le faire s'ils étaient devenus eux-mêmes travailleurs d'organisations caritatives.

Mais à mesure qu'il s'est renforcé, le mouvement EA est devenu plus particulier. Certains membres de l'EA considèrent que la distinction morale entre les humains et les autres animaux est faible, car les animaux éprouvent de la souffrance. Mettre fin à l'élevage industriel et aider les crevettes sont des préoccupations fondamentales. De même, ils ont une approche du temps qui va à l'encontre de l'intuition. Il faut prendre en compte ceux qui ne sont pas encore nés — et il pourrait y en avoir des billions — lors de l'évaluation des choix. Beaucoup de membres de l'EA sont « longtermistes » qui se sentent obligés de prévenir les risques dans un avenir lointain, même si cela prive de ressources les bonnes causes actuelles, comme aider les plus nécessiteux.

Poussé à l'extrême, ce raisonnement peut conduire à une morale non seulement contraire à l'intuition, mais aussi répugnante. Certains membres du mouvement EA pensent que la vie des insectes est, dans l'ensemble, plus précieuse que la vie humaine, en raison du nombre d'insectes. Certains affirment qu'il serait préférable de favoriser l'existence de billions d'êtres humains dont les vies ne valent guère la peine d'être vécues plutôt que d'avoir seulement des milliards de vies véritablement bonnes. D'autres pensent même que le bien-être des propres IA sera un jour d'une importance vitale. Ils redirigeraient les ressources vers des futurs humains ou non-humains, au détriment des personnes qui souffrent aujourd'hui.

EA + IA = p(catástrofe)

Il est juste de vénérer la raison. Mais les philosophes moraux, d'Aristote à Rawls, savaient que si un argument conduit à des conclusions intolérables, il doit y avoir une erreur cachée. Cependant, l'instinct des EA est de profiter de conclusions contraires à l'intuition, même si elles semblent perverses. Un problème sont les marges d'erreur qui accompagnent inévitablement les arguments de l'altruisme efficace. Personne n'est vraiment capable d'évaluer des dilemmes moraux affectant des milliards de personnes aujourd'hui, et encore moins des sommes gigantesques s'étendant vers le futur, impliquant un nombre incertain de personnes, des taux d'actualisation, le progrès technologique et d'innombrables variables. Un autre problème est que l'extinction est si grave que, dans une arithmétique morale grossière, même une petite probabilité qu'elle se produise prévaut sur les préoccupations actuelles de chair et d'os.

Un troisième problème est qu'en évaluant les intérêts de milliards de personnes, on perd de vue la dignité inhérente de l'individu. Quiconque manipule une feuille de calcul et fait des affirmations grandiloquentes sur l'avenir de l'humanité est à un pas de s'autoproclamer planificateur central. Avec l'autorité morale en main, les droits, le bien-être et les opinions d'un voisin peuvent sembler insignifiants.

On suppose que la Révolution française s'est fondée sur la raison ; elle a conduit à l'exécution de religieuses. Lénine pensait aussi que les intellectuels qui avaient dominé le marxisme comprenaient mieux les intérêts des travailleurs que ces derniers eux-mêmes. Si vous croyez vraiment agir au nom de toutes les personnes, pour ne pas parler des milliards de personnes futures, vous pouvez finir par justifier tout type d'atrocités.

Heureusement, les altruistes efficaces ne sont en aucun cas sur le point de ramener la guillotine. La crainte, au contraire, est que le contrôle de l'IA finisse par leur accorder un grand pouvoir, et que beaucoup d'altruistes efficaces de Silicon Valley pensent qu'eux seuls peuvent être chargés de gérer cette technologie. C'est une idée alarmante. L'argument des altruistes efficaces pour s'inquiéter des IA réellement puissantes est que les machines pourraient être optimisées pour un seul objectif qui se révélerait fatalement erroné. Tout le monde devrait également s'inquiéter de ce qui se passerait si un petit groupe de personnes tombait dans le même piège.