La superintelligence est un horizon qui recule quand on avance

Il existe désormais deux seuils à ne pas franchir, ou plutôt deux seuils qu'il faut absolument franchir le premier, avant les autres. Le premier porte un nom presque rassurant : une intelligence « générale », capable de faire à peu près tout ce qu'un humain compétent sait faire. Le second porte un nom qui ne l'est pas : une superintelligence, capable de dépasser l'ensemble de l'espèce sur l'ensemble des tâches, et donc, dans la version longue du récit, de s'en affranchir.

La distinction a l'apparence d'une échelle scientifique. Elle fonctionne surtout comme un thermomètre de communication. Plus l'un des deux mots apparaît dans une phrase, plus la phrase suivante annonce un financement, une levée de fonds ou une restriction commerciale envers un rival. C'est une coïncidence qui se répète avec une régularité qu'aucun hasard n'explique.

Une frontière qui n'existe que dans le discours

Personne ne sait précisément où se situe la ligne entre les deux seuils, ni même s'il existe un seuil unique plutôt qu'un dégradé continu de compétences empilées les unes sur les autres. Ce flou n'est pas un défaut de la théorie : c'est son moteur. Un horizon qu'on ne peut pas mesurer est un horizon qu'on ne peut jamais dire atteint, ni jamais dire manqué.

On concèdera ceci, honnêtement : les systèmes progressent, et certaines de leurs performances surprennent même ceux qui les construisent. Il serait absurde de nier tout progrès au nom du scepticisme envers le vocabulaire qui l'accompagne.

Mais un progrès mesurable et un basculement civilisationnel ne sont pas la même chose. Le premier se constate tâche par tâche. Le second se proclame, généralement par les mêmes qui vendent la tâche suivante.

Le risque comme argument commercial

Le vocabulaire de l'extinction a ceci de pratique qu'il place son locuteur en position de sage, quelle que soit l'issue. S'il ne se passe rien, on aura eu la prudence de prévenir. S'il se passe quelque chose, on aura eu raison. Dans les deux cas, on continue de vendre le produit dont on annonçait, la veille, qu'il pourrait mettre fin à tout.

Une menace qu'on décrit sans jamais interrompre ce qui la produit ressemble moins à un avertissement qu'à une notice d'utilisation.

Les mêmes voix qui réclament un ralentissement collectif s'assurent, dans le paragraphe suivant, que ce ralentissement ne les concerne pas les premières. On demande la pause au concurrent, jamais à soi-même. C'est une prudence à sens unique, qui a le mérite de la clarté : elle ne protège de rien, sinon d'une avance qu'on ne voudrait pas céder.

Ce que la peur dispense de discuter

L'avantage d'un horizon aussi vertigineux, c'est qu'il aspire toute l'attention disponible. Quand la question posée est de savoir si une machine pourrait un jour anéantir l'espèce, il devient difficile de s'attarder sur des sujets plus modestes : qui perd son emploi, qui capte la valeur produite, quelles données ont été aspirées sans qu'on le demande.

Le débat public a ceci de commode qu'il aime les questions immenses, parce qu'elles dispensent de trancher les petites. Discuter de la fin de l'humanité coûte peu ; discuter de la répartition d'un marché coûte beaucoup, notamment à ceux qui le dominent déjà.

On ne dira pas que la prudence est inutile : elle l'est rarement. Mais une prudence qui ne freine jamais celui qui l'énonce n'est plus une prudence, c'est une posture. Et une posture, contrairement à une menace, ne demande aucun sacrifice à celui qui l'occupe.

L'horizon annoncé continue d'avancer d'un pas chaque fois qu'on croit s'en approcher, comme ces lignes de fuite qui reculent à mesure qu'on marche vers elles. Peut-être est-ce précisément sa fonction : rester à distance suffisante pour qu'on continue de courir, sans jamais avoir à répondre de ce qu'on trouvera à l'arrivée.