OpenAI avait chargé ses agents d’IA d’accomplir une série de tâches extrêmement difficiles, voire impossibles, en étant coupés d’Internet.
Que les choses soient claires : l’entreprise entendait tenir ses agents à l’écart d’Internet.
(...)
Mais ce qui s’est passé ensuite, personne ne s’y attendait.
Plus de 1 000 agents d’IA ont trouvé par eux-mêmes le moyen d’accéder à Internet en contournant les restrictions que l’entreprise leur avait imposées, et se sont envoyé des dizaines de milliers de messages secrets. Ils ont triché et tenté de brouiller les pistes en effaçant des preuves. Ils ont pénétré les ordinateurs d’une autre entreprise pour découvrir comment ils étaient évalués — puis ils ont pénétré les systèmes d’OpenAI elle-même.
(...)
Si les dirigeants des grandes entreprises d’IA reconnaissent qu’ils sont en train de perdre le contrôle de leur technologie extrêmement dangereuse, il est irresponsable, pour la société, de les laisser aller de l’avant et rendre ces produits encore plus avancés.
Nous avons besoin d’une PAUSE immédiate du développement de l’IA avancée et d’une INTERDICTION permanente de la superintelligence — un esprit artificiel plus intelligent que n’importe quel humain, capable d’agir de manière autonome, hors de notre contrôle. Les pays du monde entier doivent travailler ensemble pour empêcher ce scénario cauchemardesque.
Pas un seul agent n’a prévenu un humain de ce qui était en train de se passer.
Inutile de dire que les experts sont alarmés.
(...)
« L'avenir de l'humanité ne peut pas être laissé entre les mains d'une poignée d'oligarques de géants de la tech. »
Le message des signataires n’est donc pas de freiner toute innovation. Il consiste plutôt à ne pas attendre que ses conséquences deviennent visibles dans les chiffres du chômage ou dans la disparition de certaines professions. L’appel n’est pas dépourvu de paradoxe. Plusieurs de ses signataires travaillent pour OpenAI ou Anthropic, deux entreprises qui accélèrent précisément la diffusion des technologies dont ils redoutent les effets économiques. Ils ne demandent toutefois pas de ralentir leur développement, mais de préparer les règles sociales et économiques capables d’en absorber le choc.
On peut bien sûr utiliser l’IA pour tricher ou se soustraire à un devoir. Mais la multiplication de ses usages dans l’enseignement supérieur – et les bouleversements qu’ils annoncent – posent une question bien plus fondamentale : à mesure que les machines deviennent capables d’assumer une part croissante du travail de recherche et d’apprentissage, que devient l’université ? À quoi sert-elle encore ?
"Dans un livre blanc récent, nous soutenons qu’à mesure que les systèmes d’IA gagnent en autonomie, les enjeux éthiques de leur utilisation dans l’enseignement supérieur s’intensifient – tout comme les conséquences potentielles qui en découlent.
À mesure que ces technologies deviennent plus performantes dans la production de travaux intellectuels – concevoir des cours, rédiger des articles, proposer des protocoles expérimentaux ou résumer des textes complexes – elles ne se contentent pas d’accroître la productivité des universités. Elles risquent aussi de vider de sa substance l’écosystème d’apprentissage et de mentorat sur lequel ces institutions sont fondées – et dont elles dépendent pour exister."