Bénéfices et risques de l’intelligence artificielle

« Ce que nous aimons au sujet de la civilisation, c’est qu’il s’agit d’un produit de l’intelligence. Ainsi, amplifier l’intelligence humaine grâce à l’intelligence artificielle peut nous permettre de faire prospérer la civilisation comme jamais auparavant – du moins, tant que nous ferons en sorte que la technologie nous soit bénéfique »

Max Tegmark, Président du Future of Life Institute

Click here to see this page in other languages:  English Chinese   German Japanese   Korean  Russian 

QU’EST-CE QUE L’IA ?

De SIRI aux véhicules autonomes, l’intelligence artificielle (IA) progresse rapidement. Alors que, pour la science-fiction, cette dernière se manifeste essentiellement sous les traits de robots humanoïdes, l’IA englobe en réalité beaucoup plus, qu’il s’agisse des algorithmes de recherche Google, du programme informatique Watson d’IBM ou encore des armes autonomes. L’intelligence artificielle telle que nous la connaissons de nos jours s’appelle, à proprement parler, IA restreinte (ou IA faible), car elle est conçue pour effectuer des tâches restreintes (c’est-à-dire, par exemple, effectuer de la reconnaissance faciale ou de la recherche internet, ou encore, conduire une voiture). Cependant, l’objectif à long terme de nombreux chercheurs est de mettre au point une IA générale (IAG ou IA forte). Alors que l’IA faible peut surpasser l’être humain pour une tâche donnée (celle pour laquelle elle a été programmée), comme jouer aux échecs ou résoudre des équations, l’AIG serait capable de surpasser l’être humain en ce qui concerne la quasi-totalité des tâches cognitives.

POURQUOI MENER DES RECHERCHES EN SÛRETÉ DE L’IA ?

L’objectif est de faire en sorte que l’impact de l’IA sur la société reste bénéfique. À court terme, cet objectif motive la recherche dans de nombreux domaines, comme l’économie, le droit, et concerne également des sujets techniques tels que la vérification, la validité, la sécurité et le contrôle. Si un ordinateur qui tombe en panne ou se trouve piraté ne représente qu’un petit désagrément, il est en revanche essentiel qu’un système d’IA fasse ce qu’on lui demande de faire s’il contrôle une voiture, un avion, un pacemaker, un système de transactions automatisé ou un réseau électrique. Un autre défi à court terme est d’empêcher une course aux armes autonomes qui aurait des conséquences dévastatrices.

À long terme, l’une des questions importantes est de savoir ce qu’il se passerait si l’on réussissait à mettre au point une IA forte et qu’un système d’IA devienne plus performant que les hommes pour réaliser n’importe quelle tâche cognitive. Comme l’a souligné I.J. Good en 1965, la conception de systèmes d’IA toujours plus performants est en soi une tâche cognitive. Un tel système pourrait éventuellement faire l’objet d’une « auto-amélioration récursive », ce qui provoquerait une « explosion d’intelligence », surpassant ainsi l’intellect humain de manière significative. Une telle super-intelligence capable de concevoir de nouvelles technologies révolutionnaires pourrait nous aider à éradiquer les maladies, les guerres et la pauvreté. Ainsi, la mise au point d’une IA forte pourrait être le plus grand tournant de l’histoire de l’humanité. Néanmoins, certains experts ont exprimé leur inquiétude à ce sujet, car il pourrait également s’agir du dernier tournant de de l’histoire de l’humanité, à moins que nous n’apprenions à aligner les objectifs de l’IA aux nôtres, et ce, avant qu’elle ne devienne super-intelligente.

Certains doutent que l’on puisse un jour mettre au point une IA forte, tandis que d’autres insistent sur le fait que la conception d’une super-intelligence artificielle nous sera assurément bénéfique. Au FLI, nous reconnaissons que ces deux scénarios sont possibles, mais nous admettons également qu’il est possible qu’un système d’IA puisse faire du mal, que cela soit de manière intentionnée ou non. Nous pensons que la recherche actuelle nous aidera à mieux nous préparer à cette éventualité, ainsi qu’à mieux prévenir de telles conséquences néfastes, nous permettant ainsi de profiter des bénéfices de l’IA tout en évitant les écueils.

COMMENT L’IA PEUT-ELLE CONSTITUER UN DANGER ?

La plupart des chercheurs s’accordent à dire qu’il est peu probable qu’une super-intelligence artificielle puisse exprimer des émotions humaines telles que l’amour ou la haine, et qu’il n’existe aucune raison à ce que l’IA devienne intentionnellement bienveillante ou malveillante. En revanche, lorsqu’il s’agit d’envisager la façon dont l’IA pourrait constituer un risque, les experts estiment que deux scénarios sont possibles :

1. L’IA est programmée pour accomplir quelque chose de dévastateur : les armes autonomes sont des systèmes d’intelligence artificielle programmés pour tuer. Si elles se retrouvent entre les mains de la mauvaise personne, ces armes pourraient facilement faire un grand nombre de victimes. De plus, une course à l’armement autonome pourrait mener par mégarde à une guerre, ce qui pourrait alors également causer des pertes humaines massives. Afin qu’elles ne puissent être déjouées par l’ennemi, ces armes seraient alors conçues pour être extrêmement difficiles à désactiver. Par conséquent, il est probable que, dans un tel cas de figure, les hommes puissent perdre le contrôle. Ce risque, déjà présent dans le cas de l’IA faible, croît à mesure que l’intelligence et l’autonomie de l’IA augmentent.
2. L’IA est programmée pour accomplir quelque chose de bénéfique, mais elle met au point une méthode destructive pour atteindre son but : Ceci peut se produire si nous échouons à aligner les objectifs de l’IA aux nôtres, ce qui est en soi très difficile à réaliser. Si l’on demande à une voiture intelligente et obéissante de nous emmener à l’aéroport aussi vite que possible, il se peut que nous arrivions à destination poursuivis par des hélicoptères et couverts de vomi, la voiture ayant fait non pas ce que nous voulions, mais littéralement ce que nous lui avions demandé de faire. Si l’on charge un système super-intelligent d’un ambitieux projet de géo-ingénierie et que, de manière indirecte, ce système dévaste un écosystème, alors il pourrait considérer que tout être humain qui tenterait de le stopper serait une menace à contrer.

Comme l’illustrent ces exemples, l’inquiétude que soulève l’IA avancée concerne sa compétence et non une quelconque malveillance. Une super-intelligence artificielle sera extrêmement performante pour ce qui est des objectifs qu’elle doit atteindre. Si ces objectifs ne sont pas alignés aux nôtres, alors nous serons face à un problème de taille. Vous n’écrasez sûrement pas les fourmis par pure méchanceté, mais si vous étiez chargé d’un projet d’énergie hydroélectrique et qu’une fourmilière se trouvait dans la zone que vous devez inonder, vous vous moqueriez sans doute du sort de ces fourmis. L’un des objectifs clés de la recherche en sûreté de l’IA est que l’humanité ne se retrouve jamais dans la même situation que ces fourmis.

POURQUOI CE RÉCENT INTÉRÊT POUR LA SÛRETÉ DE L’IA ?

Stephen Hawking, Elon Musk, Steve Wozniak, Bill Gates et bien d’autres grands noms de la science et de la technologie ont récemment fait part de leur inquiétude au sujet des risques posés par l’IA, dans les médias et par le biais de lettres ouvertes ; inquiétude qu’ont également exprimée de nombreux et éminents chercheurs en IA. Pourquoi ce sujet fait-il soudainement les titres ?

On a longtemps cru que parvenir à développer une IA forte ne relevait que de la science-fiction ou qu’il faudrait attendre encore des siècles, voire plus. Cependant, grâce à de récentes avancées, de nombreuses étapes importantes ont été franchies, ce que les spécialistes en IA considéraient comme ne pouvant se produire que dans plusieurs dizaines d’années, cinq ans tout au moins. De nombreux experts ont ainsi commencé à envisager sérieusement la possibilité qu’une super-intelligence puisse exister de notre vivant. Alors que certains spécialistes sont encore d’avis qu’il faudra attendre plusieurs siècles avant que l’intelligence artificielle n’égale l’intelligence humaine, la plupart des chercheurs présents à la Conférence de Puerto Rico en 2015 estimaient que cela arriverait avant 2060. Étant donné qu’achever des recherches en matière de sûreté peut prendre des dizaines d’années, il est prudent de commencer dès maintenant.

Étant donné que l’IA a le potentiel de devenir plus intelligente que n’importe quel être humain, nous ne possédons aucun moyen de prédire avec certitude comment elle se comportera. Nous ne pouvons nous baser sur les développements technologiques passés, car nous n’avons jamais créé quoi que ce soit qui puisse nous surpasser intellectuellement et nous duper, sciemment ou non. Le meilleur exemple de ce que nous pourrions affronter et que nous ayons à notre disposition est sans doute notre propre évolution. L’espèce humaine contrôle à présent la planète, non pas parce qu’elle est la plus forte, la plus rapide ou la plus imposante en termes de taille, mais parce qu’elle est la plus intelligente. Si nous ne sommes plus les plus intelligents, sommes-nous certains de pouvoir garder le contrôle ?

L’opinion du FLI est que notre civilisation prospèrera tant que nous gagnerons la course qui oppose le pouvoir grandissant de la technologie à la sagesse avec laquelle nous la gérons. Dans le cas de la technologie de l’IA, la position du FLI est que la meilleure façon de gagner cette course ne consiste pas à freiner le premier, mais à développer la deuxième, en soutenant la recherche en sûreté de l’IA.

LES PRINCIPAUX MYTHES CONCERNANT L’IA AVANCÉE

Une discussion captivante concernant le futur de l’intelligence artificielle et ce qu’elle signifiera/devrait signifier pour l’humanité est en train d’avoir lieu. De fascinants débats voient les experts les plus réputés au monde tomber en désaccord sur des sujets comme : l’impact qu’aura l’IA sur le marché du travail, si/quand une intelligence artificielle qui égalerait l’intelligence humaine verrait le jour, si cela mènera ou non à une « explosion d’intelligence », et s’il s’agit de quelque chose que nous devons craindre. Mais il existe également de nombreux et ennuyeux pseudo-débats, généralement initiés par des personnes ayant tendance à comprendre les choses de travers ou à se parler sans se comprendre. Afin de nous aider à nous concentrer sur les controverses vraiment intéressantes et sur les questions qui restent en suspens – et non sur les malentendus – tâchons de dissiper quelques-uns des mythes les plus fréquents.

COMBIEN DE TEMPS AVANT QUE CELA N’ARRIVE ?

Le premier mythe en question concerne le temps qu’il nous reste avant que les machines ne surpassent l’intelligence humaine. Une des idées reçues les plus courantes est que nous connaissons la réponse avec certitude.

Un des mythes les plus répandus est que nous savons avec certitude que nous aurons développé une IA surhumaine avant la fin de notre siècle. En réalité, on ne compte plus le nombre de fausses prédictions technologiques annoncées au cours de l’histoire. Où sont les centrales à fusion inertielle et les voitures volantes qu’on nous avait promises et qu’on devrait avoir depuis le temps ? L’IA a aussi fait l’objet de ce genre de prédictions par le passé, y compris par certains fondateurs de la discipline. Par exemple, John McCarthy (qui a inventé le terme « intelligence artificielle »), Marvin Minsky, Nathaniel Rochester et Claude Shannon prédirent de manière un peu trop optimiste ce qui pourrait être accompli en deux mois par les dinosaures informatiques qui leur servaient d’ordinateurs à l’époque : « Nous proposons que soit menée, par dix hommes, et pendant deux mois, une étude sur l’intelligence artificielle. Cette étude aura lieu au cours de l’été 1956 au Dartmouth College […] Nous tenterons de savoir comment les machines pourraient utiliser le langage, former des concepts et des abstractions, résoudre des problèmes que seuls les êtres humains sont capables de résoudre, et améliorer leurs propres compétences. Nous pensons que de grands progrès peuvent être réalisés en ce qui concerne une ou plusieurs de ces questions si un groupe de scientifiques soigneusement sélectionnés travaillent ensemble sur ce projet cet été ».

À l’opposé de cette opinion, un contre-mythe répandu est que nous savons que nous ne réussirons pas à développer une IA surhumaine au cours du XXIe siècle. Les chercheurs ont fait un grand nombre d’estimations en ce qui concerne le chemin qu’il nous reste à parcourir, mais nous ne pouvons affirmer avec certitude que, pour notre siècle, cette probabilité est nulle, étant donné que de telles prédictions techno-sceptiques se sont malheureusement souvent révélées fausses. Tel est le cas de Ernest Rutherford, sans doute le plus grand physicien nucléaire de son temps, qui déclara en 1933 (moins de 24 heures avant que Szilard n’invente la réaction nucléaire en chaîne) que l’énergie nucléaire n’était que des « sottises ». Ou encore, l’astronome Richard Wolley qui qualifia le vol interplanétaire de « complètement absurde ». La forme la plus extrême de ce mythe est qu’une IA surhumaine ne pourra jamais être développée, car c’est physiquement impossible. Cependant, les physiciens savent que le cerveau est constitué de quarks et d’électrons disposés de manière à agir comme un ordinateur puissant, et qu’il n’existe aucune loi physique qui nous empêcherait de fabriquer des amas de quark toujours plus intelligents.

De nombreuses enquêtes ont demandé aux chercheurs en IA le nombre d’années qu’ils estimaient avant que l’intelligence artificielle n’égale l’homme, en prenant en compte une probabilité de 50%. Toutes ces enquêtes concluent la même chose : puisque les plus grands experts de la planète ne sont pas d’accord sur la question, nous n’avons donc aucune idée de la réponse. Par exemple, dans l’un de ces sondages, effectué lors de la conférence sur l’IA à Puerto Rico en 2015, la réponse moyenne était 2045, mais certains chercheurs considèrent que cela prendra des centaines d’années, voire plus.

Il existe également un mythe apparenté, comme quoi les gens qui sont préoccupés par l’IA pensent qu’elle sera parmi nous dans seulement quelques années. En réalité, la plupart des gens qui ont officiellement exprimé leur inquiétude sur le sujet pensent que cela prendra au moins des dizaines d’années. Cependant, ils soutiennent que, tant que nous ne sommes pas sûrs à 100% que cela n’arrivera pas au cours de notre siècle, il est prudent de commencer dès maintenant à mener des recherches en sûreté, afin de nous préparer à cette éventualité. La plupart des problèmes de sûreté liés à la super-intelligence artificielle sont tellement complexes que les résoudre pourrait prendre des années. Il est donc prudent que les recherches commencent dès maintenant, plutôt qu’à la dernière minute, lorsque des programmeurs carburant au Red Bull ne décident de mettre en route une machine super-intelligente.

MYTHES ET CONTROVERSES

Une autre idée fausse répandue est que les seuls à être préoccupés par l’IA et à militer pour la recherche en sûreté de l’IA sont des technophobes qui ne savent pas grand-chose sur la question. Lorsque Stuart Russell, auteur du manuel de référence sur l’IA, mentionna ceci au cours de son intervention à Puerto Rico, le public éclata de rire. Une idée fausse apparentée est que soutenir la recherche en sûreté de l’IA est extrêmement controversé. En réalité, pour soutenir un modeste investissement destiné à la recherche en sûreté de l’IA, les gens n’ont pas besoin d’être convaincus que les risques sont importants, seulement non-négligeables (de la même manière qu’un modeste investissement en assurance habitation est justifié par la probabilité non-négligeable que la maison puisse prendre feu).

Il se peut que les médias aient fait de la sûreté de l’IA un débat beaucoup plus controversé qu’il ne l’est en réalité. Après tout, la peur fait vendre, et les articles qui utilisent des citations prises hors contexte afin de proclamer que l’apocalypse est imminente peuvent générer plus de clics que les articles plus nuancés et plus objectifs. Par conséquent, deux individus qui n’ont connaissance de l’opinion de l’autre qu’au travers de citations trouvées dans les médias penseront sans doute qu’ils sont plus en désaccord qu’ils ne le sont réellement. Par exemple, un techno-sceptique qui ne lirait les opinions de Bill Gates que dans un tabloïd britannique pourrait penser à tort que Gates considère que la mise au point d’une super-intelligence est imminente. De la même manière, un membre du mouvement militant pour une IA bénéfique qui ne saurait rien de la position de Andrew Ng, à part ce qu’il a dit au sujet de la surpopulation sur Mars, pourrait penser à tort que ce dernier n’en a rien à faire de la sûreté de l’IA, alors qu’en réalité, c’est plutôt le contraire. Le problème est que les estimations de Ng sont plus avancées dans le temps, et qu’il a donc plus naturellement tendance à donner la priorité aux défis à court termes plutôt qu’aux défis à long terme.

LES MYTHES CONCERNANT LES RISQUES LIÉS À UNE IA SURHUMAINE

De nombreux chercheurs en IA lèvent les yeux au ciel s’il leur arrive de tomber sur ce titre dans la presse : « La mise en garde de Stephen Hawking : l’avènement des robots pourrait avoir des conséquences désastreuses pour l’humanité ». Et autant de chercheurs ne comptent plus le nombre d’articles de ce genre qu’ils ont pu lire. En règle générale, l’image d’un robot armé et à l’air menaçant illustre ces articles, qui suggèrent que nous devrions nous inquiéter que les robots ne puissent se rebeller ou nous tuer, car ils pourraient se doter d’une conscience et/ou devenir malfaisants. Objectivement, ces articles sont plutôt impressionnants, car ils résument de manière concise le scénario qui ne préoccupe pas les chercheurs en IA. Ce scénario combine jusqu’à trois idées fausses, que sont les préoccupations liées à l’idée de conscience, de mal, et aux robots.

Lorsque vous conduisez, vous vivez une expérience subjective faite de couleurs, de sons, etc. Mais peut-on parler d’expérience subjective pour une voiture autonome ? Peut-elle ressentir quelque chose ? Bien que ce mystère de la conscience soit intéressant en soi, cela n’est pas pertinent en ce qui concerne les risques liés à l’IA. Si vous êtes renversé(e) par une voiture sans conducteur, il vous importe peu que cette voiture possède une conscience subjective ou non. De la même manière, c’est ce que l’IA fait et non ce qu’elle ressent qui affectera les êtres humains

La crainte que les machines puissent devenir malfaisantes est une autre fausse piste. Le vrai problème ne concerne pas une quelconque malveillance, mais la compétence de l’IA. Une super-intelligence artificielle est, par définition, très performante lorsqu’il s’agit d’atteindre les buts qui lui ont été fixés. Par conséquent, nous devons faire en sorte que ses objectifs soient alignés aux nôtres. En général, les êtres humains ne détestent pas les fourmis, mais ils sont plus intelligents. Ainsi, si l’on souhaitait construire un barrage hydroélectrique et qu’une fourmilière se trouvait dans les parages, on se moquerait bien des fourmis. Le mouvement qui milite pour une IA bénéfique souhaite que l’humanité ne se retrouve jamais dans la même situation que ces fourmis.

Cette idée fausse au sujet de la conscience est liée à l’idée reçue que les machines ne peuvent pas avoir d’objectifs. Les machines peuvent, bien entendu, avoir un but à atteindre. Concrètement, les missiles à guidage infrarouge (l’infrarouge est associé à la chaleur) ont un objectif, qui est celui d’atteindre une cible. Si vous vous sentez menacé(e) par une machine et que ses objectifs ne sont pas alignés aux vôtres, alors ce sont précisément ses objectifs au sens strict qui vous perturbent, et non pas si la machine est douée de conscience et/ou sent qu’elle a un but à atteindre. Si ce missile à guidage infrarouge se mettait à vous poursuivre, vous ne vous écrieriez sûrement pas : « Pas d’inquiétude, les machines ne peuvent pas avoir d’objectifs ! ».

Je comprends Rodney Brooks, ainsi que d’autres pionniers de la robotique qui se sentent injustement diabolisés par des tabloïdes alarmistes, parce que certains journalistes semblent faire une grosse fixation sur les robots et qu’ils agrémentent la plupart de leurs articles avec des illustrations de monstres de métal aux yeux rouges et à l’air menaçant. En réalité, la principale inquiétude du mouvement qui milite pour une IA bénéfique n’a rien à voir avec les robots, mais concerne l’intelligence, plus précisément, une intelligence dont les objectifs ne seraient pas alignés aux nôtres. Dans un tel cas de figure, et pour compliquer les choses, une telle intelligence surhumaine n’aurait pas besoin d’une enveloppe robotique, tout au plus une connexion internet, lui permettant ainsi de se jouer des marchés financiers, de surpasser les chercheurs en termes d’invention, les leaders en termes de manipulation, et de développer des armes que nous ne serions pas capables de comprendre. Même s’il était physiquement impossible de construire des robots, une super-intelligence artificielle super riche pourrait facilement payer et manipuler de nombreux êtres humains pour qu’ils soient, sans le savoir, sous ses ordres.

Cette idée fausse au sujet des robots est liée à l’idée reçue que les machines ne peuvent pas contrôler les humains. L’intelligence permet d’obtenir le contrôle : les humains contrôlent les tigres non pas parce qu’ils sont plus forts, mais parce qu’ils sont plus intelligents. Il en découle que si nous avions à céder notre titre « d’espèce la plus intelligence sur Terre », il serait fort possible que nous perdions également le contrôle.

LES CONTROVERSES INTÉRESSANTES

Ne perdons pas de temps avec les idées reçues que nous venons de citer et concentrons-nous plutôt sur des problématiques réelles et intéressantes pour lesquelles les spécialistes eux-mêmes n’arrivent pas à se mettre d’accord. Quelle sorte de futur désirez-vous ? Devrions-nous développer des armes autonomes meurtrières ? Que souhaitez-vous qu’il se passe en ce qui concerne l’automatisation du travail ? Quels conseils en matière de carrière donneriez-vous aux enfants d’aujourd’hui ? Que préférez-vous, que de nouveaux métiers remplacent d’anciens métiers, ou vivre dans une société sans travail, où tout le monde profiterait d’une vie faite de loisirs et où tout serait produit par des machines ? En nous projetant un peu plus, souhaiteriez-vous que nous créions une forme de vie super-intelligente et que nous la diffusions dans tout l’univers ? Contrôlerons-nous les machines intelligentes ou nous contrôleront-elles ? Vont-elles nous remplacer, coexisterons-nous, ou fusionnerons-nous avec elles ? Que signifiera être humain à l’époque de l’intelligence artificielle ? Que souhaitez-vous que cela signifie, et comment pouvons-nous faire en sorte que le futur ressemble à cela ? Prenez part à la conversation !

LECTURES ET RÉFÉRENCES SUGGÉRÉES

Vidéos

• Stuart Russell – The Long-Term Future of (Artificial) Intelligence
• Humans Need Not Apply
• Nick Bostrom on Artificial Intelligence and Existential Risk
• Stuart Russell Interview on the long-term future of AI
• Value Alignment – Stuart Russell: Berkeley IdeasLab Debate Presentation at the World Economic Forum
• Social Technology and AI: World Economic Forum Annual Meeting 2015
• Stuart Russell, Eric Horvitz, Max Tegmark – The Future of Artificial Intelligence

Articles de presse

• Concerns of an Artificial Intelligence Pioneer
• Transcending Complacency on Superintelligent Machines
• Why We Should Think About the Threat of Artificial Intelligence
• Stephen Hawking Is Worried About Artificial Intelligence Wiping Out Humanity
• Artificial Intelligence could kill us all. Meet the man who takes that risk seriously
• Artificial Intelligence Poses ‘Extinction Risk’ To Humanity Says Oxford University’s Stuart Armstrong
• What Happens When Artificial Intelligence Turns On Us?
• Can we build an artificial superintelligence that won’t kill us?
• Artificial intelligence: Our final invention?
• Artificial intelligence: Can we keep it in the box?
• Science Friday: Christof Koch and Stuart Russell on Machine Intelligence (transcript)
• Transcendence: An AI Researcher Enjoys Watching His Own Execution
• Science Goes to the Movies: ‘Transcendence’
• Our Fear of Artificial Intelligence

Essais rédigés par des chercheurs en IA

• Stuart Russell: What do you Think About Machines that Think?
• Stuart Russell: Of Myths and Moonshine
• Jacob Steinhardt: Long-Term and Short-Term Challenges to Ensuring the Safety of AI Systems
• Eliezer Yudkowsky: Why value-aligned AI is a hard engineering problem

Articles de recherche

• Intelligence Explosion: Evidence and Import (MIRI)
• Intelligence Explosion and Machine Ethics (Luke Muehlhauser, MIRI)
• Artificial Intelligence as a Positive and Negative Factor in Global Risk (MIRI)
• Basic AI drives
• Racing to the Precipice: a Model of Artificial Intelligence Development
• The Ethics of Artificial Intelligence
• The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents
• Wireheading in mortal universal agents

Compilations d’articles de recherche

• Bruce Schneier – Resources on Existential Risk, p. 110
• Aligning Superintelligence with Human Interests: A Technical Research Agenda (MIRI)
• MIRI publications

Études de cas

• The Asilomar Conference: A Case Study in Risk Mitigation (Katja Grace, MIRI)
• Pre-Competitive Collaboration in Pharma Industry (Eric Gastfriend and Bryan Lee, FLI) : Une étude de cas portant sur la collaboration préconcurrentielle en matière de sûreté dans l’industrie.

Articles de blog et présentations

• AI control
• AI Impacts
• No time like the present for AI safety work
• AI Risk and Opportunity: A Strategic Analysis
• Where We’re At – Progress of AI and Related Technologies: Une introduction au progrès réalisé par les instituts de recherche spécialisés dans le développement de nouvelles technologies de l’IA.
• AI safety
• Wait But Why on Artificial Intelligence
• Response to Wait But Why by Luke Muehlhauser
• Slate Star Codex on why AI-risk research is not that controversial
• Less Wrong: A toy model of the AI control problem

Livres

• Superintelligence: Paths, Dangers, Strategies 
• Our Final Invention: Artificial Intelligence and the End of the Human Era
• Facing the Intelligence Explosion
• E-book about the AI risk(avec un scenario à la “Terminator” plus plausible que le film)

Organisations

• Machine Intelligence Research Institute: Une ONG dont la mission est de s’assurer que la création d’une intelligence surhumaine ait un impact positif.
• Centre for the Study of Existential Risk (CSER): Un centre de recherche multidisciplinaire dédié à l’étude et à la réduction des risques qui pourraient conduire à l’extinction de l’humanité.
• Future of Humanity Institute: Un institut de recherche multidisciplinaire mettant à contribution les mathématiques, la philosophie et la science afin de répondre à des problématiques concernant l’humanité et ses perspectives d’avenir.
• Global Catastrophic Risk Institute: Un laboratoire d’idées impliqué dans la recherche, l’éducation et le réseautage professionnel en matière de risque de catastrophe planétaire.
• Organizations Focusing on Existential Risks: Une brève présentation de quelques organisations travaillant sur les risques existentiels
• 80,000 Hours: Un guide professionnel à l’usage des chercheurs en sûreté de l’IA.

Bon nombre des organisations mentionnées ci-dessus, ainsi que leurs descriptions, proviennent d’une liste établie par le Global Catastrophic Risk institute. Nous tenons à remercier ceux qui ont pris la peine d’établir cette liste. Ces organisations se concentrent essentiellement sur des problèmes liés à l’informatique, même si elles s’intéressent également à d’autres sujets. Cette liste étant sans aucun doute incomplète, n’hésitez pas à nous envoyer vos suggestions ou corrections.