Nutzen und Risiken künstlicher Intelligenz

„Alles, was wir an unserer Zivilisation lieben, ist ein Ergebnis von Intelligenz. Die Erweiterung unserer menschlichen Intelligenz mit künstlicher Intelligenz hat das Potenzial, unsere Zivilisation blühen zu lassen wie nie zuvor – vorausgesetzt, wir schaffen es, diese Technologie wohltätig zu behalten.“

Max, Tegmark, Präsident des Future of Life Institute

Click here to see this page in other languages:  English Chinese    French  Japanese   Russian Korean  

Was ist KI?

Von SIRI bis zu selbstfahrenden Autos, künstliche Intelligenz (KI, engl. artificial intelligence, AI) schreitet schnell voran. Science-Fiction stellt KI oft als Roboter mit menschlichen Zügen dar, in Wirklichkeit kann sie vieles umfassen, von Googles Suchalgorithmen über IBMs Watson bis zu autonomen Waffen.

Künstliche Intelligenz von heute wird technisch korrekt als schwache KI (engl. weak, narrow AI) bezeichnet, da sie entwickelt wird, um eine begrenzte Aufgabe zu erfüllen (z.B. nur Gesichtserkennungen, Internetsuchen oder Autofahren). Das Langzeitziel vieler Forscher ist es jedoch, eine starke künstliche Intelligenz (engl. artificial general intelligence, AGI) zu erschaffen. Wo eine schwache KI Menschen bei einer spezifischen Aufgabe schlagen kann, wie beim Schach spielen oder dem Lösen von Gleichungen, könnte eine AGI Menschen bei fast jeder kognitiven Aufgabe übertreffen.

Warum brauchen wir KI-Sicherheitsforschung?

Zurzeit wird in vielen Bereichen – zum Beispiel in der Wirtschaft, den Rechtswissenschaften und in technischen Feldern wie Verifizierung, Validierung, Sicherheit und Kontrolle – Forschung mit dem kurzfristigen Ziel betrieben, die Auswirkungen von KI auf die Gesellschaft positiv und nützlich zu belassen. Es mag ärgerlich sein, wenn unser Laptop einmal abstürzt oder gehackt wird. Aber umso wichtiger wird es, das die KIs machen, was wir wollen, wenn es darum geht unsere Autos, Flugzeuge, Herzschrittmacher, den automatisierten Handel oder das Stromnetz zu steuern. Eine andere Herausforderung der nahen Zukunft ist es, ein zerstörerisches Rüstungsrennen mit tödlichen autonomen Waffen zu verhindern.

Langfristig stellt sich die Frage, was geschieht, wenn das Streben nach einer starken KI erfolgreich ist und ein solches System besser als der Mensch in allen kognitiven Aufgaben wird. Der Statistiker I.J. Good wies 1965 darauf hin, dass die Entwicklung intelligenter Systeme an sich schon eine kognitive Aufgabe sei. Ein KI-System könnte eine rekursive Selbstverbesserung unternehmen und eine Intelligenzexplosion auslösen, die den menschlichen Intellekt weit hinter sich lässt. Die Erfindung revolutionärer neuer Technologien, wie einer Superintelligenz, könnte uns dabei helfen, Kriege zu beenden und Krankheiten und Armut auszulöschen. Dies könnte das größte Ereignis in der Geschichte der Menschheit werden. Einige Experten haben allerdings Bedenken geäußert, dass es auch das letzte sein könnte – wenn wir nicht lernen, die Ziele der KI an die unseren auszurichten, bevor sie superintelligent wird.

Manche bezweifeln, dass eine starke KI jemals erreicht werden wird. Andere glauben, dass die Erschaffung einer superintelligenten KI garantiert wohltätig sein wird. Wir vom Future of Life Institute erkennen beide Aussichten an, sehen aber auch das Potenzial, dass ein KI System großen Schaden anrichten kann – absichtlich oder unabsichtlich. Wir glauben, dass uns Forschungsarbeit heute bei der Verhinderung solch potenziell negativer Konsequenzen in der Zukunft helfen kann. So können wir die Vorteile von KI nutzen und gleichzeitig Fallstricke vermeiden.

Wie kann KI gefährlich werden?

Die meisten Wissenschaftler sind sich einig, dass eine superintelligente KI voraussichtlich keine menschlichen Emotionen wie Liebe oder Hass entwickeln wird. Deshalb ist es nicht zu erwarten, dass sie vorsätzlich gut- oder bösartig werden wird. Wenn es darum geht, wie KIs zum Risiko werden könnten, denken Experten an zwei wahrscheinliche Szenarien:

1. Die KI wird programmiert, etwas Zerstörerisches zu tun. Autonome Waffen sind künstliche Intelligenzsysteme, die programmiert sind zu töten. In den falschen Händen können sie leicht große Mengen an Opfern fordern. Schlimmer noch, ein KI-Rüstungsrennen könnte zu einem unvermeidlichen KI-Krieg führen, unzählige Tote wären die Folge. Um nicht vom Feind ausgebremst zu werden, wären diese Waffen so entwickelt, dass sie extrem schwer abzuschalten wären. Die Menschen könnten leicht die Kontrolle über solch eine Situation verlieren. Dieses Risiko ist schon bei schwacher KI vorhanden, wächst aber mit jeder Stufe, in der KIs an Intelligenz und Autonomie gewinnen.
2. Die KI wird programmiert, etwas Gutes zu tun, entwickelt aber eine zerstörerische Methode, ihr Ziel zu erreichen. Dies kann passieren, wenn wir es nicht schaffen, die Ziele der KI mit den unseren in volle Übereinstimmung zu bringen, was extrem schwer ist. Wenn Sie ein gehorsames intelligentes Auto darum bitten, Sie so schnell wie möglich zum Flughafen zu fahren, könnten Sie womöglich vollgekotzt und von Helikoptern gejagt dort ankommen. Das Auto hätte nicht das getan was sie wollten, sondern das, was Sie wortwörtlich verlangt hätten. Wenn ein superintelligentes System mit einem ambitionierten Projekt im Bereich Geo-Engineering betreut wird, könnte es als Nebeneffekt großen Schaden im Ökosystem anrichten und Menschen, die dies stoppen wollen, als Bedrohung ansehen, die es zu beseitigen gilt.

Diese Beispiele zeigen, dass es bei den Sorgen um fortgeschrittene KI nicht um Bösartigkeit, sondern um Kompetenz geht. Eine superintelligente KI wird extrem gut darin sein, ihre Ziele zu erfüllen. Wenn diese nicht mit unseren im Einklang stehen, haben wir ein Problem. Sie sind wahrscheinlich kein fieser Ameisenhasser, aber wenn Sie ein grünes Hydroelektrizitätsprojekt leiten und in einem zu flutenden Gebiet ein Ameisenhaufen liegt, haben die Insekten Pech gehabt. Ein Kernziel der KI-Sicherheitsforschung ist es, die Menschheit niemals in die Position dieser Ameisen kommen zu lassen.

Warum gerade jetzt das Interesse in KI-Sicherheit?

Stephen Hawking, Elon Musk, Steve Wozniak, Bill Gates und andere große Namen haben kürzlich in den Medien und mit offenen Briefen Sorgen bezüglich der Risiken von künstlichen Intelligenzen geäußert. Viele führende KI-Forscher haben sich ihnen angeschlossen. Warum ist dieses Thema plötzlich in den Schlagzeilen?

Man hat das Streben nach starker KI lange als Science-Fiction angetan, als etwas, das Jahrhunderte oder noch weiter entfernt liegt. In der letzten Zeit sind Wissenschaftlern allerdings einige Durchbrüche gelungen, die für Experten vor fünf Jahren noch Jahrzehnte in der Zukunft lagen. Viele nehmen jetzt die Möglichkeit sehr ernst, dass wir Superintelligenz noch zu unseren Lebzeiten erleben werden. Manche Fachleute schätzen zwar immer noch, dass eine KI auf menschlicher Höhe mehr als hundert Jahre brauchen wird, aber die meisten KI-Forscher, die auf der Puerto Rico Konferenz 2015 waren, glauben, dass dies noch vor 2060 geschehen kann. Da die erforderliche Forschungsarbeit für entsprechende Sicherheit Jahrzehnte brauchen könnte, ist es klug, sofort damit zu beginnen.

KI hat das Potenzial intelligenter als alle Menschen zu werden, deshalb kann niemand eine Vorhersage treffen, wie sie sich verhalten wird. Wir können nicht auf vergangene technologische Errungenschaften zurückblicken, da wir niemals etwas konstruiert haben, das die Möglichkeit hat uns – bewusst oder unbewusst – überlisten zu können. Das beste Beispiel eines ähnlichen Prozesses könnte unsere eigene Evolution sein. Die Menschheit kontrolliert den Planeten heute nicht, weil wir die Stärksten, Schnellsten oder Größten sind, sondern die Klügsten. Wenn wir nicht mehr die Klügsten sind, ist es sicher, dass wir die Kontrolle behalten?

Die Haltung des Future of Life Institutes ist es, dass unsere Zivilisation gedeihen wird, so lange wir das Rennen zwischen der wachsenden Macht der Technologie und der Weisheit mit der wir sie steuern, gewinnen. Wir glauben, dass dies möglich ist, indem wir unsere Klugheit durch KI-Sicherheitsforschung erhöhen und nicht, indem wir technischen Fortschritt verlangsamen.

Die Top-Mythen über fortgeschrittene künstliche Intelligenz

Aktuell finden spannende Diskussionen über die Zukunft künstlicher Intelligenz statt und was dies für die Menschheit bedeuten kann und wird. Es gibt faszinierende Kontroversen, bei denen die weltweit führenden Experten sich uneins sind: Die zukünftigen Auswirkungen von KI auf den Arbeitsmarkt, ob und wann menschengleiche KI entwickelt werden wird, ob dies zu einer Intelligenzexplosion führen wird und ob dies etwas ist, was wir begrüßen oder fürchten sollten. Gleichzeitig gibt es viele irrelevante Pseudo-Kontroversen von Menschen, die manche Dinge missverstehen und aneinander vorbeireden. Damit wir uns auf die interessanten Diskussionen und Fragen konzentrieren können – und uns nicht mit Vorurteilen herumschlagen müssen – räumen wir jetzt mit ein paar häufigen Mythen auf.

Wann kommt die künstliche Superintelligenz?

Der erste Mythos betrifft die Zeitspanne: Wie lange wird es dauern, bis Maschinen die menschliche Intelligenz übertreffen? Es ist ein weit verbreiteter Irrglaube, dass wir die Antwort darauf mit Sicherheit kennen.

Es ist ein bekannter Mythos, dass wir noch in diesem Jahrhundert übermenschliche KI bekommen werden. Tatsache ist auch, dass die Geschichte voll von übertriebenen Technologieträumen ist. Wo sind die Fusionskraftwerke und fliegenden Autos, die uns für heute versprochen wurden? KI wurde schon in der Vergangenheit öfters aufgebauscht, auch von Vordenkern auf diesem Gebiet. Eine sehr optimistische Vorhersage wurde zum Beispiel in den Fünfzigern von John McCarthy (der den Begriff “artificial intelligence” erfunden hat), Marvin Minsky, Nathaniel Rochester und Claude Shannon geäußert: „Wir beantragen für den Sommer 1956 am Dartmouth College eine Studie zur künstlichen Intelligenz, die zwei Monate dauern und zehn Mitarbeiter benötigen wird. […] Es wird versucht herauszufinden, inwiefern Maschinen Sprache, Abstraktionen und Konzepte verwenden, Probleme lösen, die bisher Menschen vorbehalten sind und wie sie sich selber verbessern können. Wir denken, dass bei einem oder mehreren dieser Probleme signifikante Fortschritte gemacht werden können, wenn eine ausgewählte Gruppe Wissenschaftler einen Sommer lang daran zusammenarbeitet.“

Es gibt auch den Gegenmythos, dass wir übermenschliche KI niemals in diesem Jahrhundert erreichen können. Forscher haben eine große Bandbreite an Schätzungen gemacht, wie weit wir entfernt sind. Wir können aber nicht sicher sagen, dass die Wahrscheinlichkeit in diesem Jahrhundert null ist. Die miserable Erfolgsbilanz von Technologie-Skeptikern spricht für sich. Der wohl größte Atomphysiker seiner Zeit, Ernest Rutherford, sagte beispielsweise 1933, dass nutzbare Atomkraft „Unsinn“ sei – weniger als 24 Stunden vor Leó Szilárds Erfindung der nuklearen Kettenreaktion. Der Astronom Richard Woolley hat 1956 interplanetare Reisen als „absoluten Quatsch“ bezeichnet. Die extremste Version dieses Mythos ist es, dass übermenschliche KI niemals entwickelt werden kann, da dies physisch unmöglich ist. Physiker wissen allerdings, dass ein Gehirn aus Quarks und Elektronen besteht, die zusammengesetzt wie ein mächtiger Computer funktionieren. Es gibt kein physikalisches Gesetz, welches noch intelligentere Quarkansammlungen verhindert.

Es gibt eine Reihe an Studien, bei denen KI-Forscher befragt wurden, wie viele Jahre es ihrer Einschätzung nach noch dauert, bis wir zu mindestens 50 Prozent Wahrscheinlichkeit eine KI auf menschlichem Niveau haben werden. Diese Studien kommen alle zu dem gleichen Ergebnis: Die größten Experten sind sich nicht einig, wir wissen es also einfach nicht. Auf der Puerto Rico Konferenz 2015 gab es zum Beispiel eine solche Umfrage. Der Durchschnitt (Median) der Expertenantworten kam auf das Jahr 2045, aber manche schätzten auch hunderte Jahre oder länger.

Ein verwandtes Vorurteil ist, dass diejenigen, die sich Sorgen um KI machen, glauben würden, dass es nur noch wenige Jahre dauert. Tatsächlich schätzen selbst die Experten, die sich besorgt geäußert haben, diesen Fortschritt auf mindestens noch einige Jahrzehnte. Aber solange wir nicht hundertprozentig sicher sind, dass es nicht in diesem Jahrhundert geschieht, sollten wir an der Sicherheitsforschung arbeiten. Viele der Sicherheitsprobleme, die sich aus menschengleicher KI ergeben sind so komplex, dass es Jahrzehnte dauern könnte sie zu lösen. Es ist also klug, schon jetzt mit der Forschung zu beginnen und nicht erst in der Nacht bevor ein paar Red Bull trinkende Programmierer beschließen eine solche anzuschalten.

Kontroversen?

Ein weiterer verbreiteter Irrglaube sagt, die einzigen, die sich Sorgen über KI machen und KI-Sicherheitsforschung befürworten, seien Ludditen, die nicht viel über das Thema wissen. Als Stuart Russell, Autor eines KI-Standardwerkes, dies bei seinem Vortrag in Puerto Rico erwähnte, gab es großes Gelächter. Es ist ebenfalls falsch, dass KI-Sicherheitsforschung sehr umstritten ist. Um nur ein wenig in KI-Sicherheit zu investieren, brauchen Menschen nicht überzeugt werden, dass es ein großes Risiko gibt, sondern nur, dass die Wahrscheinlichkeit vorhanden ist. Eine bescheidende Investition in eine Hausratversicherung ist ja auch gerechtfertigt durch eine geringe Wahrscheinlichkeit, dass das Haus abbrennt.

Möglicherweise haben die Medien die KI-Sicherheitsdebatte kontroverser aussehen lassen, als sie ist. Angst verkauft sich eben gut und Artikel mit Zitaten ohne Kontext, die unseren drohenden Untergang hinauf beschwören, bekommen mehr Klicks als solche, die ausgeglichen und gut recherchiert sind. Dies kann dazu führen, dass zwei Leute, die die Positionen des jeweils anderen nur aus Medienzitaten kennen, glauben, dass ihre Meinungen weiter auseinanderliegen als sie es tatsächlich tun. Wer zum Beispiel die Meinung von Bill Gates nur aus deutschen Boulevardzeitungen kennt, mag denken, dass Gates glaubt, die Superintelligenz stehe unmittelbar bevor. Gleichzeitig könnte jemand, der sich für wohltätige KI einsetzt, glauben, Andrew Ng sorge sich nicht um KI-Sicherheit, wenn er nur dessen Zitat über die Überbevölkerung auf dem Mars kennt. Dabei tut er es, seine Schätzungen sind nur längerfristig, deshalb priorisiert er kurzfristige Herausforderungen der KI über langfristige.

Mythen über die Risiken übermenschlicher KI

Viele KI-Experten rollen mit den Augen, wenn sie Schlagzeilen wie diese lesen: „Elon Musk und Co. warnen vor Killer-Robotern“ Solche Artikel haben meistens  Bilder von bösen, waffenstrotzenden Robotern und vermitteln den Eindruck, wir müssten uns vor Robotern fürchten, die ein Bewusstsein entwickelt haben und uns töten wollen. Schlagzeilen wie diese wecken eher die Vorstellung von Szenarios, die eben nicht von Forschern befürchtet werden. Drei falsche Vorstellungen kommen hier zusammen: Bewusstsein, böse und Roboter.

Wenn Sie eine Straße entlangfahren, haben Sie eine subjektive Erfahrung von Farben, Geräuschen und alldem. Aber hat ein selbstfahrendes Auto eine subjektive Erfahrung? Gibt es das Gefühl überhaupt, ein selbstfahrendes Auto zu sein? Das Rätsel des Bewusstseins ist ein Thema für sich, aber es ist irrelevant, wenn es um KI-Risiken geht. Wenn Sie von einem autonomen Fahrzeug angefahren werden, macht es keinen Unterschied, ob es subjektiv bewusst dabei ist oder nicht. Uns Menschen betrifft, was superintelligente KI tut, nicht was sie dabei subjektiv fühlt.

Der Irrglaube mit dem Bewusstsein ist verwandt mit dem Mythos, dass Maschinen kein Ziel verfolgen können. Maschinen können natürlich Ziele haben, in dem engen Sinne, dass sie zielorientiertes Verhalten an den Tag legen. Das Verhalten einer wärmesuchenden Rakete liegt dem Ziel zugrunde, einen Zielbereich zu treffen. Wenn Sie von einer solchen Rakete angeflogen werden – ob diese einen bewussten Sinn dafür empfindet oder nicht – werden Sie sicherlich nicht ausrufen: „Ich mache mir keine Sorgen, den Maschinen verfolgen keine Ziele!“

Es ist verständlich, wenn Rodney Brooks und andere Pioniere der Robotik sich von der angstmachenden Boulevardpresse unfair dämonisiert fühlen. Manche Journalisten scheinen besessen von Metallmonstern mit rot leuchtenden Augen zu sein. Die Hauptsorge der Bewegung für wohltätige KI sind aber nicht Roboter, sondern ist die Intelligenz selbst: speziell solche, die nicht mit unserer übereinstimmt. Eine derartige übermenschliche Intelligenz braucht keinen Roboterkörper um Schaden anzurichten, sondern nur eine Internetverbindung. Sie könnte Finanzmärkte überlisten, menschliche Forscher übertreffen, besser manipulieren als politische Führer und Waffen bauen, die wir nicht einmal verstehen. Selbst wenn es physisch unmöglich wäre, Roboter zu bauen, könnte eine KI Menschen leicht für Ihre Zwecke bezahlen oder manipulieren.

Der Roboter-Irrglaube basiert auf dem Mythos, dass Maschinen Menschen nicht kontrollieren könnten. Intelligenz macht Kontrolle aber erst möglich. Menschen haben nicht Kontrolle über Tiger, weil wir stärker, sondern weil wir klüger sind. Wenn wir also die Stellung als klügste Rasse auf dem Planeten verlieren, könnten wir also auch die Kontrolle verlieren.

Interessante Kontroversen

Lassen wir uns nicht von solchen Missverständnissen aufhalten, sondern konzentrieren uns auf die wirklich interessanten Kontroversen, bei denen sich selbst Wissenschaftler uneins sind. Was für eine Zukunft wünschen Sie sich? Sollten wir tödliche autonome Waffen bauen? Was soll bei der Jobautomatisierung geschehen? Welche beruflichen Ratschläge würden Sie Kindern von heute geben? Bevorzugen Sie neue Jobs, die die alten ersetzen, oder wünschen Sie sich eine Gesellschaft ohne Arbeit, in der jeder ein glückliches Leben genießt und der Wohlstand von Maschinen produziert wird? Und weitergedacht: Möchten Sie, dass wir superintelligentes Leben erzeugen und durch den Kosmos schicken? Werden wir intelligente Maschinen kontrollieren oder sie uns? Werden intelligente Maschinen uns ersetzen, mit uns zusammenleben oder mit uns verschmelzen? Was wird es bedeuten Mensch zu sein im Zeitalter der künstlichen Intelligenz? Was wollen Sie, dass es bedeutet und wie können wir eine solche Zukunft kreieren? Beteiligen Sie sich an der Diskussion!

Weiterführende Links (englisch):

 Videos

• Stuart Russell – The Long-Term Future of (Artificial) Intelligence
• Humans Need Not Apply
• Nick Bostrom on Artificial Intelligence and Existential Risk
• Stuart Russell Interview on the long-term future of AI
• Value Alignment – Stuart Russell: Berkeley IdeasLab Debate Presentation at the World Economic Forum
• Social Technology and AI: World Economic Forum Annual Meeting 2015
• Stuart Russell, Eric Horvitz, Max Tegmark – The Future of Artificial Intelligence
• Talks from the Beneficial AI 2017 conference in Asilomar, CA
• Jaan Tallinn on Steering Artificial Intelligence

Medienartikel

• Concerns of an Artificial Intelligence Pioneer
• Transcending Complacency on Superintelligent Machines
• Why We Should Think About the Threat of Artificial Intelligence
• Stephen Hawking Is Worried About Artificial Intelligence Wiping Out Humanity
• Artificial Intelligence could kill us all. Meet the man who takes that risk seriously
• Artificial Intelligence Poses ‘Extinction Risk’ To Humanity Says Oxford University’s Stuart Armstrong
• What Happens When Artificial Intelligence Turns On Us?
• Can we build an artificial superintelligence that won’t kill us?
• Artificial intelligence: Our final invention?
• Artificial intelligence: Can we keep it in the box?
• Science Friday: Christof Koch and Stuart Russell on Machine Intelligence (transcript)
• Transcendence: An AI Researcher Enjoys Watching His Own Execution
• Science Goes to the Movies: ‘Transcendence’
• Our Fear of Artificial Intelligence

Essays von KI-Forschern

• Stuart Russell: What do you Think About Machines that Think?
• Stuart Russell: Of Myths and Moonshine
• Jacob Steinhardt: Long-Term and Short-Term Challenges to Ensuring the Safety of AI Systems
• Eliezer Yudkowsky: Why value-aligned AI is a hard engineering problem
• Eliezer Yudkowsky: There’s No Fire Alarm for Artificial General Intelligence
• Open Letter: Research Priorities for Robust and Beneficial Artificial Intelligence

Forschungsbeiträge

• Intelligence Explosion: Evidence and Import (MIRI)
• Intelligence Explosion and Machine Ethics (Luke Muehlhauser, MIRI)
• Artificial Intelligence as a Positive and Negative Factor in Global Risk (MIRI)
• Basic AI drives
• Racing to the Precipice: a Model of Artificial Intelligence Development
• The Ethics of Artificial Intelligence
• The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents
• Wireheading in mortal universal agents

Forschungssammlungen

• Bruce Schneier – Resources on Existential Risk, p. 110
• Aligning Superintelligence with Human Interests: A Technical Research Agenda (MIRI)
• MIRI publications
• Stanford One Hundred Year Study on Artificial Intelligence (AI100)
• Preparing for the Future of Intelligence: Ein Bericht des Weißen Hauses über den gegenwärtigen Status von KI und anderen Anwendungen sowie Empfehlungen für die Rolle der Regierung bei der Unterstützung von KI-Entwicklungen
• Artificial Intelligence, Automation, and the Economy: Bericht des Weißen Hauses, der den möglichen Einfluss von KI auf Arbeitsmarkt und Wirtschaft untersucht und mögliche Strategien bietet.
• IEEE Special Report: Artificial Intelligence: Bericht, in dem tiefgehendes Lernen (deep learning) erläutert wird.

Fallstudien

• The Asilomar Conference: A Case Study in Risk Mitigation (Katja Grace, MIRI)
• Pre-Competitive Collaboration in Pharma Industry (Eric Gastfriend and Bryan Lee, FLI): Eine Fallstudie über Zusammenarbeit zu Sicherheit in der Industrie.

Blogposts und Diskussionen

• AI control
• AI Impacts
• No time like the present for AI safety work
• AI Risk and Opportunity: A Strategic Analysis
• Where We’re At – Progress of AI and Related Technologies: Eine Übersicht über den Fortschritt von Forschungsinstitutionen, die neue KI-Technologien entwickeln.
• AI safety
• Wait But Why on Artificial Intelligence
• Response to Wait But Why by Luke Muehlhauser
• Slate Star Codex on why AI-risk research is not that controversial
• Less Wrong: A toy model of the AI control problem
• What Should the Average EA Do About AI Alignment?

Bücher

• Superintelligence: Paths, Dangers, Strategies 
• Life 3.0: Being Human in the Age of Artificial Intelligence
• Our Final Invention: Artificial Intelligence and the End of the Human Era
• Facing the Intelligence Explosion
• E-book about the AI risk (inklusive eines “Terminator”-Szenarios, das plausibler ist, als das im Film.)

Organisationen

• Machine Intelligence Research Institute: Eine Non-Profit Organisation deren Mission es ist, sicherzustellen, dass die Erschaffung von KI einen positiven Einfluss behält.
• Centre for the Study of Existential Risk (CSER): Ein multidisziplinäres Forschungszentrum, gewidmet dem Studium und der Entschärfung von Risiken, die zur menschlichen Auslöschung führen könnten.
• Future of Humanity Institute: Ein multidisziplinäres Forschungszentrum, das die Instrumente aus Mathematik, Philosophie und Wissenschaft zusammenbringt, um die großen Fragen der Menschheit und unserer Zukunft zu bewältigen.
• Partnership on AI: Gegründet, um die besten Anwendungen für KI-Technologien zu formulieren, das öffentliche Verständnis für KI zu erweitern und um als offene Plattform zu dienen.
• Global Catastrophic Risk Institute: Ein Think-Tank für globale Katastrophenrisiken.
• Organizations Focusing on Existential Risks: Eine kurze Einführung in einige Organisationen, die sich mit existenziellen Risiken beschäftigen.
• 80,000 Hours: Ein Berufseinsteiger-Guide für KI-Sicherheitsforscher.

Viele der hier erwähnten Organisationen stammen aus einer Liste, die vom Global Catastrophic Risk Institute zusammengestellt wurde. Für diese Sammlung sind wir dankbar. Alle diese Organisationen arbeiten an Themen die mit Computertechnologie zusammenhängen, aber auch an verschiedenen anderen Gebieten. Diese Liste ist zweifellos unvollständig, bitte kontaktieren Sie uns wegen Zusätzen oder Korrekturen.