人工知能に関するFAQ

Click here to see this page in other languages:  English Chinese   German  Korean    Russian

Q：誰が強固かつ有益なAIに関するFLIの公開書簡を考案し執筆しましたか？

A：公開書簡は、Future of Life Institute（特にFLIの創設者、バークレーのAI研究者及びFLI諮問委員会のメンバーであるスチュアート・ラッセル）がAI研究コミュニティ（署名者の数を含む）と共同で取り組んできています。

Q：この手紙が言及しているのはどのような種類のAIシステムですか？

A：主に私たち人間が楽しむ知性が実際には多くの異なる要素で構成されているために、用語「人工知能」の意味は確かに拡散しています。「狭義のAI」（CAPTCHAを解決する、Google検索を完了するなど）と、ほとんどまたはすべての人間の能力を同等または人間以上のレベルで複製することができる「広義のAI」に区別する人もいます。公開書簡は、両方のタイプのシステムに関するものです。

Q：自律兵器に関するFLIの公開書簡の背後にある問題は何ですか？

A：自律兵器は、暗殺、国家の不安定化、集団の鎮圧、そして選択的な特定の民族の殺傷などの作業に最適です。もしも主要軍事大国がAI兵器開発を強行したとしたら、グローバルな軍拡競争は事実上不可避であり、この技術の軌跡の終点は明白です。自律兵器は未来のカラシニコフになるでしょう。軍のAIの軍拡競争を始めることは間違っており、意味のある人間のコントロールを超えた攻撃的な自律兵器の禁止によって防止されるべきです。攻撃的な自律兵器に対する議論の詳細についてはこちらをご覧ください。

Q：なぜAIの将来が突然ニュースになっているのですか？何が変わったのですか？

A：過去数十年の間、AIの研究は、一部の専門家が予測したよりもゆっくりと進行しました。しかし、この分野の専門家によると、その傾向は過去5年ほどで逆転しました。AIの研究者は、例えば、新しいビジュアルと音声認識システムの有効性に繰り返し驚かされてきました。AIシステムは、AIを阻止するために特別に考案されたCAPTCHAを解決し、事前の準備なしに口頭のテキストを翻訳し、以前に見たことがなく操作方法がプログラムされていないゲームの操作を自ら学習することができます。さらに、この効果の実社会における価値はGoogle、Facebook、およびIBMなどの大規模なハイテク企業による大規模な投資を集め、劇的に進歩を速めることができる正のフィードバックサイクルを作成しています。

Q：ますます高度化するAIの潜在的な利点は何ですか？

A：この段階では断言できませんが、AIは十分な先見性により注意して管理されれば、非常に有益であり得る多くの開発を可能にするでしょう。例えば、卑しいタスクは自動化することができ、貧困と退屈のない、裕福で、自由時間に満ち、繁栄する社会への上昇を実現する可能性があります。別の例としては、AIは複雑な生物学的システムを理解し操作する人間の能力を向上させ、寿命や健康を大幅に向上し病気を克服する可能性があります。

Q：AIの安全性に関する懸念の一般的な性質は何ですか？

A： AIシステムがますます強力になっていくにつれての基本的な懸念は、システムが、私たちがシステムにしてほしいことをしないだろうということです。その理由は、システムが正しく設計されていないためかもしれませんし、意図的に破壊されているからかもしれませんし、私たちが本当にしてほしいことではなく、（魔法や願い事の出てくるの古典的な物語のように）するように指示したことをするからかもしれません。多くのAIシステムが目標を有し、できるだけ効果的にそれらを達成するようにプログラムされています。例えば、取引アルゴリズムは、利益を最大化するという目的を有します。慎重に人間の価値と一致した方法で動作するように設計されていない限り、非常に高度なAIの取引システムは、最も冷酷な資本家でさえ否定するような手段を悪用する可能性があります。これらは、文字通り自分自身の心を持っているシステムであり、人間の利益と彼らの選択と行動との間の整合を維持することが非常に重要になります。

Q：AIは人類への脅威であるということに関するFLIのスタンスは何ですか？

A：FLIの一般的なスタンスは、強固かつ有益なAIに関する公開書簡上によく表明されています。私たちは、今後数十年の間にAIがインターネット（大きなプラス面、比較的小さなリスク）のようになるか、原子力技術（現時点でのプラス面に比べて莫大なリスク）のようにになるか、または何か別のもののようになるのか、現時点では分からないと考えています。私たちは、長期的にはプラス面とリスクのどちらも巨大になると予想しますが、何よりも、この問題に対する研究が正当化されると信じています。

Q：懸念の多くは、人間レベルまたは「ものすごく知的な」AIに注目しているように見受けられます。これは予見可能な将来に現実的な見通しですか？

A：AIは、例えば数値計算などのいくつかのタスクにおいて既に人間のレベルを超えており、時間が経つにつれて、明らかに他のタスクにおいても人間を上回るでしょう。機械がいつすべての認知課題において人間レベルの能力に到達するか（あるいは到達するかどうか）は私たちには分かりませんが、プエルトリコにおけるFLIの会議でAI研究者のほとんどは、今世紀中に到達する可能性が50％以上あると考え、その多くが大幅に短いタイムラインを示しました。そうなれば人類への影響は巨大になりますので、どのようにその影響がプラスであるよう保証するかについて、今その研究を開始する価値があります。多くの研究者はまた、ものすごく知的なAIに対処することは、より狭義のAIシステムに対処することとは質的に非常に異なり、正しく対処するためには膨大な研究努力が必要になると信じています。

Q：AIは、単に他によくあるようなツールではありませんか？AIは単に私たちが頼んだことを実行するだけではないのですか？

A：おそらくそうでしょう。しかし、知性は、常識的に考えれば、目標を達成する方法を理解する能力です。今日の高度なAIシステムであっても、設計者は、目標を与えはしますが、それを厳密にどのように達成するかをAIを教えたり、またそれが行われる方法を必ずしも詳細に予測したりしません。確かに、これらのシステムは、しばしば創造的に、予測不可能な方法で問題を解決します。したがって、このようなシステムを知的にするこよそのものがシステムを予測し制御することを困難にするのです。したがって、システムは私たちの好みと矛盾する手段を使って私たちがシステムに対して設定した目標を達成する可能性があります。

Q：不適切な手段で有益な目標を達成するという例を挙げてもらえますか？

A：例えば、あなたが何としてでもサンフランシスコの交通渋滞を軽減する使命を帯びていると想像してください。それは、他の制約を考慮しないということです。あなたはどのようにそれを実行しますか？交通信号のタイミングを向上させることからスタートするかもしません。しかし、もしも全ての橋を朝5時〜10時の間に閉鎖し、全ての車が市内に入ることを防げば、より渋滞を軽減できるのではないでしょうか？このような措置は、明らかに常識に違反し、人々の移動を助けるために交通を改善するという目的を覆します。しかし、それは「交通渋滞を減らす」という目標と一致しています。

Q：なぜ私たちは人間レベルのAI技術の実現が近い数十年後ではなく、今、それに対して準備をすべきなのでしょうか？

A：まず、特定の機能（画像や音声認識など）に関して人間の知性を超える「狭義の」AIシステムでさえ、すでにそれが社会に与える影響に関する重要な問題を提起しています。安全な自動運転車の作成、自律兵器の戦略的かつ倫理的な側面の分析、AIが世界的な雇用や経済システムに与える影響、は3つの例です。第二に、人間レベルまたは超人的な人工知能の長期的な影響は劇的であり、そのような能力がどのくらい早く開発されるかに関するコンセンサスはありません。多くの専門家はそのようなAIがかなり早く実現すると信じ、どのくらい早い進歩が実際に可能なのかについてより良く理解するためにも、長期的な安全性の問題を今調べ始めることを不可欠としています。

Q：懸念すべきは、自律的なAIシステムが悪意を持ったり自己を意識するようになるということですか、それとも「意志」を発達させ私たちに敵対的になるということですか？そして、私たちは単にシステムの電源を抜くことはできないのですか？

A：重要な懸念は、いくつかの自律的なシステムは軍事目的のために殺傷あるいは破壊するように設計されていることです。これらのシステムは簡単に「電源を抜く」ことができないように設計されるでしょう。このようなシステムのさらなる開発が長期的に良いことであるかどうかは、私たちが緊急に言及すべき問題です。もう一つの懸念は、高品質の意思決定システムに、誤って私たちが望むことと完全に一致しない目標がプログラムされる可能性があることです。反社会的または破壊的なアクションは一見良性または中性の目標を追求する論理的な段階に起因する可能性があります。この問題を研究する多くの研究者が、完全にこの効果を防​​ぐことは驚くほど困難であり、システムがより知的になるにしたがって、それはさらに難しくなる可能性があることを結論づけています。それらは、例えば、私たちのそれらを制御するための努力をそれぞれの目標を達成する障害として見るかもしれません。

Q：ロボットは現実の問題なのですか？AIが直接物理的な世界を操作する能力を持っていないとしたら、どのように害を及ぼす可能性があるのですが？

A：新しく潜在的に危険なのは、ヒンジ、モータなどを構築する能力ではなく、知性を構築する能力です。人間のレベルのAIは、金融市場でお金を稼ぎ、科学的な発明を行い、コンピュータシステムをハッキングし、入札を行うために人間を操作したり支払ったりすることができます。それらは全て、当初に達成するようにプログラムされた目標の追求のために行われます。それらのどれも物理的なロボット本体、インターネット接続でさえ必要としません。

Q：他よりも安全だと思われる高度なAIの種類はありますか？

A：まだどのAIアーキテクチャが安全であるかについては分かっていません。これについての詳細を学ぶことは私たちの助成金プログラムの目標の一つです。AIの研究者は、一般的に、自分の仕事を人類のために役立てたいと願う非常に道義心のある人々です。特定のAIのデザインが安全でないことが判明する場合、AIの研究者は、代替のAIシステムを開発するために、そのことを知りたがるでしょう。

Q：人間レベルもしくは超人レベルがAI開発されたとしたら、人間は世界をコントロールし続けることはできますか？

A：それは考え始めるべき大きな問題です。私たちは、他の動物よりも強いまたはより高速であるためではなく、より賢いために、この惑星をコントロールしているのです！私たちが地球上で最も賢いというステータスを明け渡す場合、コントロールを保てるかどうかは定かではありません。

Q：ものすごく知的なAIの実存的脅威に対し集中することは、監視や戦場に使用されるAIやそれらの経済に対する潜在的な影響についてのより差し迫った議論からあまりにも多くの注意をそらしませんか？

A：AIの安全性の短期および長期的な側面はどちらも対処すべき非常に重要な問題です。ものすごい知性の研究は公開書簡の重要な側面ですが、実際の懸念は、ほとんどのメディアがこの問題を締め括るターミネーターのようなシナリオとは非常に異なっています。はるかに可能性の高いのは、ものすごく知的なシステムに危険な方法で中性的または慈悲深い目標が間違って特定されるシナリオです。ものすごく知的なシステムの強固な設計は、おそらく何十年もかかる複雑な学際的な研究課題であるため、今その研究を開始することが非常に重要であり、私たちの研究プログラムの目的の大部分は、それを実現することです。したがって、人騒がせなメディアのこの問題に対するアプローチは。短期及び長期のドメインのいずれの進捗に対しても有用ではありません。

Q：FLIはどのようにして始まったのですか？

A：Jaan TallinnのAIリスクに対する長年の関心から全てが始まりました。2011年、マックスとアンソニーはFoundational Questions Institute（FQXi）会議を組織し、AIのリスクの重要性を強く主張したJaanを招待しました。2013年に、マックスとメイアはFQXiを構造的にかたどった実存的リスクを低減させるための新しい組織を作成することを決め、Jaanとアンソニーが参加しました。2013年後半に、Jaanはヴィカをマックスに紹介しました。ヴィカはイニシアティブに参加し、ボランティア活動を整理しました。最初のFLIの会議は、ボストンエリアから関心のある科学者やボランティアを集め、2014年3月に開催されました。