人工知能「私たちは爆弾で遊んでいる子供のようなもの」

オックスフォードの哲学者ニック・ボストロム氏によると、知覚を備えた機械は気候変動よりも人類にとって大きな脅威である

オックスフォード中心部の中世の裏通りに未来人類研究所があります。 1005 年以来この場所に建っている聖エベ教会の横にあり、4 月にオープンしたピュアジムの上にあります。オックスフォード大学の研究機関であるこの研究所は、私たちに代わって最も大きな疑問を投げかけるために 10 年前に設立されました。特に注目すべきは、私たちの種の将来を脅かす「実存的リスク」とは一体何なのか、ということです。それらをどのように測定するか。そしてそれらを防ぐために何ができるでしょうか？別の言い方をすれば、さまざまな恐怖が存在する世界で、私たちは正確に何を最も恐れるべきでしょうか?

研究所所長のニック・ボストロム教授に会いに到着すると、2階のオフィスにベッドが配達されているところだった。実存的リスクは 24 時間体制のオペレーションです。たとえあったとしても、それは不規則に眠ります。

スウェーデン生まれの43歳の哲学者ボストロムは、最近、私たちの文明の形成に現在最も尽力している人々、つまりシリコンバレーのハイテク億万長者の中で、破滅の預言者のような地位を獲得した。彼の評判は主に彼の著書『Superintelligence: Paths, Dangers, Strategies』にかかっており、この本は昨年ニューヨーク・タイムズ紙で驚くべきベストセラーとなり、ビル・ゲイツ氏やテスラのイーロン・マスク氏の必読の推薦に次ぐペーパーバックとなった。（最高の文学評論として、マスク氏はボストロム氏の研究所に対し、調査を継続するための100万ポンドも与えた。）

この本は、ボストロム氏が長年の計算と議論を経て、私たちを絶滅させる可能性が最も高いと信じている特異な脅威について、生き生きと思索的に考察したものである。この脅威は気候変動でも、パンデミックでも、核の冬でもありません。それは、おそらく私たちのものよりも優れた一般的な機械知性の創造が差し迫ったものである可能性があります。

ボストロムの本の表紙は、ペンとインクで描かれた狂気の目をしたフクロウの絵で占められています。フクロウは、この本の冒頭のたとえ話の主題です。スズメの群れが巣を作っています。「私たちは皆、とても小さくて弱いのです」と、ある人は弱々しくツイートした。「巣作りを手伝ってくれるフクロウがいたら、どんなに生活が楽になるか想像してみてください！」どこのスズメの間でも、一般的な囀りの合意が存在します。フクロウならスズメを守れるかもしれない！それは彼らの老人と彼らの若者の世話をすることができます！そうすれば、彼らは余暇と豊かな生活を送ることができるかもしれません。これらの空想を念頭に置いて、スズメたちは興奮を抑えることができず、自分たちの存在を変えてくれる首が回転する救世主を求めて飛び立ちます。

反対の声はただ一つである：「気性の荒い隻眼のスズメであるスクロンクフィンクルは、この努力の賢明さに納得していなかった。彼はこう言った、『これは間違いなく我々の破滅となるだろう。我々はこの芸術について少し考えるべきではないのか』そのような生き物を私たちの中に持ち込む前に、まずフクロウの家畜化とフクロウの飼いならしをすることを考えるべきですか？』彼の警告は必然的に、耳の聞こえないスズメの耳にも届きます。フクロウを飼いならすのは複雑になるだろう。最初にフクロウを手に入れて、後で細かい部分を調整してみてはいかがでしょうか? ボストロムの本は、人工知能の暗い意味についての甲高い警鐘であり、スクロンフィンクルに捧げられている。

ボストロムは、適切にイライラした態度で自身の警告を明確に述べている。彼は執着心と仕事中毒で有名です。彼は痩せており、色白で、半夜行性で、早朝までオフィスにいることもよくあります。おそらく驚くことではないかもしれないが、57 種類の黙示録の優劣を表す公式がびっしりと書かれたホワイトボードで日々を過ごす彼にとって、彼は偶然にできる限り任せないようだ。彼は食事の代わりに、野菜、果物、オーツミルク、ホエイパウダーを含むグリーンスムージーエリクサーを好んでいます。他のインタビュアーは、感染を防ぐために彼が握手を避けたことについて言及した。彼は確かに私に手を差し伸べてくれましたが、私が去った後、消毒するために彼がその手を隔離しているような気がします。その結果、おそらく彼にはわずかな焦りがあり、彼はそれに抵抗しようと努めています。

彼は著書の中で、私たちよりはるかに賢い機械が独自の機械を設計し始めると起こる「知能の爆発」について語っています。「知能爆発の見通しの前では、私たち人間は爆弾で遊んでいる幼い子供のようなものだ」と彼は書いている。「爆発がいつ起こるかはほとんどわかりませんが、装置を耳に当てるとカチカチというかすかな音が聞こえます。」ボストロムと話していると、彼にとってそのかすかなチクチク感が完全に消えることはないという気がします。

まず最初に、彼の本の成功と、それがいかに神経を直撃したかについて話します。これは、スティーブン・ホーキング博士、アップル共同創設者のスティーブ・ウォズニアック氏、マスク氏を含む1,000人以上の著名な科学者が署名し、昨年の人工知能に関する国際共同会議で発表された、完全自律型人工知能の使用と開発の禁止を求める公開書簡と時を同じくした。兵器（現実に非常に近いSFの「殺人ロボット」）。自分の能力を認識しており、自分の影響力については控えめなボストロムは、これは幸運なタイミングの偶然だったと示唆している。

「機械学習とディープラーニング（人間の脳の機能を最も忠実に模倣する先駆的な『ニューラル』コンピューターアルゴリズム）は、ここ数年で人々の予想よりもはるかに速いスピードで進歩してきました」と彼は言う。「これが今、これほど大きな話題になっている理由の一つであるのは確かです。人々は技術分野で物事が前進しているのを見て、次に何が起こるのかを心配するようになります。」

ボストロム氏は、これらの示唆は潜在的にダーウィン的であると見ている。もし私たちが私たち自身よりも優れた機械知能を生み出し、インターネットへのアクセスを通じて成長し学習する自由を与えたとしても、生物学の世界と同様に、その優位性を確保するための戦略を進化させないと示唆する理由はありません。彼は時々、人間とゴリラの例を使って、その後の一方的な関係を説明しますが、先月シンシナティ動物園で起きた出来事が浮き彫りにしたように、関係は決して良い結末を迎えることはありません。劣った知性は常に優れた知性に生存を依存します。

ボストロムがスーパーインテリジェンスでさまざまなシナリオを展開していると、嫌いだと公言している SF を読みすぎているように見えるときがあります。ある計画では、干渉的で無関係な人類を滅ぼすために、AI システムが最終的に「神経ガスを生産するナノ工場や、地球のあらゆる平方メートルから同時に出現する可能性のある標的を追跡する蚊のようなロボット」を秘密裏に構築することが含まれています。おそらくより信頼できる別のビジョンでは、超知性体が「政治プロセスをハイジャックし、金融市場を巧妙に操作し、情報の流れを偏らせ、あるいは人工兵器システムをハッキングして」絶滅をもたらすとしている。

彼は自分を預言者だと思っているのでしょうか？

彼は笑います。「それほどではありません。それがどのように起こるかを知っていると信じているので、その情報を世界に伝えなければならないということではありません。むしろ、これらのことについて私はまったく無知で非常に混乱していると感じていますが、確率について長年取り組んできたことにより、あなたはあなた自身を理解することができます。」あちこちで部分的な小さな洞察を得ることができます。そして、それらを他の多くの人が持っているかもしれない洞察と合わせれば、おそらくより良い理解が構築されるでしょう。」

ボストロムは、デジタル時代を私たちの肉体的および精神的能力を最適化し、死すべき運命の限界を超越する前例のない可能性の一つとみなす傾向にあるトランスヒューマニスト運動を通じて、これらの問いに辿り着きました。ボストロム氏は、これらの可能性を、超知能化された未来における最良のシナリオだと今でも考えている。そこでは、私たちはテクノロジーを利用して病気や疾患を克服し、世界に食料を供給し、充実した創造性のユートピアを創り出し、そしておそらく最終的には死を克服することになるだろう。彼は過去に、アルコーのメンバーであると特定されていた。アルコーは、いつの日か精神が活性化され、デジタル形式でアップロードされて永遠に生きられることを期待して、遺体を冷凍することを約束する極低温イニシアチブである。何を計画しているのか直接尋ねると、彼はこれについては恥ずかしがっていました。

「私は自分の葬儀の手配については決してコメントしないというポリシーを持っています」と彼は言う。

しかし、彼は極低温研究には価値があると考えているのでしょうか?

「お金に余裕があるなら、人々がそうするのは非常に合理的なことのように思えます」と彼は言う。「非常に近い将来の生活がどのようなものになるかを考えると、脳を焼き尽くして捨てるよりも、情報を脳に保存しようとするのが保守的な選択肢のように思えます。情報が確実に保存されるという確信がある場合は別です。決して役に立たない…」

彼のトランスヒューマニスト的な楽観主義が、いつから悪夢のような超知性のビジョンに取って代わられたのだろうか。彼は、自分の立場を実際に変えたわけではないが、デジタル未来の天国と地獄という 2 つの可能性を不安な対立の中に抱いていることをほのめかしています。

「私は90年代半ばに人間強化の倫理について多くのことを書きましたが、当時はそれが学者たちからほとんど否定されていました」と彼は言う。「彼らはいつも『一体なぜ老化を治したいと思うのか？』と言っていました。」「彼らは人口過剰と長生きの退屈について話していました。これが私たちが医学研究を行う理由、つまり寿命を延ばすためであるという認識はありませんでした。認知機能の強化についても同様です。当時私が書いていたものを見ると、それはより多くのことについてのものです。」楽観的な側面もありましたが、私はずっと実存的リスクについても懸念していました。」

このような機能強化、つまり賢くなったり、老化を遅らせたりする薬が、物事の自然な順序に反しているのではないかという不安が根強く残っているようです。彼にはその感覚があるのでしょうか？

「自然と良いものを同一視するかどうかはわかりません」と彼は言う。「癌は自然なもの、戦争は自然なもの、体内を蝕む寄生虫も自然なものです。したがって、何が自然なのかということは、私たちが何をすべきかを理解するのに決して有用な概念ではありません。はい、倫理的な考慮事項はありますが、ケースに基づいて判断する必要があります。」

彼は集中力を高めると主張するものを試したことがありますか?

「飲んでいますが、あまり多くはありません。コーヒーも飲みますし、ニコチン入りチューインガムも飲みますが、それくらいです。しかし、それ以上やらない唯一の理由は、他のものが効果があるとまだ確信していないからです。」

彼は挑戦することを恐れていません。仕事中、彼はいつもオフィスの隅に十数個のランプに囲まれて座っており、どうやら照明というアイデアに魅了されているようです。

ボストロムは、スウェーデン沿岸の町ヘルシンボリで一人っ子として育ちました。多くの才能のある子供たちと同じように、彼は学校が大嫌いでした。彼の父親は投資銀行に勤め、母親はスウェーデンの企業に勤めていました。彼は夕食のテーブルを囲んで哲学、あるいは芸術や本について議論したことを覚えていない。どうして彼がこれらの大きな疑問に夢中になってしまったのか疑問に思い、私は彼が心配性の子供だったかどうか尋ねました。彼は常に強い死の恐怖感を持っていたのですか？

「かなり早い段階でそれを感じていたと思います」と彼は言う。「死の淵にあったからとかそういうわけではありません。でも子供の頃、両親は今は健康かもしれないけど、いつも私より強くなったり、大きくなったりするとは限らない、とよく考えたのを覚えています。」

その考えで彼は夜も眠れなくなったのだろうか？

「それを不安として覚えているわけではなく、むしろ憂鬱な感覚として覚えています。」

そして、永遠に生きたいという継続的な願望もそこに根付いていたのでしょうか？

「必ずしもそうとは限りません。その点で私が他の人と特に異なる願望があるとは思いません。私は結腸癌になりたくないのですが、誰がそうするでしょうか？私が500年生きていたとしても、誰が知っていますか？」私はどう感じるでしょうか?不死性に執着しているわけではなく、早死にすることが一見悪いことのように思えるだけなのです。」

彼の本のかなりの部分は、超知性を、それが50年後であろうと500年後であろうと、私たちの人間性と調和した「素晴らしい」ものにするにはどうすればよいかについての質問をしています。ボストロム氏は、これは政治的または哲学的な問題ではなく、技術的な課題であると考えています。しかし、私たち自身の倫理的枠組みや善良さの感覚の大部分は、苦しみや身体の経験と理解に基づいているように思えます。細胞を持たない知性がそれをどうやって「理解」できるのでしょうか?

「機械はそれほど賢くないので、現時点では理解できないことがたくさんあります。しかし、一度理解できるようになれば、人間の苦しみや死を理解するのに特別な困難はなくなると思います」と彼は言います。」この理解は、人間の価値を尊重するよう子供たちに教える一つの方法かもしれない、と彼は言う。「しかし、それはあなたの倫理理論が何であるかによって異なります。それは他の人の自主性を尊重すること、または美しいことを一緒に達成するために努力することに関するものかもしれません。」どういうわけか、彼には実際のところはわかりませんが、大惨事を避けるためには最初からそれらのことが組み込まれている必要があると考えています。まずフクロウを飼ってから、どのようにしつけをすればいいのかを考えるのは良いことではありません。そして、人工システムはすでに多くの離散的な分野で人間の最高の知能よりも優れているため、それをどのように実現するかについての議論はすでに期限を過ぎています。

これらの疑問に対する知的切迫感は、ボストロムが 10 代のときに経験した「ひらめき体験」と呼ぶところの部分に由来しています。 1989 年に彼は図書館で、ニーチェとショーペンハウアーの作品を含む 19 世紀ドイツ哲学のアンソロジーをランダムに手に取りました。興味をそそられた彼は、近くの森、かつて一人で詩を書くために訪れていた空き地でその本を読みました。ほとんどすぐに、彼は学習の可能性を劇的に実感しました。それは変換体験のようなものでしたか？

「むしろ覚醒です」と彼は言う。「それまでの人生を夢遊病で過ごしていたように感じましたが、今では想像していなかったもっと広い世界があることに気づきました。」

まず、哲学書の手がかりとメモに従って、ボストロムは早送りの独学に着手しました。彼は熱心に本を読み、余暇には絵を描いたり詩を書いたりし、最終的にヨーテボリ大学で哲学と数理論理学の学位を取得し、その後ロンドン・スクール・オブ・エコノミクスで博士号を取得し、イェール大学で教鞭をとりました。

彼は絵を描き、書き続けたのでしょうか？

「ある時点で、数学的な追求の方が重要であるように思えました」と彼は言います。「世界にはすでにたくさんの絵画があると感じていましたが、さらにいくつかの絵画が必要だとは思えませんでした。詩についても同じことが言えます。しかし、未来をどう乗り切るかについては、もう少しアイデアが必要だったのかもしれません。」

AI が進歩している分野の 1 つは、音楽を作曲し、芸術を創作し、さらには執筆する能力です。彼は、この球体もすぐに超知性体によって植民地化されるだろうと想像しているのだろうか、それともそれが人類の最後の砦となるのだろうか?

「現在、人工作曲家が偉大な作曲家と競争できるという主張には同意しません。短いバーストならかもしれませんが、交響曲全体では無理です。そして芸術の場合、複製することはできますが、その活動自体に価値があります。それでもあなたはそうするでしょう」絵を描くために絵を描く。」

人工的な本物であることがますます重要になっているのでしょうか？

「そうです、それは芸術だけではありません。もし機械が私たちよりもうまく何でもできるとしたら、私たちはそれを楽しんでいるからやり続けるでしょう。人々がゴルフをするのは、連続するホールにボールが留まる必要があるからではありません」「それは、彼らがそれを楽しんでやっているからです。機械ができることすべてをできるようになればなるほど、私たちは機械自体のために価値のあるものにもっと注意を払うようになります。」

知的な旅の初期段階で、ボストロムはコミュニケーションスキルを向上させるために、哲学的なスタンドアップコミックの仕事を数回行いました。彼と話したり、彼の著作を読んだりすると、問題の規模の大きさにおける不条理を知る端緒が、彼の議論から決して完全に欠けているわけではない。彼の論文にある気の遠くなるようなグラフの軸は、詳しく調べてみると「耐久性」、「壊滅的」、そして「地獄的」という観点から調整されるだろう。『スーパーインテリジェンス』の序文の中で、「この本で指摘されている点の多くはおそらく間違っている」という指摘は、通常、「どれがどれなのか分からない」という脚注につながります。彼は時々自分がダグラス・アダムスに変身していると感じることがありますか?

「時々、その作品が奇妙に見えることがあります」と彼は言う。「そうすると、別の観点から見ると、世界のほとんどの人が、21世紀に起こるであろう最も重大な出来事にまったく気づいていないというのは奇妙に思えます。地球温暖化について語る人でさえ、AIがもたらす脅威については決して言及しません。」

それは彼らのメッセージを薄めてしまうからでしょうか？

「そうかもしれない。歴史上のどの時点においても、公式の世界的懸念は一つしかないと私には思われる。今ではそれは気候変動、あるいは時にはテロだ。私が子供の頃はそれは核のハルマゲドンだった。その頃は人口過剰だった。中にはもっと賢明なものもある」他にもありますが、実際にはかなりランダムです。」

ボストロム氏の情熱は、そのランダム性に数学を適用しようとすることです。同氏は、近い将来、地球温暖化に代わってAIに関する懸念がより差し迫った脅威になると考えているのだろうか?

「それは疑わしい」と彼は言う。「私たちが実際に対処しなくても、それは徐々にそして途切れることなくやってくるでしょう。」

ディープラーニング技術の出現をどこにでも探すつもりなら、ディープラーニング技術に前例のない多額のリソースを投入している（特に2014年に英国のパイオニアであるディープマインドを買収した）グーグルから始めるのが妥当だと思われるだろう。 Google には、こうした問題に対処するための AI 倫理委員会があるようですが、誰が委員になっているのかは誰も知りません。ボストロムは「悪になるな」という信条を信じているのだろうか？

「テクノロジー関係者の間には、単にお金を稼ぐためだけでなく、何らかの社会的目的があると感じたいという文化が確かにあります。この理想主義があります。」

彼はその理想主義の方向性を形作る手助けができるだろうか？

「自分自身の影響力が重要というよりも重要だ」と彼は言う。「こうした議論を強調する役割を持つ人は誰でも貴重な存在となるだろう。もし今世紀に人間の状況が本当に根本的に変化するとしたら、私たちは歴史の重要な岐路に立たされていることになる。」そして、ボストロムのよりニヒリスティックな予測が正しければ、新しい知性の性質を正しく理解するには、たった一度の試みしか残らないことになる。

昨年、ボストロムは父親になった。（通常、彼の結婚生活は主に Skype で行われます。医師である彼の妻はバンクーバーに住んでいます。）その前に、父親になったことで、これらの未来の問題に対する現実の認識が変わったのだろうかと疑問に思います。

「この二重の視点、ポジティブなシナリオとネガティブなシナリオを強調するという意味でのみ。私たちの世界がこのように完全に変革されるかもしれないというこの種の知性化は、個人レベルで評価するのが常にはるかに難しいように思えます。おそらく私は許可していると思います」どちらの視点も、私の頭の中にできるだけ多くの余地を残しています。」

彼がこうした思考実験を楽しんでいると同時に、世界の半分は次の食事がどこから来るのかを懸念し続けている、と私は示唆する。超知性の脅威は、まったくのエリート主義者の不安なのでしょうか? 私たちのほとんどは、現在心配することが十分にあるため、長期的な将来について考えないのでしょうか?

「世界がこの問題に数千億ドルを費やし、より普通のことには何も使わないという状況になれば、人はそれに疑問を抱き始めるかもしれない」と彼は言う。「世界がお金を費やしていることを見てみると、私たちがやっていることはほんの些細なことです。あなたはランダムな都市に行き、空港からホテルまで移動します。高速道路に沿って、これらすべての巨大な建物が見えます。聞いたこともない企業のことです。もしかしたら、彼らはカミソリの刃の新しい宣伝キャンペーンを企画しているのかもしれません。車で何百もの建物の前を通り過ぎます。そのどれか一つでも、人類がこの分野に費やしている合計よりも多くの資源を持っています。私たちはその半分を持っています。オックスフォードのビルの 1 フロアで、他にも 2 ～ 3 つのグループが私たちの活動を行っています。だから、大丈夫だと思います。」

そして、個人として、また国民として、私たちの種の存続に対するこれらのリスクについてどのように考え、枠組みを設定すればよいのでしょうか、と私は尋ねます。ボストロムは少し肩をすくめた。「この非常に長い時間枠で考えているのであれば、私たちが今行っている非常に小さなことが将来に大きな変化をもたらす可能性があることは明らかです。」

後で家で読んだボストロムの最近の論文には、心に留めておく価値のある小さな経験則が含まれています。ボストロムはそれを「マキシポック」と呼んでいます。それは、「人類全体に対する非個人的な懸念から行動するときは、生存リスクを軽減するという目的が最も優先的に考慮されるべきである」という考えに基づいています。 maxipok には何が関係しますか? 「『OK 結果』の確率を最大化する」ことを試みる。ここで、OK 結果とは、実存的な大惨事を回避するあらゆる結果である。

確かに行ってみる価値はありそうです。

『Superintelligence: Paths, Dangers, Strategies』はオックスフォード大学出版局から出版されており、9.99 ポンドです。ここをクリックして£7.99で購入してください

この記事は 2016 年 6 月 13 日に修正されました。以前のバージョンでは、著名な科学者が署名した公開書簡は偶然ではなく、ボストロムの本の直接の結果であると述べられていました。

ニュース