ニューヨーク・タイムズ：AIの終末論からAnthropicの創設まで、ダリオ・アモダイの執念と安全を巡る駆け引き

著者：ニューヨーク・タイムズ

翻訳：ジアホアン、ChainCatcher

2007年のある夜、プリンストン大学で博士課程に在籍していたダリオ・アモーデイは訪ねてきた友人を迎え入れた。彼は2005年に出版されたコンピュータ科学者レイ・カーツワイルの『特異点が来る日』（The Singularity Is Near）を読み終えたばかりで、书中的主張を友人と共有するかまいたかった。

カーツワイルは著書で、人工知能が最終的に人間の大脳を超え、「特異点」と呼ばれる局面を迎えると予測した。ダリオは指で髪をくるくる巻きながら、この瞬間は彼らの寿命の中に到来するかもしれないと友人のコリン・ヘックマンに語った。

「彼は夢中になった」とヘックマンは語る。ダリオと同じ高校をサンフランシスコで卒業したヘックマンは続く。「彼は言ったのだ。『AIは正しい方法で生み出されねばならぬ。さもなければ我々は終わりだ』と。」

当時24歳のダリオは物理学の博士課程生で、大量の情報を吸収しつつあった段階だった。彼は『加速する未来』（Accelerating Future）や『バイアスを超える』（Overcoming Bias）といった比較的ニッチなブログに熱中しており、それらの筆者らはAIが人類を破滅させる可能性について議論していた。

さらに彼はGiveWellのオンラインフォーラムにも深く関与した。GiveWellは慈善寄付の効果最大化を目指す機関であり、知的層が集うそのフォーラムでは、いかにして慈善活動のために最大の収益を得るかについて議論が行われていた。

我々はダリオの同級生、友人、教師、同僚から20人以上へのインタビューを行った。彼らの証言は、これらの書籍、ブログ、オンラインコミュニティが今なお彼の思考に影響を与えており、43歳となるAnthropicの最高経営責任者（CEO）がAIをどう見据えているかを理解する手がかりを与えてくれることを示している。Anthropicは今月中にも上場を見込んでおり、これは世界最大級のパブリックデビューとなる可能性がある。

友人や同僚によれば、ダリオの世界観の中核を成すのは、互いに絡み合う二つの思想である。それらはいずれも、数学的推論が人類の未来を変革し得ると確信している。

一つは「合理主義（ラショナルズム）」であり、世界を冷静かつ理性的に捉えることを強調する。自己流でAI研究を進めるエリザール・ユドウスキーら信奉者たちは、この思想を持ち、AIが十分な威力を持つようになれば最終的に社会を破壊しうるものと見なしている。

もう一つは合理主義と共に発展してきた「実効的利他主義（エフェクティブ・アルトラリズム）」であり、精密な数理計算を通じて社会の福祉を最大化しようとするものだ。

友人や同僚によれば、ダリオにおいてこの二つの潮流は一つの確固たる信念へと融合している。それは「AIは極めて危険であり、この技術を託せるのは彼と志を同じくする技術専門家だけである」という信念だ。これが、人類の安全に無関心な人々よりも先にAIを生み出そうとする彼の努力と、この技術を統制したいという願義に拍車をかけたのである。

ダリオは9月に発表したAI開発のペースダウンを求める記事の中でこう記している。「この技術が正しい方法で構築される場合においてのみ、私たちはもたらされる利益を獲得できる。もし私たちが得られる時間を有効活用できれば、これ以上の慎重さをもって事を運び、正しいやり方で遂行することは価値がある。」

これらの思想がAnthropicの基盤となった。2021年、ダリオは妹のデニエラ・アモーデイおよび他の五人と共に同社の設立に関わった。全員が合理主義および実効的利他主義のコミュニティとの接点を有していた。会社が成長するにつれ彼らの考え方はますます注目を集めるようになったが、ダリオは一貫して公の場でこれらの立場を支持し、力を入れて推進してきた。

写真キャプション：Anthropic共同創業者のデニエラ・アモーデイ。2023年のサンフランシスコ事務所にて撮影。兄のダリオとは仲が良い。

ダリオは地政学的課題の議論にも参加している。彼は、中国のAI分野での競争力を弱体化させるため、米国は中国へのチップ販売を制限すべきだと述べている。また、この技術が制御不能になるのを防ぐためにAI規制を呼びかけている。米国防総省との論争においては、AIによるアメリカ国民の大規模監視や自律型兵器の使用には反対の立場を示した。

「彼らは確かに、我々が巨大な存続リスクに直面していると信じている」とネイサン・アヴァリーは語る。アヴァリーはダリオと共に高校でクロスカントリーの試合に出場し、長年にわたり深い会話を交してきたが、現在では渐渐と疎遠になっている。「彼自身、それに対して行動を起こせる立場に自分を置く必要があると感じているのだ。」

ダリオは億万長者であり、Anthropicの上場に伴ってその資産はさらに増大すると予想されている。彼は会社の広報担当を通じて本稿の取材を拒否した。

彼のアイデアは支持者を集め、特に一部のAI安全領域の従事者の間で支持されてきた。彼らは、ダリオが責任を持ってAIを開発していると見なしている。

しかし同時にそれが彼の硅谷とワシントンにおける敵を作ることにもなった。Metaのマーク・ザッカーバーグやエンヴィディアのジェンソン・ファンなど批判者は、彼を「終末論者」とし、AI分野の権力を自身の手中に集中させようとしていると攻撃した。9月、米国防総省はソーシャルメディアで「実効的利他主義ではなく、アメリカンイズムを。」と投稿した。

ダリオは自らの考えが一部の人を苛立たせていることを認識しているらしく、合理主義や実効的利他主義と自分の信念を公の場で区別しようとしている。2023年、彼はニューヨーク・タイムズのポッドキャスト『Hard Fork』の中で、自分を実効的利他主义者ではないと考えていると語った。

「私はその中のいくつかの考えには同意します」と彼は語ったが、「人々を異なる部族に分類すること」には反対だと述べた。

「ダリオ、もっと楽にしろ！」

ダリオと妹デニエラはサンフランシスコのミッシオン地区で育った。父のリッカルド・アモーデイは皮革職人で、母のエレナ・エンゲルは公共図書館の改修プロジェクトを担当していた。離婚書類によると、二人は1991年に別居した。

ランドン・スクールで8年生の時、ダリオは既に優れた実績を残していた。1997年、彼は学友と共に「最も成功しそう」と評価され、卒業アルバムに収められた写真では二人とも米ドル紙幣を手にしている。

サンフランシスコの名門公立校ローウェル高校に通っていた頃、ダリオは物欲症のように学び、カリフォルニア大学バークレー校でも授業を受けていた。同級生たちは、彼が功利主義などの思想について考察していたと話している。功利主義は、可能な限り多くの人々の幸福を最大化すべきだという主張である。また、彼は大晦年問題（Y2K問題：当時の一部のコンピュータプログラムは日付を2桁で記録しており、2000年以降「00」を1900年に誤認する可能性がある）によりグローバルなコンピュータシステムが麻痺する可能性を危惧していた。

当時ローウェル高校の物理教師を務めていたリチャード・シャピロは、ダリオがよく試験の結果に満足していなかったと語っている。

「僕は彼に向かって『ダリオ、もっと楽に考えろ！』と叫んでいたんだ」とシャピロは言う。

2001年、ダリオはパサデナのカリフォルニア工科大学に進学したが、しばしばサンフランシスコに戻って友人や家族と連絡を取っていた。ある帰郷時、彼はアヴァリーとヘックマンと寿司店を訪れ、三人で功利主義について議論した。ダリオはベジタリアンであったが、カニを食べることに問題はないと考えた。なぜならカニは無脊椎動物だからである。

食事の最中、ヘックマンはある思考実験を提示した。「人がひたすら鶏を殺していく場合、さらなる殺戮を防ぐために、どの条件が満たされればその人を殺す正当性が出てくるのか？」

アヴァリーの記憶によれば、ダリオは軽く笑い声を上げ、「功利主義の見地からすれば、鶏の数が一定の数に達した時点で、彼らの生命は人間の生命よりも重要視されるようになる」と語ったという。

友人たちは、ダリオが無神論者であると語っていた一方で、確固たる信念を持っていたことを証言している。2003年、彼はアヴァリーらと共にサンフランシスコで開催された対米イラク侵攻抗議デモに参加するため、車を提供した。

翌年、ダリオはシリコンバレーの中心部に位置するスタンフォード大学へ編入した。この転学により、近隣の高校生で学んでいた妹デニエラに近い存在となった。

2023年、あるポッドキャストで妹について話しながら「僕らはずっと一緒に世界を救おうとしてきた」と語った。

時間と命に対する考察

2006年にスタンフォード大学を卒業した後、ダリオはプリンストン大学で物理学の博士号を取得するために進学し、最終的に物理学を生体科学や計算神経科学に応用する研究に集中した。同年、肝炎を患っていた父が逝去した。

ダリオは網膜細胞の研究に没頭し、科学進歩を加速させる技術の開発に興味を抱き始めた。

かつてダリオと交際し、彼と共に科学討論グループを設立したジェイド・ウォンによれば、二人は頻繁に次のような問題を議論していたという。「特定の疾病の研究に生涯を捧げる研究者がいるとしたら、代わりに整個の分野に技術や手法を開発すれば、より大きな影響を生み出せないだろうか？」

彼女は、ダリオが自身の父に言及していたと述べている。「大多数の丙型肝炎患者の治療を可能にする医薬品が登場する以前に、父は死去してしまったのだ。」

写真キャプション：『特異点が来る日』の著者、レイ・カーツワイル。ダリオは彼の人工知能に関する著作に関心を抱いていた。

その頃、ダリオはすでにカーツワイルおよび合理主義の指導者的存在であるユドウスキーの著作に共鳴し始めていた。彼は特にカーツワイルのある見解に注目していた。それは高度な技術が人類に自身の生物学的限界を突破する手助けをする可能性を秘めているというものであり、この思想は「トランスヒューマニズム」として知られる。

2007年にヘックマンがプリンストンを訪問した際、ダリオは特異点は2040年までに訪れ、人類はいつか意識と機械を融合させ得ると彼に語った。

ヘックマンは回想する。ダリオはその時、「時間が経つにつれて、我々は新しいスーパーインテリジェントAIとなるか、あるいはAIと人間のハイブリッドになるだろう」と述べていたという。

ダリオはこの思想にとりつかれていたため、友人や妹にユドウスキーの特異点研究所（現：マシーンインテリジェンス研究所）の年次会議への参加を勧めた。

『ニューヨーク・タイムズ』が入手した2008年のメール文面では、ダリオは友人に対し、ユドウスキーは「出会った中で最も思想的に深遠な人物の一つ」であり、「明確に人類に有利な特異点の実現を目指している」と伝えている。

ユドウスキーは『ニューヨーク・タイムズ』への電子メールで、「ダリオは今現在、私の助言を求めたり受け入れたりすることはおそらくなく、彼がそうしていた過去のことすら覚えていない」と表明した。

写真キャプション：独学でAI研究を続けるエリザール・ユドウスキー。ダリオは彼の著作に共鳴し始めた。ユドウスキーは、AIが社会を破壊しうるほどの強力なものになると見なしている。

おおよそ同時期、ダリオはロケット企業SpaceXの創業者であるイーロン・マスクとの通信を始めていた。やり取りを把握している関係者二人によれば、ダリオは友人に対し、このテック巨人を高く評価していたこと、そして働く候補としてその会社を検討していたことだが、最終的には参画しなかったことを語っていたという。

2008年、経済学者タイラー・コーエンのブログを読んでいる際にダリオはGiveWellの存在に辿り着いた。コーエンはブログ内で、同機関が慈善団体に関する「興味深い助言」を提供していると記していた。

ダリオはGiveWellのメーリングリストやフォーラムで活発になり、実効的利他主義のアプローチに基づいて慈善および科学的取り組みをどう進めるべきか議論に加わった。『ニューヨーク・タイムズ』が確認したメールによると、2010年には「現在よりも多くの金を寄付できるように金融業に進むことも検討している」と書き残している。

同年、ダリオはGiveWellのあるブログ記事において、1万米ドルを寄付することを決めた理由について論じ始めた。彼はその寄付先として、成人の結核病予防に特化した「結核対策パートナーシップ」と、アフリカの村の子供たちへのワクチン接種支援を行う「VillageReach」の二つの団体の間で選択を迫られていた。

ダリオは書き記した。「結核対策パートナーシップ」の方が「費用対効果」が高いと。その理由は、同団体が高齢者を対象としていること、そして「高齢者は乳児よりもより深く、意味のある体験を持っている」からだ。彼は補足した。「個人的には、成人一人の死亡は乳児一人の死亡よりも2〜3倍深刻だと考えている。」

しかし二団体がプロジェクトを実行する方法をさらに比較検証した後、ダリオは考えを改め、VillageReachのほうがより効果的な事業を展開していると結論づけた。

2011年、彼はスタンフォード大学でがん細胞に関するポスドク研究を開始した。友人たちは、私生活においても抗老化サプリメントの服用を試み、厳格なスイミング計画を堅持し、カロリー摂取量削減に強い関心を示していたことを明かしている。一部の研究では、カロリー摂取量を減らすことが実験用のネズミの寿命を延ばし得ることが示唆されている。

「彼は頻繁に時間の限られていることや、時間が唯一再生不可能な資源であると述べていた」とアヴァリーは話す。彼は続け、ダリオは「時間に対して非常に厳しかった」と付け加えた。

彼を知る二人の関係者によれば、2014年にダリオは睾丸がんと診断され、この感覚がさらに深まったという。彼は化学療法を受け、最終的には完全に回復した。

その頃までには、彼はGiveWellの創設者の一人であるホルデン・カノフスキーと密接な関係を築き上げていた。GiveWellはGood Venturesと提携を始めた。後者はFacebook共同創業者のダスティン・モスコビッツとその妻カリ・トゥナの慈善団体であり、実効的利他主義関連の事業に資金提供を行っている。

ダリオは両者の共同プロジェクトであるGiveWell Labsに対し、ライフサイエンス分野の資金配分に関する助言を提供し始めた。

写真キャプション：GiveWell創設者の一人であるホルデン・カノフスキー（右）。2012年撮影。ダリオはGiveWellのオンラインフォーラムで活発だった。

当時、カノフスキーはデニエラと交際中だった。二人はサンフランシスコのアパートをシェアし、後にそこに住むようになったのはダリオ、理論物理学者のジャレッド・カプラン、中退者のクリストファー・オラハであった。ダリオはオラハに数学を指導していた経験がある。

この居住空間を訪問したことがある三人の関係者によれば、ルームメイトたちはユドウスキーの論文を議論し、合理主義と実効的利他主義を探求していた。彼らは時々ネバダ州の砂漠で行われる年次反主流文化イベント「バーニングマン」に参加し、時にはアニマルコスチュームを身につけることもあった。

カプランとオラハは後にアモーデイ兄妹と共にAnthropicを設立した。2025年、カノフスキーも同社での勤務を開始した。

バイトゥー、グーグルを経て OpenAI へ

2010年代初期、機械学習の進展によりテクノロジー企業は再びAI投資を強化し始めた。機械学習はデータ分析を通じてタスク遂行方法を習得するコンピュータを実現するものだ。

中国インターネット大手のバイトゥーもその一社だった。バイトゥーはカリフォルニア州ソニービルに研究室を開設し、グーグルからAIパイオニアのウィー・エンスダー（アンドリュー・イー・ナン）をチーフサイエンティストとして招聘した。

ダリオは2014年にバイトゥーに入社し、オフィスでの徹夜作業や率直な意見表明ですぐに名を馳せた。

写真キャプション：グーグルとバイトゥーで働いたAIパイオニア、ウィー・エンスダー（呉恩達）。ダリオはバイトゥーでAI研究に従事していた。

バイトゥーでダリオと一緒に働いた研究者グレゴリー・ディアモスは語る。「ダリオは機会があればほぼ毎回、非常に熾烈な議論を仕掛ける傾向があった。」

この第3次AIブームの早期段階であっても、ダリオはその技術の潜在的危险を懸念していた。ディアモスの回想によれば、2015年にダリオは同僚に、AIはまもなく人間の大脳能力に追いつきまたは凌駕する可能性があり、そのためAIを開発する企業は技術の制御不能性を回避してはいけないと語っていたという。

同年、ダリオはグーグルのAIラボGoogle Brainに移籍し、AI安全性に注力した。彼は室友であるオラハを含む他の5名の研究者と共に、2016年に論文「人工知能の安全性における具体的問題」を発表し、開発方法が不適切の場合にAIが示す異常行動の可能性を詳述した。

2016年、ダリオは新たなAIプロジェクトである非営利組織OpenAIに加わった。彼はOpenAIのセキュリティチームを率いるとともに、「スケール則」を研究する別のチームも担当した。スケール則とは、モデルサイズ、トレーニングデータ、計算資源が増加するにつれてAIモデルの性能が向上しうることを示す法則である。

OpenAI 時代：理念、権力、そして分裂

ダリオと一緒に働いたことがある7人の関係者によれば、OpenAI勤務期間中、彼にとって適切なAI開発の方法についての信念は一層堅固となった。彼はAIの力量と潜在的危害についてより頻繁に語り、開発プロセスに自らの考えを組み込むための行動を取った。

例えば、2016年11月、ドナルド・トランプが大統領選勝利から3日後、ダリオはOpenAI内部のコミュニケーションアプリ上で、米国が権威主義へ滑りつつあることを危惧する旨を書き込んだ。

『ニューヨーク・タイムズ』が確認したメッセージによれば、彼は「強権国家において軍事用途の強い技術の研究に心安らかに向かうことはできない」と表明した。

内部資料によると、ダリオはまた投資家のピーター・ティール氏に対して「大統領選 Campaign へ125万ドルを寄付したことで道徳的に非難されるべきだ」と指摘し、OpenAIは彼の資金を受けるべきではないと書き添えた。（ティールが創設したベンチャーキャピタルFounders Fundはその後にAnthropicに投資している。）

ダリオはまた、自分の考えに賛同する資金調達先との協定をOpenAIが成立させるのを支援した。この枠組みに精通している三人の関係者によれば、2017年彼はカノフスキーが運営する慈善団体とのOpenAI側の連携を取り持ち、本人は同団体のテクニカルアドバイザーを務めていた。

カノフスキーの団体は現在Coefficient Givingと呼ばれ、OpenAIに3000万ドルを寄付した。カノフスキーはまたOpenAIの取締役会にも加入した。

写真キャプション：2017年当時のOpenAI社員ダリオ、および2019年のデニエラ。

同年遅く、カノフスキーとデニエラは結婚式を挙げた。二人のウェブサイトによると、招待客にはぬいぐるみが贈られ、「最適なキャラクターのペア」を手配した人にはボーナスが支給されたという。

ダリオはパンダの仮面つけて結婚式に出席し、ドレスコードは「コメディアン正装」だった。『ニューヨーク・タイムズ』が公開した写真では、彼は私服姿で首長颈鹿仮面をしたオラハ、そして当時のガールフレンドカミ・クラークと共に写っている。彼は2022年にクラークと結婚した。

2018年、デニエラはOpenAIに入社し、最終的にはセキュリティ・ポリシー担当副社長となった。一部の従業員は早々にこの兄妹の広がりつつある影響力に疑問を呈し始めた。

当該議論について知る三人の関係者によれば、同年12月、OpenAIの研究者ジョシュア・アキャームはCEOサム・アルトマンに対し、ダリオを同社の倫理責任者に任命するのは賢明でないと呼びかけた。アキャームはアモーデイ兄妹の伸長しつつある権力を指摘し、AIに関する監督は異なる見解を持つ者によって分担されるべきだと述べた。

アキャームが外部の専門家を倫理責任者として登用すべきだと主張し続けたとき、ダリオは彼に対峙した。関係者によれば、ダリオは声を荒げ、「自分ほど適任者はいない」と訴えたという。

2018年、アモーデイ兄妹はGPTと呼ばれる社内プロジェクトを引き継いだ。GPTは「生成前訓練変換器（Generative Pre-trained Transformer）」の略称である。

同社で働いた経験のある六人の関係者によれば、彼らは人間の指示を通じてAIにタスクを教えることを目的とした安全技術を模索していた。

このアプローチは後にダリオのキャリアにおける顕著な特徴となった。すなわち、AIを潜在的な危険に近づけさせ、その後セキュリティ技術を用いてそれをテストするという手法である。

OpenAIのプレジデントであるグレッグ・ブロックマンはGPTプロジェクトへの参加を望んでいたが、アモーデイ兄妹によって阻害された。会社事情に詳しい二人の関係者によれば、ダリオは何度もアルトマンに対し、自分がこの仕事からブロックマンを遠ざけさせないならば退社すると通告したという。

アルトマンの考えを知っている一人の関係者によれば、アルトマンはこの最後通牒をあまりにも傲慢だとみなし、兄妹の要求を却下した。

2020年12月、アモーデイ兄妹は他の同僚と共にOpenAIを離れた。わずか四週間のちに彼らはAnthropicを設立した。

写真キャプション：今春5月、サンフランシスコで開催されたAnthropic開発者カンファレンスにて。左から社 chief product officer のアミ・ヴォーラ氏およびアモーデイ兄妹。