紐約時報：從 AI 末日論到創立 Anthropic，Dario Amodei 的執念與安全博弈

作者：紐約時報

編譯：佳歡，ChainCatcher

2007 年的一個晚上，在普林斯頓大學讀博的 Dario Amodei 接待了一位來訪的朋友。他剛讀完計算機科學家 Ray Kurzweil 於 2005 年出版的《奇點臨近》，迫不及待地與朋友分享書中的觀點。

Kurzweil 在書中預測，人工智能最終會超越人腦，迎來一個被稱為“奇點”的時刻。Dario 一邊用手指繞著頭髮，一邊告訴朋友 Colin Heckman，這一時刻可能在他們有生之年到來。

“他著迷了。”與 Dario 在舊金山讀同一所高中的 Heckman 說，“他說，AI 必須以正確的方式被創造出來，否則我們就完了。”

當時 24 歲的 Dario 還是一名物理學博士生，正處於大量吸收信息的階段。他沉迷於閱讀《加速的未來》（Accelerating Future）和《克服偏見》（Overcoming Bias）等相對小眾的博客，博主們在其中討論 AI 毀滅人類的可能性。

他還深入研究了 GiveWell 的在線論壇。GiveWell 是一家致力於最大化慈善捐贈效果的機構，知識分子們在論壇上討論如何為慈善事業賺取最多的錢。

我們採訪了 Dario 的二十多位同學、朋友、老師和同事。他們的講述顯示，這些書籍、博客和在線社區至今仍在影響著他，也為理解這位 43 歲的 Anthropic 首席執行官如何看待 AI 提供了線索。Anthropic 預計將在本月上市，這可能成為全球規模最大的公開上市之一。

他的朋友和同事說，Dario 世界觀的核心，是兩種相互交織的思想。它們都堅信，數學推理可以改變人類的未來。

一種是“理性主義”，強調以冷靜、理性的方式看待世界。自學成才的 AI 研究員 Eliezer Yudkowsky 等人信奉這一思想，並認為 AI 將變得足夠強大，最終可能摧毀社會。

另一種是與理性主義共同發展的“有效利他主義”，它試圖通過精確的數學計算，最大化社會福祉。

他的朋友和同事說，在 Dario 那裡，這兩種思潮融合成了一種堅定的信念：AI 可能極其危險，只有他和志同道合的技術專家才值得被託付開發這項技術。這促使他努力趕在那些不關心人類安全的人之前創造 AI，也激發了他控制這項技術的願望。

Dario 在 9 月發表的一篇呼籲放緩 AI 發展的文章中寫道：“只有以正確的方式構建這項技術，我們才能獲得它帶來的好處。只要我們能善用爭取到的時間，就值得以格外審慎的態度把事情做對。”

這些思想成為 Anthropic 的基礎。2021 年，Dario 與妹妹 Daniela Amodei 以及另外五人共同創立了這家公司。他們都曾與理性主義和有效利他主義社群有過接觸。隨著公司成長，他們的觀點也越來越受到關注，而 Dario 一直公開且不遺餘力地推動這些觀點。

圖注：Anthropic 聯合創始人 Daniela Amodei，攝於 2023 年的舊金山辦公室。她與哥哥 Dario 關係親密。

Dario 也參與了地緣政治議題的討論。他表示，美國應該限制向中國銷售芯片，以削弱中國在 AI 領域的競爭能力。他呼籲對 AI 進行監管，防止這項技術失控。在與美國國防部的爭議中，他還表示，AI 不應用於對美國人進行大規模監控，也不應被用於自主武器。

“他確實認為，我們面臨著巨大的生存風險。”Nathan Avery 說。Avery 曾與 Dario 一起參加高中越野跑比賽，多年來兩人有過許多深入交談，儘管如今已漸漸疏遠。“他覺得自己需要讓自己處於一個能夠對此採取行動的位置。”

Dario 是一位億萬富翁，隨著 Anthropic 公開上市，他的身家預計還將增長。他通過公司代表拒絕接受此次採訪。

他的想法為他贏得了支持者，尤其是在部分 AI 安全領域的從業者中。這些人認為，Dario 正以負責任的方式開發 AI。

但這也讓他在硅谷和華盛頓樹敵，批評者包括 Meta 的馬克·扎克伯格和英偉達的黃仁勳。他們抨擊他是“末日論者”，試圖將 AI 領域的權力集中到自己手中。9 月，美國國防部在社交媒體上發文稱：“美國主義，而非有效利他主義。”

Dario 似乎意識到自己的想法激怒了一些人，因此試圖公開將自己的信念與理性主義和有效利他主義區分開來。2023 年，他在《紐約時報》的播客《Hard Fork》中表示，自己不認為自己是一名有效利他主義者。

“我認同其中的一些想法。”他說，但他反對“把人們劃分成不同的部落”。

“Dario，放輕鬆！”

Dario 和妹妹 Daniela 在舊金山的米申區長大。他們的父親 Riccardo Amodei 是一名皮革工匠，母親 Elena Engel 負責管理公共圖書館的翻新工程。離婚文件顯示，兩人於 1991 年分居。

在洛頓另類學校讀八年級時，Dario 已經表現得十分出眾。1997 年，他和一位同學被評為“最有可能取得成功的人”，兩人在畢業紀念冊的照片中手持美元鈔票。

在舊金山頂尖公立高中洛威爾高中就讀時，Dario 如飢似渴地學習，還在加州大學伯克利分校上課。同學們說，他會思考功利主義等思想。功利主義主張，人們應該為儘可能多的生命創造最大的幸福。他也擔心千年蟲問題（當時一些計算機程序只用兩位數字記錄年份，進入 2000 年後，程序可能將“00”誤認為 1900 年）可能導致全球計算機系統癱瘓。

時任洛威爾高中物理老師的 Richard Shapiro 說，Dario 經常覺得自己考試沒發揮好。

“我會衝他喊：‘Dario，放輕鬆！’”Shapiro 說。

2001 年，Dario 進入帕薩迪納的加州理工學院，但他經常回舊金山看望朋友和家人。一次回家時，他和 Avery、Heckman 一起去了一家壽司店，三人討論起功利主義。Dario 是素食者，但他認為吃螃蟹沒問題，因為螃蟹是無脊椎動物。

用餐期間，Heckman 提出了一個思想實驗：如果一個人不停地殺雞，那麼，為了阻止更多雞被殺，在什麼情況下殺掉這個人才說得通？

Avery 回憶，Dario 輕笑了一聲，隨後說，從功利主義的角度看，當雞的數量達到一定程度，它們的生命可能比一個人的生命更重要。

朋友們說，Dario 曾表示自己是無神論者，但他仍有堅定的信念。2003 年，他開車帶 Avery 和其他人前往舊金山，參加反對美國入侵伊拉克的抗議活動。

第二年，Dario 轉入位於硅谷中心的斯坦福大學。這次轉學也讓他離妹妹更近了，當時 Daniela 正在附近讀高中。

2023 年，他在一檔播客中談到妹妹時說：“我們一直想一起拯救世界。”

對時間和生命的思考

2006 年從斯坦福大學畢業後，Dario 進入普林斯頓大學攻讀物理學博士學位，最終專注於將物理學應用於生物學和計算神經科學。這一年，他患有丙型肝炎的父親去世。

Dario 全身心投入視網膜細胞研究，並開始對開發能夠加速科學進步的技術產生興趣。

曾與 Dario 交往、並與他共同創辦科學討論小組的 Jade Wang 說，兩人經常討論這樣一個問題：那些畢生研究某一種疾病的科學家，如果轉而為整個領域開發技術或方法，是否能產生更大的影響。

她說，Dario 提到了自己的父親：在能夠讓大多數丙肝患者得到治療的藥物問世之前，他的父親就去世了。

圖注：《奇點臨近》作者 Ray Kurzweil。Dario 對他有關人工智能的著作很感興趣。

那時，Dario 已經開始認同 Kurzweil 和理性主義領袖 Yudkowsky 的著作。他尤其對 Kurzweil 的一個觀點感興趣：先進技術有可能幫助人類突破自身的自然限制。這種思想被稱為“超人類主義”。

2007 年 Heckman 到普林斯頓拜訪時，Dario 告訴他，奇點將在 2040 年前到來，人類有一天可能會將思想與機器融合。

Heckman 回憶說，Dario 當時表示：“隨著時間推移，我們會成為新的超級智能 AI，或者 AI 與人類的混合體。”

Dario 對這種思想如此著迷，以至於他鼓勵朋友和妹妹參加 Yudkowsky 的奇點研究所舉辦的年度會議。該組織現名為機器智能研究所。

在《紐約時報》看到的一封 2008 年電子郵件中，Dario 告訴朋友，Yudkowsky 是“我遇到過的思想最深刻的人之一”，並且“明確地試圖促成一個有利於人類的奇點”。

Yudkowsky 在給《紐約時報》的電子郵件中表示，Dario“目前不會徵求或採納我的建議，我也不記得他曾經這樣做過”。

圖注：自學成才的 AI 研究員 Eliezer Yudkowsky。Dario 開始認同他的著作。Yudkowsky 認為，AI 將變得足夠強大，足以摧毀社會。

大約在同一時期，Dario 還開始與火箭公司 SpaceX 的創始人埃隆·馬斯克通信。兩名瞭解兩人交流情況的人士說，Dario 曾告訴朋友，他很欣賞這位科技巨頭，也考慮過為他工作，但最終沒有加入這家太空初創公司。

2008 年，Dario 在閱讀經濟學家 Tyler Cowen 的博客時接觸到了 GiveWell。Cowen 在博客中說，這家機構提供了有關慈善組織的“有趣建議”。

Dario 開始活躍於 GiveWell 的郵件列表和論壇，討論如何以有效利他主義的方式開展慈善和科學工作。《紐約時報》看到的一封電子郵件顯示，2010 年，他寫道，自己正在“考慮從事金融行業，這樣我就能比現在捐出更多的錢”。

同年，Dario 在 GiveWell 的一篇博客文章中討論了自己決定捐出 1 萬美元的事。他正在兩個捐贈對象之間做選擇：一個是專注於預防成人結核病的“遏制結核病夥伴關係”，另一個是幫助非洲村莊兒童接種疫苗的 VillageReach。

Dario 寫道，“遏制結核病夥伴關係”的“成本效益”更高，因為該組織服務的是成年人，而“成年人比嬰兒擁有更深刻、更有意義的體驗”。他補充道：“我認為，一個成年人的死亡可能比一個嬰兒的死亡嚴重兩到三倍。”

但在進一步比較兩家機構執行項目的方式後，Dario 最終改變了主意，認為 VillageReach 的工作更有效。

2011 年，他開始在斯坦福大學從事博士後研究，研究癌細胞。朋友們說，在個人生活中，他嘗試服用抗衰老補充劑，堅持嚴格的游泳計劃，並對減少熱量攝入產生興趣。一些研究表明，減少熱量攝入可以延長實驗室小鼠的壽命。

“他經常談論時間的有限性，以及時間是唯一不可再生的資源。”Avery 說。他補充道，Dario“對時間近乎苛刻”。

兩位認識他的人士說，2014 年，Dario 被診斷出睪丸癌，這進一步加深了他的這種感受。他接受了化療，最終完全康復。

到那時，他已經與 GiveWell 的創始人之一 Holden Karnofsky 建立了密切關係。GiveWell 開始與 Good Ventures 合作。後者是 Facebook 聯合創始人 Dustin Moskovitz 及其妻子 Cari Tuna 的慈善機構，資助有效利他主義相關事業。

Dario 開始為雙方的合作項目 GiveWell Labs 提供生命科學資助方面的建議。

圖注：GiveWell 創始人之一 Holden Karnofsky（右），攝於 2012 年。Dario 曾活躍於 GiveWell 的在線論壇。

當時，Karnofsky 正在與 Daniela 交往。兩人搬進了舊金山的一處合租房，後來住在這裡的人還包括 Dario、理論物理學家 Jared Kaplan，以及大學輟學者 Christopher Olah。Dario 曾輔導 Olah 數學。

三名曾到訪這處住所的人士說，室友們討論 Yudkowsky 的文章，探索理性主義和有效利他主義。他們還會參加內華達州沙漠中的年度反主流文化聚會“火人節”，有時會穿上動物服裝。

Kaplan 和 Olah 後來與 Amodei 兄妹共同創立了 Anthropic。2025 年，Karnofsky 也開始為這家公司工作。

從百度、谷歌到 OpenAI

圖：Anthropic 聯合創始人兼首席執行官 Dario Amodei

2010 年代初，機器學習取得進展，推動科技公司重新加大對 AI 的投資。機器學習讓計算機通過分析數據，從中學習如何完成任務。

中國互聯網巨頭百度是投身其中的公司之一。百度在加利福尼亞州桑尼維爾開設了一間實驗室，並從谷歌聘請 AI 先驅吳恩達擔任首席科學家。

Dario 於 2014 年加入百度，很快就因在辦公室通宵工作和直言不諱地表達觀點而出名。

圖注：曾在谷歌和百度工作的 AI 先驅吳恩達。Dario 曾加入百度，從事 AI 研究。

曾在百度與 Dario 共事的研究員 Gregory Diamos 說：“Dario 幾乎每次有機會都會非常激烈地爭論。”

即便在這一輪 AI 發展的早期，Dario 就已經對這項技術的潛在危險感到擔憂。Diamos 回憶說，2015 年，Dario 告訴同事，AI 可能很快就會達到或超過人腦的能力，因此開發 AI 的公司不應迴避技術失控的可能性。

同年，Dario 加入谷歌的 AI 實驗室 Google Brain，專注於 AI 安全。他與其他五位研究員，包括他的室友 Olah，於 2016 年發表了論文《人工智能安全中的具體問題》，闡述瞭如果開發方式不當，AI 可能出現的異常行為。

2016 年，Dario 加入了一個新的 AI 項目：非營利組織 OpenAI。他領導了 OpenAI 的安全團隊，以及另一個研究“規模定律”的團隊。規模定律描述的是，隨著模型規模、訓練數據和計算資源增加，AI 模型的表現可能隨之提升。

在 OpenAI：理念、權力與分歧

七位曾與 Dario 共事的人士說，在 OpenAI 工作期間，他對開發 AI 的正確方式的信念更加堅定。他更頻繁地談論 AI 的力量和潛在危害，並採取行動將自己的想法融入這項技術的開發過程。

例如，2016 年 11 月，唐納德·特朗普當選美國總統三天後，Dario 在 OpenAI 的內部通訊應用中寫道，他擔心美國正在滑向威權主義。

《紐約時報》看到的消息顯示，他表示自己“無法心安理得地在一個威權國家研究具有強大軍事用途的技術”。

內部消息顯示，Dario 還寫道，投資人彼得·蒂爾因向特朗普的競選活動捐款 125 萬美元而“在道德上應受譴責”，OpenAI 不應再接受他的錢。（蒂爾創辦的風險投資公司 Founders Fund 後來投資了 Anthropic。）

Dario 還幫助 OpenAI 與認同其想法的資助方達成了一項合作。三名熟悉這項安排的人士說，2017 年，他幫助 OpenAI 與 Karnofsky 運營的慈善機構建立聯繫，而他本人是該機構的技術顧問。

Karnofsky 的機構如今名為 Coefficient Giving，向 OpenAI 捐贈了 3000 萬美元。Karnofsky 也加入了 OpenAI 董事會。

同年晚些時候，Karnofsky 與 Daniela 結婚。根據兩人的婚禮網站，賓客們收到了毛絨玩具，安排“不同角色之間最浪漫的配對”的人還會獲得獎勵。

Dario 戴著一個熊貓頭套參加了婚禮，婚宴的著裝要求是“滑稽正裝”。在《紐約時報》看到的一張照片中，他穿著這身裝扮，與戴著長頸鹿頭套的 Olah 以及當時的女友 Cami Clark 一起出鏡。他與 Clark 於 2022 年結婚。

2018 年，Daniela 加入 OpenAI，最終成為負責安全與政策的副總裁。一些員工很快開始對這對兄妹日益增長的影響力提出質疑。

三名瞭解相關討論的人士說，同年 12 月，OpenAI 研究員 Joshua Achiam 告訴首席執行官 Sam Altman，任命 Dario 為公司的首席倫理官並不明智。Achiam 提到了 Amodei 兄妹日益增長的權力，並表示對 AI 的監督應該由持有不同觀點的人共同承擔。

當 Achiam 堅持應該任命一位外部專家擔任首席倫理官時，Dario 與他當面對質。知情人士說，Dario 提高了聲音，表示沒有人比自己更適合這個職位。

2018 年，Amodei 兄妹接手了公司一個名為 GPT 的項目。GPT 是“生成式預訓練 Transformer”的縮寫。

六位曾在該公司工作的人士說，他們探索了一種安全技術，旨在通過人類指令教會 AI 完成任務。

這種做法後來成為 Dario 職業生涯的鮮明特點：讓 AI 更接近潛在的危險，再用安全技術對其進行測試。

OpenAI 總裁 Greg Brockman 希望參與 GPT 項目，但遭到 Amodei 兄妹抵制。兩名瞭解公司情況的人士說，Dario 多次告訴 Altman，如果他不讓 Brockman 遠離這項工作，自己就會離開。

一名瞭解 Altman 想法的人士說，Altman 認為這些最後通牒太過分，因此拒絕了兄妹倆的要求。

2020 年 12 月，Amodei 兄妹和其他同事離開 OpenAI。四周後，他們創立了 Anthropic。

圖：Anthropic 位於舊金山霍華德街的公司總部大樓