硅星人的讀者應(yīng)該都對 OpenAI 比較熟悉了。這家總部位于舊金山的實(shí)驗(yàn)室，是 AI 基礎(chǔ)科研領(lǐng)域的全球領(lǐng)導(dǎo)者之一。它開發(fā)的 GPT 語言生成模型，一次又一次刷新人們對于深度學(xué)習(xí)能力的認(rèn)知。OpenAI 原是非營利機(jī)構(gòu)，但為了更好地實(shí)現(xiàn)產(chǎn)研結(jié)合，用期權(quán)留住員工，之前也成立了有限營利的公司。

不過在去年12月，OpenAI 一批早期/核心員工集體離職，在領(lǐng)域內(nèi)引起了不小的轟動。這次“出 OpenAI 記”并非普通的跳槽，相關(guān)離職人員也保持了很長時(shí)間的緘默，以至于圈內(nèi)人士都不知道他們接下來有何打算。

最近，這批 OpenAI 前核心員工終于宣布了他們前所未有的偉大計(jì)劃：解決長久以來神經(jīng)網(wǎng)絡(luò)的“黑盒子”問題，為研究者們開發(fā)能夠解釋 AI 真正工作原理的工具。

他們創(chuàng)辦了一家新公司Anthropic，致力于提高 AI 安全和可解釋性。這些創(chuàng)始成員相信，“通用人工智能” (artificial general intelligence) 不久后即將到來，而 AI 安全將會成為日最重要的研究方向。

這家新公司也被投資者賦予了極大的期待。據(jù)了解，其 A 輪融資已經(jīng)完成，規(guī)模高達(dá)1.24億美元，投資人包括 Skype 創(chuàng)始人 楊·塔林（領(lǐng)投）、 埃里克·施密特、達(dá)斯汀·莫斯科維茲等。

Anthropic 到底是一家怎樣的機(jī)構(gòu)？它的創(chuàng)始成員都有誰？它在做的事情對于整個(gè) AI 基礎(chǔ)和應(yīng)用領(lǐng)域有何重大意義？讓我們走近這家最近剛剛離開隱形狀態(tài)的全新機(jī)構(gòu)，一探它的真相。

讓 AI 更安全、可解釋

AI 一直是一個(gè)“黑盒子”。盡管人們形容神經(jīng)網(wǎng)絡(luò)是按照人腦神經(jīng)工作原理設(shè)計(jì)的，它具體怎么工作，輸入的數(shù)據(jù)是如何轉(zhuǎn)化成輸出的，具體的原理和各環(huán)的作用，一直很難被真正解釋。

在一小部分研究者看來，考慮到 AI 正在被應(yīng)用到越來越高風(fēng)險(xiǎn)的系統(tǒng)當(dāng)中，比如自動駕駛、醫(yī)療診斷、藥物發(fā)現(xiàn)，甚至軍事當(dāng)中……它的不可解釋性將會阻擋技術(shù)的真正進(jìn)步，并且如果被持續(xù)忽視的話，甚至可能會引發(fā)不可逆轉(zhuǎn)的嚴(yán)重惡果。

不過，自從深度學(xué)習(xí)在十年前左右取得重要突破，這項(xiàng)技術(shù)已經(jīng)成為了 AI 技術(shù)進(jìn)步的根基。越來越大的模型、更強(qiáng)的算力，讓 AI 變得似乎“無所不能”，而不可解釋性一直沒有被公眾看作是大問題——這也是為什么雖然目前 AI 領(lǐng)域內(nèi)很多人，特別是那些從事應(yīng)用領(lǐng)域的，并沒有關(guān)注 AI 的黑盒子問題。

AI 的黑盒子問題：黑盒子是一個(gè)算法，能夠?qū)?shù)據(jù)轉(zhuǎn)變成其它東西。問題在于，黑盒子在發(fā)現(xiàn)模式的同時(shí)，經(jīng)常無法解釋發(fā)現(xiàn)的方法。 圖片來源 | Topbots

2015年底成立的 OpenAI，其使命是實(shí)現(xiàn)通用人工智能，打造一個(gè)能夠像人的心智那樣，具有學(xué)習(xí)和推理能力的機(jī)器系統(tǒng)。成立以來，OpenAI 一直從事 AI 基礎(chǔ)研究，主要以 GPT 語言生成模型（特別是 GPT-3）被人們所熟知。

但其實(shí)，增強(qiáng) AI 的可解釋性，讓它能夠更加安全地應(yīng)用，也是 OpenAI 的研究方向之一。只不過，這部分工作在名氣更大的 GPT-3 的面前，似乎顯得沒有那么重要。

而在去年年底離職的這一批員工，認(rèn)為隨著模型變大、算力變強(qiáng)，通用人工智能離我們越來越近，在可預(yù)見的未來就有可能實(shí)現(xiàn)——而在這樣的前提下，AI 可解釋性和安全性變得無比重要。這批員工，被認(rèn)為是AI領(lǐng)域的“有效利他主義者”。簡單來說，他們不僅認(rèn)為應(yīng)該投入重金進(jìn)行 AI 基礎(chǔ)研究讓世界變得更好，并且也要注重實(shí)際功效。

他們的理念和 OpenAI 并沒有本質(zhì)上的沖突，但是 OpenAI 變得越來越不透明，且逐漸功利化的趨勢，令他們感到擔(dān)憂。一個(gè)最直接的例子，就是 OpenAI 尚未解決偏見和安全問題，就把 GPT-3 開發(fā)成了商用化的 API，提供給行業(yè)里的大公司使用。

最終，這批核心員工在去年年底集體離職。其中不少人，都參與到了今天硅星人介紹的這家 Anthropic 公司當(dāng)中。

所以其實(shí)這樣解釋 Anthropic 可或許更準(zhǔn)確一些：一家重拾 OpenAI 慢慢忘卻的初心的“正統(tǒng)” AI 基礎(chǔ)科研機(jī)構(gòu)。

Anthropic 的官網(wǎng)這樣介紹自己：我們是一家AI 安全和研究公司，致力于開發(fā)可靠、可解釋和可調(diào)整的 AI 系統(tǒng)。“今天的大規(guī)模的通用（AI）系統(tǒng)能夠帶來很高的收益，但他們同時(shí)卻是不可預(yù)測、不可靠，和不透明的。我們的使命是在這些問題上做出進(jìn)步。”

“Anthropic 的使命是從事基礎(chǔ)科研，讓我們可以打造能力更強(qiáng)、更通用、更可靠的 AI 系統(tǒng)，并且應(yīng)用這些系統(tǒng)從而讓人類獲益，”Anthropic 聯(lián)合創(chuàng)始人兼 CEO Dario Amodei 表示。

對于“神經(jīng)網(wǎng)絡(luò)到底是什么”這類問題，通常的白話答案是“一種模仿人腦神經(jīng)工作方式的計(jì)算系統(tǒng)”。然而很多專業(yè)人士都不愿意提及的是：我們對人腦的工作原理至今并未完全了解。

而深度學(xué)習(xí)領(lǐng)域的現(xiàn)狀是：我們正在瘋狂地把這些“一知半解”的知識用于神經(jīng)網(wǎng)絡(luò)，并且把這樣開發(fā)出來的 AI 系統(tǒng)用于越來越高風(fēng)險(xiǎn)的場景，卻又缺乏對可解釋性，對安全的思考。

比如，我們知道一個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)量越大、泛用性似乎就越強(qiáng)，但無法解釋某幾個(gè)參數(shù)之間的關(guān)系到底是什么，進(jìn)行怎樣的調(diào)整會導(dǎo)致輸出結(jié)果怎樣變化；再比如，我們知道偏見在社會中客觀存在，也必然會投射到社會資料聚合而成的數(shù)據(jù)集當(dāng)中，而為數(shù)據(jù)集是 AI 系統(tǒng)帶有偏見的重要原因，但除了低效地改善數(shù)據(jù)集之外，我們對于消除 AI 系統(tǒng)的偏見暫時(shí)別無他法。

Amodei 接受美國媒體 Vox 旗下 Future Perfect 采訪時(shí)表示，AI 研究人員應(yīng)該增加對機(jī)器學(xué)習(xí)系統(tǒng)內(nèi)在工作原理的了解，并且用這些知識來開發(fā)更安全的系統(tǒng)，而不是執(zhí)迷于“放衛(wèi)星”似的盲目開發(fā)越來越大的神經(jīng)網(wǎng)絡(luò)。

為什么呢？舉個(gè)例子：深度學(xué)習(xí)有一個(gè)經(jīng)典的激勵“扭曲”現(xiàn)象，比如你想讓機(jī)器 agent 走出迷宮，設(shè)計(jì)分?jǐn)?shù)（豆子）激勵它——結(jié)果它執(zhí)迷于獲得更高的分?jǐn)?shù)，遍歷了每一條錯(cuò)誤的路，吃掉了所有的豆子，卻從未將走出迷宮當(dāng)作真正目標(biāo)。

當(dāng)神經(jīng)網(wǎng)絡(luò)變得更大、更強(qiáng)，如果中間出現(xiàn)了某種主觀或客觀導(dǎo)致的激勵扭曲，它真正做的事情和它的設(shè)計(jì)初衷之間的差距只會越來越大，應(yīng)用在現(xiàn)實(shí)場景中，有可能導(dǎo)致嚴(yán)重后果。

如果我們能夠獲得一種工具，能夠更清楚直白地了解神經(jīng)網(wǎng)絡(luò)的工作原理，知道如何調(diào)整網(wǎng)絡(luò)的哪個(gè)部分，能夠避免此類情況，對于接下來的 AI 進(jìn)步將有很大幫助。所有研究者都希望掌握這個(gè)工具，但問題就在于，我們現(xiàn)在并沒有這樣的工具。

而 Anthropic 的任務(wù)就是開發(fā)出這樣的工具，并把它送到更多 AI 研究者的手上。

明星創(chuàng)始團(tuán)隊(duì)+投資人

去年年底從 OpenAI 離職的核心員工當(dāng)中就包括 Dario Amodei 和他的同胞姐妹 Daniela。LinkedIn 資料顯示，他們于今年2月創(chuàng)辦了 Anthropic 公司，Dario 任 CEO，Daniela 任總裁。

Dario是 OpenAI 的早期員工之一，曾發(fā)表多篇 AI 可解釋性、安全等方面的論文，離職前在 OpenAI 擔(dān)任研究 VP。在此之前，Dario 還曾在百度擔(dān)任研究員，在前首席科學(xué)家吳恩達(dá)手下工作。他博士畢業(yè)于普林斯頓大學(xué)，后回到本科畢業(yè)的斯坦福大學(xué)擔(dān)任博士后學(xué)者。他是 OpenAI 的前核心成員，也被認(rèn)為是深度學(xué)習(xí)領(lǐng)域最為前沿的研究員之一。

Dario Amodei 圖片來源 | RedHat

Dario 的胞妹 Daniela Amodei 之前也在 OpenAI 從事和 Dario 相同方向的工作，曾擔(dān)任安全和政策 VP。Daniela 過往的任職經(jīng)歷包括 Stripe（其創(chuàng)始人是 OpenAI 投資人之一）、美國國會等。

OpenAI 部分成員合影，Amodei 兄妹用紅箭頭標(biāo)出 圖片來源 | OpenAI

Anthropic 的創(chuàng)始團(tuán)隊(duì)成員，大多為 OpenAI 的重要員工或關(guān)聯(lián)成員，包括（排名不分先后）Jared Kaplan、Sam McCandlish、Tom Brown、Gabriel Goh、Kamal Ndousse、Jack Clark、Ben Mann、Chris Olah 等。

這些研究員曾參與 OpenAI 其多項(xiàng)重要課題研究，包括 GPT-3、“顯微鏡”神經(jīng)元可視化工具、神經(jīng)網(wǎng)絡(luò)里的多模態(tài)神經(jīng)元、AI 模型安全設(shè)計(jì)事故分析、引入人類偏好的強(qiáng)化學(xué)習(xí)等——失去這些關(guān)鍵人員，OpenAI 未來在相關(guān)課題上或?qū)⒙燥@頹勢。

舉一個(gè)例子：Chris Olah 是 OpenAI 多模態(tài)神經(jīng)元論文的作者之一。他是領(lǐng)域里小有名氣的“怪胎”，曾經(jīng)拒絕 Yoshua Bengio 的研究生邀請，而是去了 Google Brain 團(tuán)隊(duì)。他在谷歌帶過博士生，論文的引用數(shù)量甚至超過擁有博士學(xué)位的研究者，自己卻連本科都沒畢業(yè)……

簡單介紹一下 Olah 參與的 OpenAI 多模態(tài)神經(jīng)元論文：多年以前有研究者發(fā)現(xiàn)，大腦中的一些神經(jīng)元可以對模態(tài)不同但概念相同的觸發(fā)條件產(chǎn)生反應(yīng)，比如當(dāng)提到“哈莉·貝瑞”的名字、照片、簡筆畫像的時(shí)候，同一個(gè)神經(jīng)元都可以產(chǎn)生反應(yīng)。

OpenAI 的多模態(tài)神經(jīng)元研究，基于該機(jī)構(gòu)今年發(fā)布的 CLIP 泛用性視覺系統(tǒng)。論文作者發(fā)現(xiàn)在 CLIP 的神經(jīng)網(wǎng)絡(luò)倒數(shù)第二層也存在這樣的一顆“神經(jīng)元” （Neuron 244）。這項(xiàng)研究預(yù)示著，“抽象”這一自然視覺領(lǐng)域的概念，很可能在計(jì)算機(jī)合成視覺領(lǐng)域同樣存在。

有著如此強(qiáng)大團(tuán)隊(duì)，Anthropic 成為了投資者眼中的最新熱門標(biāo)的。目前該公司已經(jīng)完成了規(guī)模高達(dá)1.24億美元的 A 輪融資，并正式走出隱形狀態(tài)。

A 輪的領(lǐng)投者是 Jaan Tallinn，原 Skype 的聯(lián)合創(chuàng)始人。Tallinn 還是 DeepMind 的早期投資人。

（他能“擊敗”一眾其它科技大佬/大牌投資人，拿到領(lǐng)投資格，一個(gè)重要原因應(yīng)該是他和 Anthropic 創(chuàng)始團(tuán)隊(duì)哲學(xué)理念一致，是“有效利他主義”運(yùn)動的主要資助者之一。）

Jaan Tallinn 圖片來源 | Enterprise Estonia

Anthropic 的其它投資人還包括 Dustin Moskovitz（Asana CEO、Facebook 聯(lián)合創(chuàng)始人）、埃里克·施密特（谷歌前董事長、CEO）、詹姆斯·麥克雷夫等，絕對是相當(dāng)豪華的投資人陣容了。

Anthropic 表示公司的錢主要花在計(jì)算密集型的基礎(chǔ)科研上，雖然未來也有商業(yè)化的打算，短期內(nèi)不會作為主要目標(biāo)。但不管怎樣，A 輪 1.24億美元的融資規(guī)模，足以表明 Anthropic 的投資人預(yù)期它的估值完全有追趕 OpenAI 的希望。

在這個(gè) AI 基礎(chǔ)科研得到比以往更多關(guān)注的時(shí)代，Anthropic 無疑將成為 OpenAI、DeepMind 的有力“競爭者”，和一家值得繼續(xù)密切關(guān)注的研究型公司。