本文轉(zhuǎn)載自：Founder Park（ID：Founder-Park）。獵云網(wǎng)已獲授權(quán)。

4 月，王小川宣布下場，成立大模型公司「百川智能」。

6 月，百川智能發(fā)布 70 億參數(shù)開源大模型，Baichuan-7B。

7 月，百川智能發(fā)布 130 億參數(shù)開源大模型，Baichuan-13B。

兩款模型在各種測評上都有不錯的表現(xiàn)，也收獲了國內(nèi)外大量用戶的認(rèn)可。

「開源很簡單，大家可以拿著自己用的，這不是你自己吹牛吹出來的?！?/p>

他動作很快，比大多數(shù)人想象得都快。就連他自己也很意外：下場動手開始做以后，進(jìn)度會比預(yù)期快很多。

在 AGI Playground 大會上，王小川透露，百川智能的開源模型能力一定會超越 Llama 2。按照計劃，之后百川智能將發(fā)布幾百億，千億級閉源大模型。

幾個月前，王小川要「做中國的 OpenAI」登上各種媒體的頭條。

這是一句大眾愛聽的口號，但未必是一句準(zhǔn)確的描述。

王小川究竟想做什么？他要怎么做？三個月的實踐，取得階段性成果之后，他對大模型時代的創(chuàng)業(yè)有哪些一手認(rèn)知？

以下內(nèi)容來自極客公園創(chuàng)始人 & 總裁張鵬與百川智能創(chuàng)始人 & CEO 王小川在 AGI Playground 大會上的訪談，經(jīng) Founder Park 編輯。

開源，OpenAI沒做到的

張鵬：

大家可能最感興趣的，還是你創(chuàng)業(yè)之后這段時間動作很快，發(fā)了兩個模型：一個7B，一個 13B，而且反饋都很好。

大家都很好奇，因為一開始都認(rèn)為你要做一個中國的OpenAI，但是看到你做了開源的東西，那開源是一個技術(shù)階段，還是本身它就是未來你思考的新模型？

王小川：

開源，我們覺得是一個技術(shù)階段，其實做中國的 OpenAI 并不代表著完全要復(fù)制它完整的路徑。在硅谷跟 OpenAI 交流的時候，他們在理想上是走得非常遠(yuǎn)的，比如說他們現(xiàn)在做 GPT-4 的時候是需要 2 萬多張卡做計算，國內(nèi)都沒見過這么大的規(guī)模。

他們很自豪地說他們在設(shè)計把 1000 萬張 GPU 連在一塊做計算模型。

1000 萬張卡什么概念？英偉達(dá)一年的產(chǎn)量是 100 萬張。1000 萬張就完全是可以登月（moonshot）的這么一種計劃。

另外，在怎么去做應(yīng)用、做產(chǎn)品上，甚至做一些更廣義的技術(shù)上，這可能是OpenAI的短板，或者是他們現(xiàn)在不是特別關(guān)注的事情。

所以在中國做OpenAI跟美國的生態(tài)環(huán)境會非常的不一樣。

最近開源的 Llama 2發(fā) 布之后，在國內(nèi)引起一個狂潮，大家覺得它會重新改變格局，這是 OpenAI 沒做到的地方。很遺憾這個不是 Google ，而是 Facebook（Meta） 做的， Google 還是繼續(xù)缺席的位置。但國內(nèi)的話我們就提前看到這件事情了，我們認(rèn)為未來開源和閉源會有一個并行的狀態(tài)。

張鵬：

開源和閉源會是并行的狀態(tài)。

王小川：

并行就有點像現(xiàn)在既有蘋果的系統(tǒng)，也有安卓的系統(tǒng)。甚至在更多的公司要參與進(jìn)來的時候，光用閉源的API調(diào)用是不夠的，也需要這個開源模型提供 80%的服務(wù)，最后靠閉源來給大家提供服務(wù)剩下的 20%會有大量開源的需求。而之前美國沒有，中國更沒有類似的模型。因此Llama 一旦宣布的話，對美國是很大的震動，但中國也有熱潮跟著在走。事實上，嚴(yán)肅的技術(shù)評測包括幾種主流的像SuperClue的評測，以及一些大廠和公司的對比， Llama 和百川對比的話，明顯我們現(xiàn)在在中文領(lǐng)域里面是遠(yuǎn)超 Llama 的品質(zhì)。

在中國的開源模型領(lǐng)域，就像我們的手機(jī)行業(yè)一樣，最早也是用美國的，后來就自己追上了。

張鵬：

你覺得 Llama 2 最近這么熱，百川會比它們做得好？

王小川：

Llama 是有Llama 1 和 2。

首先，我們今年在 6 月份發(fā)布了第一個 7B 參數(shù)的模型， 7 月份發(fā)布 13B 參數(shù)的模型。在英文的指標(biāo)里面，最重要的一個指標(biāo)是 MMLU (Massive Multitask Language Understanding)，這個關(guān)鍵指標(biāo)我們的兩個模型是優(yōu)于 Llama（1）的，在中文里面大幅度領(lǐng)先。

我們知道 Llama 其實對中文的處理部分其實是不足的，跟Llama（1）相比，百川的英文是能夠部分對標(biāo)，關(guān)鍵指標(biāo)是超過的，然后中文是明顯是做得更好，很多人在對 Llama進(jìn)行中文改造，但還是沒有本土的百川好用。

Llama 2 發(fā)布之后，我們也能看到技術(shù)報告，里面大概有 9 個技術(shù)創(chuàng)新點，其中有 6 個在我們正在研發(fā)的模型里已經(jīng)做到了。

跟國內(nèi)其他模型相比，我們這邊的思路是目前最接近的，有 6 個點我們已經(jīng)做了，然后有 2 個我們沒想到，有一個我們這是無效的，所以在跟 Llama2 對比的時候，我們在技術(shù)的思考里不是簡單的抄襲借鑒，我們是有自己的思考的。我們認(rèn)為在這個道路里面后面會有我們的機(jī)會。

今天我也呼吁，在國內(nèi)大家在用的時候不要只想著國外很好，OpenAI 現(xiàn)在來講離距離確實更遠(yuǎn)，年底能夠達(dá)到 GPT-3.5 或者接近的水準(zhǔn)需要時間，但在開源大模型里面我們現(xiàn)在已經(jīng)很接近了，在中文領(lǐng)域現(xiàn)在就可以替代，也許未來還能超過 Llama，我覺得是可以做到的，我們應(yīng)該有這樣的自信。

張鵬：

所以你的下一個開源模型，你認(rèn)為會比 Llama 2 更好？

王小川：

至少是在中文。在中文領(lǐng)域，現(xiàn)在已經(jīng)是超越了。再往下是在全球市場的開源領(lǐng)域去發(fā)出中國的聲音。

張鵬：

英文和中文都要達(dá)到比Llama2好，這件事對你是看得見、可實現(xiàn)的。

王小川：

我覺得有機(jī)會，在可預(yù)測未來是可能會發(fā)生的。

張鵬：

所以你的觀點是：今天不能簡單的說我們未來大模型就是走向OpenAI——閉源的中心化的模型。開源實際上是具備著很大的可能性。所以也就意味著一方面在于實踐技術(shù)，展示技術(shù)能力，但它也確實有可能蘊(yùn)含著商業(yè)模式和價值。

同時，開源的基礎(chǔ)之上，中國做一個全球最好的中文模型還是一個讓人可以期待的事。

王小川：

總結(jié)得非常準(zhǔn)確。

搜索的經(jīng)驗，是壞的慣性，還是好的資產(chǎn)？

張鵬：

之前很多投資人認(rèn)為，用搞搜索的經(jīng)驗做大模型肯定成不了。經(jīng)過這幾個月的實踐，你是否驗證了你當(dāng)初的與他們不同的判斷？搜索的積累和能力對大模型有什么幫助？

王小川：

因為今天（AI的）這個成就是OpenAI做到的，Google沒做到，所以投資人的第一個想法就是這個新的技術(shù)正好是搜索的反面。他們很難分清到底是技術(shù)還是組織管理的原因。

導(dǎo)致這種聲音的原因，一個是不理解搜索技術(shù)和AI的關(guān)系，第二個是認(rèn)為搜索背景的認(rèn)知會帶來負(fù)向的效果。

因為搜索公司主要就是百度和Google，不太需要對外融資，也不會給投資人講搜索是什么。尤其是上一波AI熱潮更多是通過圖像帶起來的，大家對搜索里的NLP等技術(shù)內(nèi)涵是陌生的。

從結(jié)果上來說，我們6月份發(fā)布了第一個模型。最早有競爭對手告訴投資人，百川最早第一個模型要用半年時間，其實我們只用了1/3時間就做到了，然后又發(fā)了第二個。而且不久的將來，我們會發(fā)布一個閉源大模型。

百川從第一天開始就是自研的，而且冷啟動非常非?？?。這背后的原因是什么呢？

今天我們知道高質(zhì)量數(shù)據(jù)是大模型的基礎(chǔ)，那什么公司對語言數(shù)據(jù)有廣泛的理解呢？那其實搜索公司干20年，每天都在思考怎么找到這種高質(zhì)量數(shù)據(jù)。比如說首先從1萬億個網(wǎng)頁中找到100個高質(zhì)量的網(wǎng)站，然后再做頁面分析，包括信息抽取、去重、反垃圾，甚至按段落級別來提取內(nèi)容。

這種工作，搜狗、百度和Google已經(jīng)做了很久。

第二點，從人才儲備來說，既要有算法能力，又要有以搜索能力為主的工程能力，這種人基本也在搜索公司。現(xiàn)在字節(jié)跳動做模型就是用的搜索的團(tuán)隊，百度的進(jìn)度也非?？欤ㄉ蛳蜓笤谧龅哪Ｐ鸵彩荁ing的VP過去做的。

做大模型還有一件事情就是評測。評測大模型好不好其實是一個痛苦的問題，包括推理的問題、精準(zhǔn)問答的問題、創(chuàng)作的問題……有的變好，有的變差，怎么評價？所以這種評價體系也是搜索公司長期積累的一個能力，用評價來帶動后續(xù)算法的迭代。

另外創(chuàng)業(yè)公司又比大廠的組織效率要高很多，有非常且靈活的決策體系，所有效率就會得到最大化的體現(xiàn)。

張鵬：

所以當(dāng)年認(rèn)為搜索干不好大模型的那個投資人，后來你跟他聊過嗎？

王小川：

名字打上叉除名了，都不知道是誰了。這種只看商業(yè)不看技術(shù)的，還有特別喜歡美國回來創(chuàng)業(yè)的小鮮肉的，這些投資人就直接劃出來不聊了。

老王說得對：小創(chuàng)新靠大廠，大創(chuàng)新靠小廠

張鵬：

你覺得創(chuàng)業(yè)者在未來這波技術(shù)變革中會有足夠大的機(jī)會嗎？還是說主體仍然由巨頭把控？創(chuàng)業(yè)者該如何抓住屬于自己的機(jī)會？

王小川：

王慧文雖然對技術(shù)沒那么懂，但他有一句話我覺得說的特別對：小創(chuàng)新靠大廠，大創(chuàng)新靠小廠。

雖然大廠有很多人、錢、資源的優(yōu)勢，但組織壯大后反而會有很多很內(nèi)部問題，組織效率收到了嚴(yán)重限制。

如果我們堅定認(rèn)為 AGI 的到來，那么一定會爆發(fā)出巨大的新物種。這些事情對創(chuàng)業(yè)公司來說有巨大發(fā)揮作用的機(jī)會。這個從歷史推演就能論證，所以只要有AGI，未來就有新的機(jī)遇。

中間的難點在哪呢？

OpenAI 是一個以研究導(dǎo)向為主，在現(xiàn)實世界落地產(chǎn)品的公司。你跟著它走，研究領(lǐng)域可以有非常耀眼的成就。但是今天怎么做應(yīng)用，不管是 OpenAI 還是硅谷以技術(shù)驅(qū)動公司都還不是太擅長這個。我有自信中國在應(yīng)用落地上比美國強(qiáng)很多。

全世界都到了一個轉(zhuǎn)折點，現(xiàn)在技術(shù)已經(jīng)就位，這是第一個難點。應(yīng)用和需求方面是第二個難點，這一塊叫做 model service（模型服務(wù)）。所以現(xiàn)在的挑戰(zhàn)是，第一，你有模型了嗎？第二，有了模型就等于有了服務(wù)嗎？

張鵬：

兜售 API 屬于服務(wù)的范疇嗎？

王小川：

我覺得不是。

就像你有了無人駕駛的技術(shù)，但你真的就能造輛車了嗎？顯然不是。其中還需要許多技術(shù)的融合。

現(xiàn)在美國對于應(yīng)用層比較迷茫，中國現(xiàn)在的問題是模型能力不足。今天很多做模型的創(chuàng)業(yè)公司，也是把自己的視角局限在大模型上，對其它技術(shù)棧沒那么了解。

講個最簡單的例子，做模型肯定會遇到幻覺問題，時效性問題。幻覺和時效性都是光靠大模型本身能解決的。有人用擴(kuò)大參數(shù)，擴(kuò)大到萬億，十萬億來解決幻覺；或者用強(qiáng)化學(xué)習(xí)。但其實最直接的做法就是把搜索和信息檢索帶進(jìn)去。大模型和這些結(jié)合在一塊，才能形成一個更完整的技術(shù)棧。

這個技術(shù)提出后，已經(jīng)有點苗頭了。比如現(xiàn)在有一個叫做向量數(shù)據(jù)庫的東西，它其實就是搜索的變通，主要應(yīng)用在 toB 里面。

搜索方面，在 2018 年有了 Transformer 技術(shù)后，已經(jīng)具備了語義搜索的能力。大家可能聽過倒排索引，就是把這種符號網(wǎng)絡(luò)索引起來。

在 2018 年之后，不管是我們、百度還是字節(jié)的向量都已經(jīng)轉(zhuǎn)向了語義搜索，背后支持這種技術(shù)的是三個巨大的向量數(shù)據(jù)庫。這些技術(shù)棧和大模型結(jié)合在一起，才能讓大模型有更大的發(fā)展。大家可以看到，搜索的團(tuán)隊經(jīng)驗對于做模型是有優(yōu)勢的。

第二個方面，現(xiàn)在大模型技術(shù)逐漸實用化。然后在所謂的知識計算中，還需要加入向量數(shù)據(jù)庫和搜索，才能形成更完整的技術(shù)和產(chǎn)品。在這個問題上，大家正在逐步形成共識。

今天來講 ChatGPT 的流量，大家開始擔(dān)心是否能夠持續(xù)爆發(fā)。

因此大家還需要更多探索。

我們認(rèn)為在娛樂行業(yè)，在人物角色扮演方面有廣闊前景，但這件事情需要中國公司進(jìn)入才能做得更好。

另外一件事是如何將大模型和搜索如何結(jié)合在一起，Perplexity AI 現(xiàn)在做得挺好，我們則處于被動的地位，美國有機(jī)會，投資人就會找中國的對照公司。

如果這家公司，一沒有大模型，只是在調(diào)用API；二沒有搜索技術(shù)，只能依賴 Google，Bing 這些公司的技術(shù)，這樣并不理想。

張鵬：

剛才你說，ChatGPT 這類的用戶量在下滑，就是讓大家感覺新范式未必能夠一下子打穿。這是不是對創(chuàng)業(yè)者做應(yīng)用的挑戰(zhàn)很大？

因為根據(jù)你剛才所講，創(chuàng)業(yè)者在一個技術(shù)不成熟的環(huán)境下，本身創(chuàng)業(yè)探索的代價就很大。而如果創(chuàng)業(yè)者只是拿別人的API做個應(yīng)用范式的變化，其實沒有特別亮眼。

王小川：

前兩天 OpenAI 剛升級了 code interpreter，然后又升級了 custom instruction。對創(chuàng)業(yè)公司來說又形成了巨大的壓力。

美國投資人也在擔(dān)心，在焦慮其中還有沒有機(jī)會創(chuàng)業(yè)公司能超過巨頭，會不會做一半就被大公司取代了。

在中國的話，我覺得走大模型路線的還沒有像OpenAI那樣有一個占據(jù)頂端的公司出現(xiàn)?，F(xiàn)在還處于“百模大戰(zhàn)“的階段。今天做大模型的公司有沒有能力做應(yīng)用，這件事中國比美國有很多看點。

追趕GPT-4？一味追求模型代際提升很危險

張鵬：

這也引發(fā)了一個問題，就是接下來中國誰會追到GPT-3.5，甚至GPT-4的水平

也有另一種聲音說GPT-3已經(jīng)足夠企業(yè)去解決一些垂直場景問題。

我感覺小川你們還是致力于去追GPT-3.5，GPT-4。這個追的過程難不難？你們?yōu)槭裁凑f一定要追到GPT-4的程度？

王小川：

我覺得這是兩個事情。

首先是技術(shù)的跨代進(jìn)步，可能對后續(xù)產(chǎn)品生態(tài)產(chǎn)生碾壓式的影響。無論從理想的角度來看，想象一個遙不可及的未來，就像戰(zhàn)斗機(jī)的三代、四代、五代一樣，在這其中每一代都可能發(fā)揮重要作用。所以在這個時候，大家應(yīng)該爭取在競爭激烈的領(lǐng)域中尋求優(yōu)勢。

但是在爭奪優(yōu)勢的過程中，大家可能會面臨新的困惑：到哪一代才能真正實現(xiàn)超級應(yīng)用？GPT-3.5在美國至今尚未形成超級應(yīng)用，訓(xùn)練一次大約需要5000萬人民幣，這還不包括前期準(zhǔn)備和實驗之類的成本。GPT-4訓(xùn)練一次可能需要5億人民幣。到GPT-4.5代，成本可能會達(dá)5億美元。

因此，如果沒有超級應(yīng)用，單純追求技術(shù)提升也是非常危險的。所以我們需要在這個領(lǐng)域同時追求第四代和第五代技術(shù)能力的提升，同時要有超級應(yīng)用。否則，我們可能會突然面臨兩個方面的升級壓力，這兩者都需要同時升級才能取得成功。

張鵬：

所以每一波型的技術(shù)里都應(yīng)該能夠誕生有價值的應(yīng)用。

王小川：

你剛才說的很對。

在B端里面GPT- 3 基本就已經(jīng)能用了，在C端沒有能用的原因我認(rèn)為還是時間太短。

加之大家把目光太過聚焦在OpenAI上，它不是一個產(chǎn)品公司，不是一個能做超級應(yīng)用的公司。

能做超級應(yīng)用不僅需要技術(shù)追趕，也要對產(chǎn)品有一個足夠的理解。這件事我覺得年底是水落石出的時候。

“小川適合做大模型”，“做了20年搜索，沒人說我適合做搜索”

張鵬：

大家有沒有可能高估了OpenAI？或者說我們認(rèn)為OpenAI很難被超越的一點就是因為它有數(shù)據(jù)飛輪，你如何理解這個，數(shù)據(jù)飛輪是真實存在的嗎？

王小川：

今年年初在提數(shù)據(jù)飛輪的事情，當(dāng)時特別恐慌。用戶的請求給了它，它知道用戶要什么，然后就更好地去升級模型。

在目前看的話，這個問題并不嚴(yán)重。

像 Llama 2 推出之后，大家看到在微調(diào)階段，數(shù)據(jù)要精而少，而不是精而多，現(xiàn)在大家開始逐步形成共識，技術(shù)的秘密不是在飛輪里面，還是時間的技術(shù)積累。

像 Claude 的公司 Anthropic 的技術(shù)實力也漲的很快，OpenAI 遠(yuǎn)遠(yuǎn)它用戶多，這也證明了數(shù)據(jù)飛輪的概念被證偽了。

張鵬：

或者說有可能它里邊真正有價值的數(shù)據(jù)都體現(xiàn)在跟人對話的技巧上，我記得最早的時候，它的對話方式就挺“木訥”的，但現(xiàn)在就感覺更有人性。

王小川：

這個東西感覺都不多，更多還是在于它的數(shù)據(jù)集里面，不管在 Pre-training階段還是在微調(diào)階段，怎么去搞優(yōu)質(zhì)的數(shù)據(jù)？如何去配比等，這是它的核心的能力。尤其是我聽他們聊天說，一方面 GPT-4 在訓(xùn)練 GPT-3.5 ，讓 3.5 更高效的工作，同時用 GPT-4 去生產(chǎn) GPT-5 所需要的部分?jǐn)?shù)據(jù)，在做迭代過程的優(yōu)化。它的迭代在內(nèi)部是使在線服務(wù)更好，同時生成未來的部分?jǐn)?shù)據(jù)，我覺得這是是內(nèi)部的一個飛輪。

張鵬：

所以如果 從Llama 的角度去看，通過開源也有可能能夠去 deliver 一個不斷在提升技術(shù)水平的模型。但如果要從 OpenAI 的這個視角，可能在某個階段也需要有足夠的用戶和數(shù)據(jù)。

王小川：

開源的、閉源的，還有應(yīng)用，事實上今天大家都還在鋪開來做，跟現(xiàn)在美國西部一樣還在擴(kuò)張的階段。

張鵬：

所以今天對于一個創(chuàng)業(yè)公司，比如像百川，就不會輕易的只是說我只配合了某一個方向，我要保持戰(zhàn)略模糊也好，或者叫可能性的豐富也好，就這些維度可能都會下注。

王小川：

對。我這次創(chuàng)業(yè)比較有意思，很多人說小川你特別適合做大模型，我做了 20 年搜索，從來沒一個人說過小川你特別適合做搜索。

在國內(nèi)做搜索，比百度晚了3年，這種追趕是非常艱難的。而今天這個積累和經(jīng)驗放過來一看，前面都是沒人的。原來想的很難，已經(jīng)晚了好幾年了，但今天在我看起來處處都是機(jī)會。因此只要我們有足夠多的能力，我們處處都可以在里面試，也看看今天是否能夠改變大家原搜狗的這種印象。

不要盲目崇拜，中美會有不同的 AI 故事

張鵬

小川說的這點我還挺有感觸的。你終于站到了一個無人區(qū)。

大模型這件事，可能很多人覺得要學(xué)習(xí)、追趕 OpenAI。但當(dāng)你真干了這件事，才會真的找到距離和路徑。

王小川：

對，不用那么崇拜。

我記得 2016 年 AlphaGo 之后，我當(dāng)時提了兩點，第一，如果（AI）能夠預(yù)測下一幀視頻，那就是 AGI 的到來。

但是說完之后就過了，你也沒有能力去做，動力、能力、條件都沒有。后來說如果機(jī)器掌握語言，那么強(qiáng)人工智能也會到來?，F(xiàn)在其實已經(jīng)開始驗證。

所以我覺得我們自己有很多想法，并不是走在后面的。只是原來各種時機(jī)、條件不成熟。這就像，一個學(xué)霸說這件事已經(jīng)可以解了，你這個學(xué)霸，也不是說一定要把作業(yè)給你抄對吧？

別人告訴你可解，甚至大的思路給你了，我覺得我們自己就會做了，不需要盯著別人的作業(yè)打小抄。

張鵬：

所以這里面你真正的樂趣不是實現(xiàn)和復(fù)刻了別人，而是在這個無人區(qū)里在探索出一些大家還沒有抓到的東西。

王小川：

是的，我覺得這次有機(jī)會在部分領(lǐng)域做到領(lǐng)先。

張鵬：

是有這種可能性的，所以中國和美國，百川和 OpenAI，可能它并不是一樣的故事。

王小川：

確實會不一樣。中美本來就不是一種制度，一種體系、文化，所以最后長出來的，不管是技術(shù)問題還是應(yīng)用問題，都會不一樣。

主要工作“和同事聊天”，百川智能剛剛突破 100 人

張鵬：

你平常的工作都怎么安排？你的時間怎么分配？很多人都說，算力重要、人才重要，但我覺得只有真正創(chuàng)業(yè)的人才知道什么東西最重要。所以我就想問問你時間花最多的地方在哪？

王小川：

我現(xiàn)在時間花最多的，是跟我們的同事聊天。

張鵬：

聊天？

王小川：

對，這聊天在過程當(dāng)中的時候，其實是一個不斷形成共識的過程，就是把大家的這種認(rèn)知、養(yǎng)分、外面信息匯聚，使大家形成同一個大腦。

因為我們知道Top-Down可能會走偏。比如說這個 Google 為什么沒做成？第一個 Google 本部做的時候有它慣性。數(shù)據(jù)拿不到，上了線之后成本提升，沒有具體用戶收益，所以有創(chuàng)業(yè)的窘境。

Google Brain的話，它是Button-Up的。它的研究員很自由，什么都干，或者匯成一個力量，所以他們其實很多看到了大模型，但是沒法集中一塊做，力量是分散的。那Deepmind是自頂向下的，公司要求做什么，大家做什么。它做了AlphaGo，AlphaZero，AlphaFold，現(xiàn)在開始走向了氫能源、核聚變、量子計算，但是離大部分已經(jīng)遠(yuǎn)了。

在今天其實Top-Down、Button-Up做起來叫上下同欲，使大家從這種理想上到技術(shù)上、認(rèn)知上充分地對齊，變成一個事兒。所以我認(rèn)為跟大家更多日常的交流，會使這個大家變成一個大腦，這是我最重要的工作。

張鵬：

嗯，有意思。所以一個小的團(tuán)隊去發(fā)揮它最大的能量，反而是所有人能夠同喜同悲、同欲同求 。

王小川：

這很重要，今天也不講組織管理了，就是大家變成像一個人做。百川現(xiàn)在是 100 人，昨天剛到 100 人。

信心的變化，百川的進(jìn)度比想象中更快

張鵬：

過去幾個月，投身大模型，你的熱情沒有變化，但是信心有變化嗎？跟你一開始的預(yù)期相比，是更難了？還是符合你的預(yù)期？

王小川：

如果講真話，發(fā)自內(nèi)心的，我覺得比我想得更簡單。

預(yù)期就是，一開始都知道很多（困難），國外好幾年的積累，算力、服務(wù)器……但是當(dāng)你和同事在一起工作的時候，當(dāng)大家在共創(chuàng)的時候，我們實際的進(jìn)度、節(jié)奏都比預(yù)期要快。

原來我們預(yù)計是 Q3 發(fā)一個 500 億的模型，然后 Q4 發(fā)布一個 1750億的。

但事實上，這些東西不會變，但過程中，應(yīng)用的進(jìn)展速度，模型開源的速度，都比預(yù)期快很多。

而且也更快地，今天我們可以開始說，不只是在國內(nèi)做到最好，我在國際舞臺上開源。

開源很簡單，大家可以拿著自己用的，這不是你自己吹牛吹出來的。開完之后，我們有信心能在國際舞臺上拿到非常好的位置。

張鵬：

所以跳到水里之前是不知道深淺的焦慮，真跳進(jìn)去了，發(fā)現(xiàn)其實能踩到底了，就踏實了很多？這件事真的這么簡單嗎？

王小川：

分人。

我是一個做事還比較謹(jǐn)慎的，我當(dāng)時還在看，然后我們的聯(lián)創(chuàng)一腳把我踹進(jìn)去，說開始干。然后我說好吧，宣布下場開始干。否則還可能更晚，才會覺得自己準(zhǔn)備 ready 了。但一旦下場之后，會發(fā)現(xiàn)比自己想的時候，會跑得更快一些。

狂熱之后，最近關(guān)注的技術(shù)進(jìn)展

張鵬：

你最近在關(guān)注大模型的那些技術(shù)進(jìn)展？有哪些 paper 是讓你感到比較興奮的東西？

王小川：

第一，光看論文，今天其實已經(jīng)不重要的。你看不完的。

基礎(chǔ)就那些東西。而且今天 OpenAI 已經(jīng)不把好論文發(fā)出來了。發(fā)出來的都是信息量不大的論文，收獲是有限的。

同時大家因為之前進(jìn)入狂熱（狀態(tài)），我們叫「度日如年」，每天過得更（技術(shù)進(jìn)步）一年似的。

張鵬：

度日如年是因為它跑得快。

王小川：

對，不是枯燥。每天都太多新鮮事了。大家神經(jīng)已經(jīng)刺激到了一個高點，有一點疲軟的狀態(tài)。

說回來，最近有幾個技術(shù)進(jìn)展，我覺得非常厲害的。

一個是，大概一周多前，OpenAI 推出了 code interpreter，這是重大的一個突破，但在國內(nèi)好像沒有形成新一輪的媒體狂潮。

之前的狂潮大家已經(jīng)享受過了，這次的進(jìn)度，code interpreter，我覺得是媒體沒有當(dāng)量地去正視它報道它。

以及昨天的一個小升級，定制自己的 instruction。

代表了它從模型 LLM，開始走向 Agents。

里面會描述說「我是誰，我有什么特點」，你這個大模型會扮演一個怎樣的角色，有什么特點？形成這樣一個關(guān)系，是從模型是不是 Agent（角度來看的）。

這兩個領(lǐng)域，是今天大家關(guān)注報道不夠的。

創(chuàng)業(yè)的決定，終于等到「適合小川」的無人區(qū)

張鵬：

最后一個問題，你剛剛提到，你是被「踹」到這個創(chuàng)業(yè)的局里。我也知道你很早就是AI的狂熱分子，從 AlphaGo 的時候就是。

最終下決心，成為一個 AGI 領(lǐng)域、大模型領(lǐng)域的創(chuàng)業(yè)者，老王（慧文）也好，中國這波浪潮也好，他們對你的決策產(chǎn)生了怎樣的影響？經(jīng)歷了這樣一個過程，你內(nèi)心發(fā)生了怎樣的變化？

王小川：

心路歷程其實挺長的。

在搜狗的時候，到后期。第一，錯失了推薦引擎，也跟騰訊做了戰(zhàn)略結(jié)盟，在這種情況下，沒有新的技術(shù)突破的話，發(fā)展上是非常受限的。當(dāng)時把搜狗并給騰訊的時候，我在挑戰(zhàn)一個更有意思的事，就是把生命變成數(shù)學(xué)模型。就像我們說，牛頓是把物理變成數(shù)學(xué)模型。

之前在極客公園的平臺上，我都在講向生命學(xué)習(xí)。

生命是什么？這是我思考了20年的一件事。

怎么把生命變成數(shù)學(xué)模型？這是我關(guān)心的。甚至在研究中醫(yī)，怎么把生命變成數(shù)學(xué)模型，（后來）發(fā)現(xiàn)這條路不一定是能走通的。

怎么在科學(xué)范式里，對醫(yī)學(xué)有新的突破，這是我特別感興趣的事情。我讀醫(yī)學(xué)的論文比我讀計算機(jī)的論文多得多，我讀了上千篇醫(yī)學(xué)論文。

21年發(fā)生了什么事呢？21年的時候大模型已經(jīng)開始有一些機(jī)會。那時候我們做了百億模型，來解決搜索變問答的問題。

其實之前做輸入法，就已經(jīng)在搞「預(yù)測下一個詞想說什么」，然后怎么改寫，搜索是變成問答。其實有摸到那個門，但是那時候技術(shù)是沒有突破的。

所以你知道把生命變成數(shù)學(xué)模型，我是很感興趣的，所以大模型這波到來之后，我第一想法不是做大模型，我想說，是不是今天可以在生命領(lǐng)域做個Health ChatGPT？健康的 GPT，一個數(shù)字醫(yī)生？

張鵬：

你在從應(yīng)用的、解決問題的角度思考。

王小川：

對，在思考這個問題。然后又想，如果你今天做一個垂直模型，它可能會被大模型干掉。通用智能會干掉專有智能，對吧？

但是這種情況下，我們發(fā)現(xiàn)，如果只做一種 HealthGPT，或者只做一個數(shù)字醫(yī)生，這是不夠的。

最后就說，還是要做大的模型。

（下場做大模型的決定）是轉(zhuǎn)了這么一圈轉(zhuǎn)回來的，并不是覺得之前自己有積累之類的。

但是做大模型，發(fā)現(xiàn)其實（之前的積累）是挺相關(guān)的，比如語言相關(guān)的處理。

甚至極端一點說，ChatGPT 第三個把語言模型做成超級應(yīng)用。前兩個，一個搜索，一個輸入法。

張鵬：

感覺你不把這個也干了，對不起之前干的那兩個。

王小川：

對，所以發(fā)現(xiàn)之前的積累在今天確實用得上，這是之前沒想到的。

因此我很感慨，老天對你很好，給了你一個機(jī)會。在搜索畫句號的時候，還有一次機(jī)會，把以前的經(jīng)驗用來做一件原來做不到的事。

現(xiàn)在說，大家沒人說過「小川適合做搜索」，但都說「百川適合做大模型」，對我來講，是一件非常幸運的事。

張鵬：

這是你當(dāng)初決定要做的原因。

現(xiàn)在幾個月下來，大家可能會覺得這件事很難，OpenAI都沒能變成一個超級賺錢的公司，硅谷很多人都質(zhì)疑它的商業(yè)模式。所以大模型對創(chuàng)業(yè)者會有這方面的壓力，你感受到這個壓力了嗎？

王小川：

我都是很亢奮的。

因為以前都是在百度的陰影下工作，現(xiàn)在是無人區(qū)，這件事對我來講正好是我想做的事，而不是說前面有個領(lǐng)導(dǎo)者在里面，然后你跟著追。對我來說，這是我喜歡的，一個新的探索。

張鵬：

特別感謝小川今天給我們做了走心的分享，也恭喜你終于迎來了屬于你的無人區(qū)，希望在這里能看到更美的風(fēng)景，掌聲獻(xiàn)給小川，加油！